GSE关键技术及产品实现

发布时间:2025-04-27 作者:中兴通讯 吕勇

        近年来,AI技术在自动驾驶、语音识别、自然语言处理等领域取得了显著成就,推动了算力经济的高速发展。智算中心作为AI技术的核心支撑平台,对网络的性能要求极高。然而,传统以太网在面临大规模、高速度的数据传输时,存在网络拥塞、丢包和延迟增大等问题,难以满足智算中心对高性能网络的需求。因此,业界迫切需要一种新型网络技术来突破传统以太网的性能瓶颈。

        GSE(Global Scheduling Ethernet)技术是由中国移动联合产业合作伙伴共同提出的一种以太网技术架构,旨在突破智算中心网络性能瓶颈,打造无阻塞、高带宽及超低时延的新型智算中心网络。GSE技术通过革新以太网基础转发机制,对以太网协议栈和配套通信产品产业进行革新,实现了对大规模AI训练和推理需求的全面支持。

 

GSE技术原理与关键技术

 

        GSE技术架构主要包括控制层、网络层和计算层三个层级(见图1)。控制层包含全局集中式全调度操作系统(global scheduling operating system,GSOS)以及设备端分布式节点操作系统(node operating system,NOS)。GSOS提供整网管控的集中式网络操作系统能力,实现基于全局信息编址、日常运维管理等功能;设备端NOS可实现动态负载均衡、动态全局调度队列(dynamic global scheduling queue,DGSQ)调度等分布式网络管控功能。网络层主要通过网络设备的分工协作,构建出具有全网流量有序调度、各链路间负载均衡、网络异常精细反压等技术融合的交换网络,由GSF(global scheduling fabric)和GSP(global scheduling processor)两类设备组成。计算层则包含高性能计算卡(如GPU或CPU)及网卡,通过优化交换网络能力提升计算集群训练性能。

        GSE关键技术包括基于报文容器的转发及负载分担机制、基于DGSQ的全局调度技术、GSOS的集中管理及分布式控制等。

 

基于报文容器的转发及负载分担机制

        智算中心网络通常采用胖树(fat-tree)架构,任意出入端口之间存在多条等价转发路径。然而传统以太网逐流负载分担方式在以低熵大象流为主的智算中心网络中,会因为Hash极化导致链路利用率不均,从而引起网络拥塞。为了解决这个问题,GSE技术提出了一种基于报文容器(packet container,PKTC)的转发及负载分担机制。该机制根据最终设备或设备出端口,将数据包逻辑分组,并组装成长度较长的“定长”容器进行转发。属于同一个报文容器的数据包被标记为相同的容器标识,沿着相同路径转发,以保证同属于一个报文容器的数据包保序传输。

        在负载均衡调度时,报文容器被作为转发单位。由于报文容器是逻辑组装,无需额外的硬件开销来对数据包进行组装和还原,不增加转发的延时,而报文容器为等长的,可以保证在多条等价转发路径上的流量负载是相等的,可在网络上实现最理想的负载均衡效果。

 

基于DGSQ的全局调度技术

        DGSQ是GSE技术的核心组件之一,它通过接收侧授权和动态队列实现了对整网流量全局调度和整网所有设备缓存的全局管理。在GSE网络中,每条流的首个报文在进入网络后都会在GSP为该流动态分配队列,并构建虚拟的报文容器,报文在出队前需向接收侧的目的GSP请求授权,目的GSP根据该流对应的出接口的负载情况,给予授权响应,实现将出接口的带宽在所有源之间进行动态分配。

        通过DGSQ动态队列和接收侧授权技术的组合,GSE网络实现了精细的反压机制,当网络出现拥塞时,DGSQ会及时通知源端降低发送速率,避免网络拥塞的进一步恶化。这种精细的反压机制可保证全网中前往任何一个端口的流量既不会超过该端口的负载能力,也不会超出中间任一网络节点的转发能力,同时可将造成拥塞的流量分布式地缓存在源侧,实现全网所有设备缓存的全局管理。

        在以Alltoall/AllReduce集合通信为主的智算中心网络中会大量产生Incast流量,GSE的机制对于持续的Incast可通过精细反压减少全网反压的产生,对于突发的Incast通过利用全网多个设备的缓存进行吸收而保持高吞吐,使采用GSE技术的智算中心网络能够提供稳定的吞吐率和网络延迟。

 

GSOS的集中管理及分布式控制

        GSOS是GSE技术的核心控制平面,它提供整网管控的集中式网络操作系统能力。GSOS通过收集全网资源使用情况、设备状态等信息,实现对网络的全面监控和管理。同时,GSOS还支持基于全局信息的流量调度、负载均衡、故障恢复等功能,确保网络的稳定性和可靠性。

        设备端NOS则实现了分布式网络管控功能,它负责本设备容器的负载均衡管理、DGSQ调度等属于设备自身的网络功能。通过设备分布式管控能力,NOS可以提升整网可靠性,降低网络故障的影响范围。

 

GSE技术的产品实现

 

        GSE技术的产品实现主要为在传统以太网交换机产品的基础上,增加基于报文容器的转发及负载分担机制、基于DGSQ的全局调度机制和快速故障感知和故障收敛机制,从工作模式上可分为GSP设备和GSF设备,与GSOS/NOS协同实现高可靠的高性能网络。

 

GSP设备实现

        GSP设备是GSE网络中的边缘处理节点,它负责对计算层数据包的接收、处理和转发。GSP设备需要支持基于报文容器的转发及负载分担机制,能够按照DGSQ的调度结果进行流量调度。同时,GSP设备还需要支持精细的反压机制,能够根据网络拥塞情况及时通知计算层调整发送速率。

        与传统以太网交换机相比,GSP设备在TM(traffic management)上有较大的变化,主要体现在队列的管理和队列调度上。传统以太网交换机的TM队列是静态绑定到接口上,队列的调度是基于队列绑定的本地接口的状态。GSP设备的TM队列由流触发动态生成,队列的调度需要基于队列中流在网络中最终的出接口(可能位于远端)的状态,该状态是通过授权请求和授权响应反馈到源端GSP。

 

GSF设备实现

        GSF设备是GSE网络的核心交换节点,负责构建融合全网流量有序调度和链路负载均衡的交换网络。它需支持高速数据交换和基于报文容器的负载均衡。与传统以太网交换机不同,GSF设备的转发引擎从无状态改为有状态转发。报文路由不仅由目的地址决定,还需参考所属虚拟容器中前序报文的选路结果,确保同一容器内的报文选择相同路径转发。采用有状态转发时,报文转发需增加读取和更新状态的操作。大容量交换设备需采用多个转发核实现高性能,而有状态转发要求在多个转发核上保持状态同步。GSF设备通过设计多端口RAM来实现状态的更新和同步。

 

故障感知与故障收敛

        传统以太网交换机故障感知是事后感知,需检测到丢包后才能发现故障,故障感知时间通常为毫秒级,无法满足智算中心需求。GSE设备利用以太网物理层的FEC机制,统计误码数量,在丢包前预测链路质量,将故障感知从事后变为事前,使得故障对网络的影响最小化。如图2所示,感知故障后,GSF设备利用其在fat-tree拓扑中的根位置,主动向所有GSP设备发送故障通告,故障通告消息借助以太网O码扩展实现,不占用业务带宽,快速通告故障,快速完成故障收敛。

 

GSE技术的发展前景

 

        随着AI大模型参数量呈指数级增长,智算中心对网络性能的需求已从“高性能”向“超性能”跃迁。传统以太网在应对千卡级GPU集群训练任务时,往往因网络时延抖动、链路利用率不足60%等问题,导致算力效率损失超过30%。GSE技术通过颠覆性架构设计,为解决这一全球性难题提供了中国方案,其后续发展将从技术深化、生态扩展、产业融合、政策驱动几个维度展开。  

 

技术深化:从理论突破到场景适配

        GSE核心技术的持续迭代将围绕两大方向: 智能调度算法升级和全场景覆盖能力。

  •  智能调度算法升级:当前DGSQ机制已实现微秒级动态授权,未来拟引入AI驱动的流量预测模型,通过分析历史通信模式(如AllReduce/AllGather操作特征),预判突发流量并动态调整容器调度策略,目标是将授权响应速度提升至百纳秒级。  
  •  全场景覆盖能力:针对多模态AI训练中混合流量(视频、文本、参数并行)特性,研发差异化容器构建策略。例如,对时延敏感的小包(如梯度同步)采用“小容器+高优先级”,对大包(如模型参数)采用“巨型容器+带宽保障”,实现网络QoS精细化控制。

 

生态扩展:构建自主可控技术体系

        GSE正加速形成从标准到产品的全栈生态。在标准体系构建方面,中国移动联合华为、中兴通讯等企业发布《智算中心全调度以太网技术白皮书》,推动CCSA(中国通信标准化协会)制定GSE行业标准,并积极向ITU-T国际标准演进。智算集群实践方面,中国移动采用GSE技术改造的GPU集群测试显示,性能相比原生RoCE网络平均提升52.6%,相比优化后的RoCE网络,平均提升26.6%。BERT-Large训练中网络零丢包,单任务节约成本超百万美元。

 

产业融合:赋能新型数字基础设施

        GSE技术的应用边界正从智算中心向更广域延伸,作为超大规模算力网,在国家“东数西算”工程中,GSE的“逻辑长容器”技术可有效解决跨区域数据中心间带宽波动问题;作为6G算力网络,GSE动态队列管理机制和其微秒级故障感知能力,可支持空天地一体化网络中星间链路的快速自愈。  

 

政策驱动:数字中国战略下的发展机遇

        我国《“十四五”数字经济发展规划》明确要求数据中心PUE<1.3,而GSE技术通过全局流量调度可使网络能耗降低。通过产业合作伙伴的共同推动,有望将GSE列入新基建重点项目技术目录,预计到2027年将带动超千亿规模的智算网络改造市场。  

        可以预见,随着GSE专用设备量产、GSOS智能管控系统与Kubernetes等编排平台深度融合,GSE技术有望成为智算网络的“操作系统”,在实现网络传输零损耗、算力释放100%的终极目标中发挥核心作用。这一技术路径不仅关乎企业算力成本竞争,更是国家在AI 2.0时代掌握算力基础设施主导权的战略基石。