在全球范围内,2018—2024年,来自4G/5G和消费者固定宽带网络的总数据流量以28.7%的复合年增长率(CAGR)快速增长。尤其随着5G、千兆宽带在各个国家的逐步商用,云XR游戏、AR/VR、高清视频、5G垂直行业创新应用层出不穷,流量在网络核心层越发呈现爆发性增长趋势。核心路由器设备容量不断增长,设备散热技术成为建设低碳网络的关键技术。
核心路由器引入液冷技术是大势所趋
随着流量快速增长,目前网络核心层对路由器容量要求已经从几年前的400G发展到现在的单槽位1T/2T甚至4T。传统骨干网核心路由器均采用风冷散热方式,传统风冷模式最高能支撑核心路由器2000W/槽位的散热能力。随着网络核心层流量的快速增长,设备容量不断增长,设备功率密度持续攀升,离单槽2000W的风冷上限越来越近,这带来了两大挑战。
首先,功耗增加,整个机房存在巨大的散热和供电压力,而主设备及机房空调制冷能耗导致运营商电费开支巨大。运营商大容量通信机房的PUE(Power Usage Effectiveness)约为2.5,远高于数据中心(PUE为1.8)。按照中国三大运营商统计的历史数据,2018年三大运营商电费合计505亿元,如果PUE每降低0.1,电费节省达25亿元。
其次,骨干层核心路由器功耗随容量提升逐年增加,当突破2000W/槽位上限后,如何应对?目前,采用高效可靠的液冷散热技术被认为是解决该问题的有效途径。
核心路由器引入液冷技术,从行业发展和运营商角度分析,是大势所趋。
从行业发展角度看:
核心路由器功率增长,本质是芯片容量成倍增加,虽然引入了7nm等更先进的制程工艺,但是由于容量的翻倍提升,导致芯片本身功率密度持续增长。如果散热技术的发展跟不上,就会带来芯片内部热量堆积和温度升高,对芯片的寿命和性能的稳定性产生不利影响,导致设备稳定性和业务有效性的降低。
当前主流应用的强迫风冷技术具有噪音大、换热系数小等缺点,大容量核心路由器的噪声水平轻松可以达到78dB,与风冷技术对比,液冷技术具有散热效率高、低噪节能等突出的优点,符合行业的迫切需求。
IT行业已经开始批量应用单相液冷散热技术,主流的服务器厂商都已经推出了成熟的以水为冷却剂的单相液冷设备。但传统单相液冷技术以水为工质,其腐蚀性和导电性问题无法满足对可靠性要求极高的核心路由器的需求;相比之下,无水液冷的工质从绝缘性和相容性来说,更符合核心路由器的需求。
从运营商角度看,现有运营商核心机房的单机柜散热能力为6kW,而大容量核心路由器机柜的功耗已经达到了30kW以上。运营商对未来核心路由器产品的需求主要有:
- 高集成度:设备及芯片的高集成度是不可逆转的趋势;
- 高效散热:大容量核心路由器业务能力强,在尽可能小的机房面积上实现尽可能多的业务能力需要更高的散热量,设备需要实现高效散热;
- 低噪声:设备容量提升的同时要减少噪声污染,提升运维人员舒适性;
- 维护简单:设备维护要尽量简单,降低运维成本;
- 低能耗:响应国家节能减排号召,降低整机能耗和空调制冷能耗以降低电信运营成本;
- 架构兼容性好:硬件设计上兼容风冷及液冷散热架构,能适应现有机房以及未来ICT机房的制冷架构。
液冷技术助力大容量核心路由器发展
液冷技术主要是利用液体的高导热、高热容以及高相变潜热等特性,替代空气进行高效的热交换,从而将芯片等关键部件产生的热量带走,实现散热。
液冷系统主要由具备液冷功能的核心路由器、冷却剂分配单元(CDU)以及冷水机组三部分组成(见图1),主要包括单相液冷散热技术和两相液冷散热技术。
图1 液冷系统组成架构
- 单相液冷散热技术:在密闭的内循环装置中,通过CDU内置的泵产生动力推动密闭系统中的单相冷却剂循环流动,将散热片吸收的芯片热量通过冷却剂的循环流动带出,释放到外部环境,冷却后的液体再次回到设备中,循环往复带出热量。
- 两相液冷散热技术:冷却剂在循环泵的作用下进入吸热设备,工质在吸收热量后由单相变为气液两相态,两相混合物在流经外部释放热量后冷凝重新变为液态,再次循环流入设备。
目前,中兴通讯已投入资源积极从事单相液冷散热技术和两相液冷散热技术的研发,单相液冷散热技术实验室数据可达到2500W/槽位的散热能力,两相液冷散热可达5000W/槽位的散热能力,能够有效应对未来10T+以上大容量核心路由平台的散热需求。
相比传统散热技术,液冷散热技术目前最高可实现整机散热能力提升2.5倍,噪音降低80%+,节能30%+。现在,中兴通讯液冷样机已在运营商实验室进行测试验证,助力运营商构建低碳低噪网络。
中兴通讯液冷方案助力大容量核心机房能源改造
液冷技术通过比空气更高效的液体来转移热量,热量传递效率更高,并且通过液冷循环直接将热量排放到室外环境,对机房的制冷能力要求不高,无需太多的改造和新建,可以解决当前通信机房在高功耗设备应用上的痛点。
为解决当前高功耗设备在机房应用中存在的供电困难、机房PUE高、占地空间增加等问题,中兴通讯、中国电信研究院和中国电信云公司联合开展路由器液冷项目,研究和解决未来大容量核心路由器在机房应用中的难题。
该路由器液冷项目采用中兴通讯研发的ZXR10 T8000(支持液冷方式),利用电信云公司现有通信机房,进行局部改造,支持液冷系统的应用。液冷系统主要包括四部分:液冷路由器机柜④、液冷CDU③、液冷室外冷却塔①、风冷机房空调②(见图2)。
图2 中兴通讯液冷系统方案
路由器液冷系统可以直接使用空调的冷冻水外机,但该路由器液冷项目为更好地验证液冷系统的性能指标,液冷系统采用独立的封闭系统。机房室外采用独立的冷却塔,机房内部各设备的供电线路彼此独立,且可计量。为达成以上目标,需要对电信云公司现有的通信机房进行改造,主要涉及室外冷却塔和CDU之间管路的土建改造,以及供电线路的改造。
ZXR10 T8000(支持液冷方式)整机提供20kW左右的功耗,采用风/液混和的冷却方式,风冷部分热量依靠机房空调解决,液冷部分热量通过CDU以及室外冷却塔解决。液冷系统采用单相无水工质,绝缘不导电,使用更安全可靠,满足十年长期稳定运行;液冷单板采用快速流体连接器,支持设备运行过程中带压插拔,即插即用,高效维护。
CDU使用外置方式,占用一个机柜位,系统CDU-室外冷却塔侧采用自然冷却、CDU-液冷机柜侧高温供液(>45℃)方案(低温供液容易产生凝露),具有节能、高效、高集成的特点;关键部件采用冗余备份设计,可靠性更高。
基于测试数据,改造后的机房PUE可达1.2以下,目前已完成创新成果一期试验测试和验收。
液冷系统长期运行的可靠性和对于能耗的节省程度是非常重要的两个方面,本次试验给客户提供的是全套液冷系统,包括室内液冷单机、CDU和室外冷却塔,因此,可以说是从液冷设备到机房综合解决方案的验证,为下一步运营商制定液冷机房的建设标准,提供了积极的探索。