数据中心经历了多次变革,从最早作为计算机/大型机运行环境,到互联网时代作为带宽入口,再到现在成为智慧星球云计算引擎。数据中心的应用需求也在不断演变,最初关注温湿度和动力等可用性可靠性指标,后来把数据中心进行业务分区,分为业务网、管理网,再到现在要求数据中心融合地理位置、土建、机房、服务器,形成综合的云计算平台。数据中心逐渐从配套的边缘走向业务的核心,开始成为最终用户ICT建设的关注焦点。
传统数据中心建设的项目性规划、设计、实施、验收的方法无法满足云计算弹性、廉价、可管控的技术要求。已有多个数据中心建成后根本满足不了业务发展和ICT技术发展的需求,导致需要不断重新建设;另一方面,正在建设中的数据中心的能耗、造价、工期总在不断变动,过程难以控制;甚至,已投入运营的数据中心,由于运行状态无法获取,常常发生服务器要上线,却不知要放在哪台机架上的情况,由于对耗能、耗水、人工投入、设备可用性状态不清晰,传统数据中心运维长期处于盲目而低效的状态。随着数据中心走向业务核心,以土建为视角的传统数据中心建设方式必须改变。
数据中心建设思想革新:计算机架构代替土建工程
领先的ICT企业都在反思数据中心建设问题,探索数据中心建设新模式。腾讯和中兴通讯研究国内外经验,通过集装箱、SOHOMO等模式的尝试和摸索,不约而同地发起了数据中心产品化的进程。中兴通讯通过对数据中心进行生命周期和KPI管理,发展出微模块数据中心的产品形态——把末端结构系统、制冷系统、配电系统、管控系统组合成为一个产品,并和土建、消防、水电、网络形成标准接口。从计算机架构的视角出发,用产品研发的方法和流程,通过系统级的组合优化和分拆拼装方式去做数据中心产品。从此数据中心建设不再是机房装修,而可以被整体视为计算机机框(机箱、电源、风扇、CMM管理单板)的组装。通过样机试制和系统测试的方式,平衡性能和可靠性,压缩前期工程设计的过多的冗余量;通过工厂预制和现场拼装,平衡模块化和灵活性,减少前期工程实施中在安装和调试环节人工、材料的浪费,并增加对物理土建和服务器设备的适配灵活性。
2013年,在广东联通的支持下,在深圳坪山新区,腾讯、中兴通讯和广东联通共同打造了亚洲最大的微模块数据中心,一起完成了数据中心的划时代变革。在15000米2、12000kVA的容量下,历时4个多月,建成可用性达到Tier3+、30%负载率PUE1.5左右,可容纳85000多台服务器和交换机单板的数据中心。
微模块数据中心的本质为去工程化、节能、智能化
坪山数据中心完全由微模块组成,一期建设20个微模块,二期建设40多个微模块。整个项目从装修进场到完工,仅花了4个多月的时间,其中二期40个微模块从进场安装到通过测试验证只用了45天,充分体现了微模块易复制、部署速度快的优势。快速部署的关键在于去工程化的设计,去工程化就是要压缩物料数量、压缩工序、优化作业编排、严格工程指导,通过这些标准化的工作,来提升效率。在系统测试过程中,中兴通讯一位结构工程经理在对样机的去工程化测试报告评审中提出多个优化的设计。比如就底座调平这一工序,采取了优化设计后,这一工序的工期就从10个模块6天,压缩到了10个模块2天,并节省了大量螺栓等工程辅材。再比如对于管控子系统所用的物料型号,必须在系统测试实验室通过兼容性测试,这样工程调试就不需要研发人员投入,调试的人员投入和花费时间也在大幅降低。
坪山数据中心项目集高压直流、行级制冷、能效管理等于一体,机房微模块分别标准化为18R模块、12R模块。18R模块按照总体功率120kW,12R微模块按照总体功率80kW计算。微模块局部PUE1.07,30%负载率整体PUE1.5左右,90%负载率整体PUE1.4左右,创造了PUE在深圳地区的新低。项目联合团队不仅重视高负载率下的PUE,也重视低负载率下的PUE,在样机试制和系统测试中,优化行间空调的群控策略,有效降低PUE,并形成了低负载率情况下如何节能等一些实用的运维建议。
坪山数据中心项目非常重视智能化,每个模块都有一套管控软件iDCIM,通过集成平台,对每个模块和各个状态进行统一展示,类似计算机的CMM管理单板。iDCIM数据中心监控系统具备丰富的界面组态、多样的报警功能、开放式协议接口、大容量的数据采集、存储功能以及智能的数据分析技术。iDCIM的能效管理模块对整个机架服务区用电量进行管理和记录,同时可以通过网络进行外部访问,温度、湿度、水浸和烟雾探测监测都与告警系统整合在一起,便于集中管理和远程监控。
微模块数据中心只是数据中心产品化的开始
有人预计到2025年,数据中心将从项目集成工程变成制造业,Facebook在最新的OCP(Open Computing Project,开放计算项目)公布了最新的项目实践RDDC(Rapid Deployment Data Center,快速部署数据中心),其数据中心组件已经开始全面的模块化和产品化,除了微模块外,供配电、制冷、土建都在和整柜服务器OpenRack一样开始产品化。相信腾讯和中兴通讯将持续投入、纵深发力,并在标准、项目、技术预研、产品研制上开展广阔的合作,共同推进数据中心产品化革新。