数据中心规模经济学

     在云计算数据中心领域，有一个全新的定律引起了广泛的关注，这就是由Amazon创始人杰夫•贝佐斯提出的贝佐斯定律。贝佐斯定律阐述了一个统计事实，过去6年中，云计算能力单元的价格每3年大约下降一半。我们都非常熟悉摩尔定律，根据摩尔定律，企业CIO们可以清晰地把握企业信息化的升级节奏。而现在，随着Wintel联盟的弱化，似乎企业对于信息基础网络的投资，包括终端、网络、服务器的投资也变得不那么热衷了。贝佐斯定律在ICT领域引发了一轮热议，业界认为它将替代摩尔定律，成为CIO们新的圭臬。按照这个定律，企业数据中心迁移到云端只是一个时间问题。

　　本文重点分析云计算数据中心的基础网络成本和规模之间的关系。

从一个典型的数据中心开始

　　数据中心的本质是传递、处理和存储信息。数据中心为各种数据设施提供满足供电、制冷、通信、冗余与安全需求的存放环境。数据中心中的设施包括各种安装在机架或机柜中的有源设备及连接他们的结构化布线系统。图1显示了一个典型的数据中心构成模块。

　　虽然规模不同，大部分数据中心都由以下基本部分组成。主配线区（图1中的A），主要包括数据中心核心交换机、核心路由器、核心存储交换机，以及运营商提供的广域网出口所在位置；水平配线区（图1中的B），主要是数据通信设备，包括汇聚交换机、LAN/SAN交换机以及各种设备的KVM（Keyboard Video Mouse）交换机等；电气/机械室（图1中的D），用于安置电源、配电、空调等设备；设备配线区（图1中的H）是指放置各种计算及存储模块的机架和机柜。

　　随着数据中心规模的扩大，数据中心计算服务器、存储模块、电源系统、空调系统，以及空间物理结构，基本上都是随着数据中心规模以线性相关增加。而数据中心承载网络的“规模-成本”曲线，则有明确的非线性拐点。

云计算数据中心如何经济地选择网络端口类型

　　数据中心承载网络包括计算网络、存储网络和管理网络3个部分。

　　数据中心实际物理部署时，一般采用多台架顶交换机，用于收集机架内的计算、管理和监控。出于工程布线的考虑，一般会配置列头柜和列间柜用于汇聚本列的计算、管理和监控业务。

　　图2中绿色区域一般是核心交换机放置的位置，黄色位置分别标识架顶交换机、列间柜和列头柜。

　　云计算数据中心主要采用千兆以太网和万兆以太网，用于实现架顶交换机到列头柜、列间柜之间的互联。

　　根据Infonetics发布的千兆、万兆、40G和100G网络端口成本统计分析（如图3），千兆以太网端口受益于规模优势和摩尔定律的延续，每年仍有约20%的降价空间，成本在2014年基本达到稳定。根据该统计数据，2014年每个千兆电口价格约为28美元。数据中心接入交换机一般采用4千兆网卡的模式，即一台计算单元需要4个千兆以太网的数据通道，因此，2014年一个千兆服务器的网络成本为112美元。

　　Gartner对交换机的万兆端口市场调研报告显示，万兆以太网端口的价格以每年30%的速度下降，而出货量以每年57%的速度增长。随着市场上万兆端口的普及，价格还会下降。2014—2015年，业界以太网交换机的万兆端口价格将稳定在300美元/端口。业界认为2016年万兆端口成本将达到166美元/端口，这主要受益于10Gbase-T的大规模普及。

　　如图4，以太网端口成本在过去3年有一个明显的降低，2011年，千兆以太网端口和万兆以太网端口分别稳定在47美元/端口和652美元/端口，2014年，千兆以太网端口和万兆以太网端口，分别稳定在25美元/端口和307美元/端口，分别下降了47%和53%。从网络供应商的角度，基本上数据中心网络建设的成本，也是每3年下降一半。在2016年—2017年，随着万兆电口10Gbas-T网卡的成熟，数据中心承载网络建设将转向以万兆电口为主的设计模式。

　　从2011到2014，再从2014到2017年，数据中心承载网络技术方案也是每3年来一次革新，这符合贝佐斯定律。因此，从服务器千兆到架顶交换机，然后以万兆实现架顶交换机到列头柜和列间柜，可以说是当前云计算数据中心建设的最优选择。

数据中心网络连接技术的拓扑制约

　　数据中心规模设计需要考虑网络连接技术的限制。在机柜内部，机架本身高2.2m、宽0.6m，再加上走线余量，架顶交换机到服务器之间的走线距离不会超过3.5m，因此基于五类、超五类双绞线的千兆端口，可以满足规模部署要求。

　　针对数据中心内部从架顶交换机到列头柜或列间柜的万兆互联，分别对万兆电口和万兆光口进行讨论。

　　基于铜缆应用的万兆电口以太网应用标准IEEE 802.3an已在2006年正式颁布。标准规定了在100m、4连接器信道上支持IEEE802.3an 10Gbase-T以太网运用的6A类/EA级布线系统，包括连接器件、线缆、跳线技术性能标准以及现场测试ANEXT的方法。万兆电口网线传输距离见表1。

　　对于万兆光口，IEEE 802.3ae 10 Gbps光纤以太网应用定义了50/125μm和62.5/125μm两种类型的多模光纤和1310nm、1550nm的单模光纤。万兆光口光纤传输距离如表2所示。

　　考虑到传输媒介长度的限制，比如万兆62.5/125μm多模光纤最长传输距离是33m，那么列头柜到最后一列架顶交换机的距离要小于33m。机柜内部走线3m，一个机柜的宽度是0.6m，因此，利用万兆62.5/125μm多模光纤布线的数据中心，列头柜的模式，最多可以配置50个机柜（（33-3）/0.6）。如果采用列间柜的模型，左右分别延长33m，可以配置100个机柜。

　　要构建最大规模的数据中心，采用无阻塞的胖树（Fat Tree）互联模式，推荐采用全球最大交换容量的BigMatrix9900数据中心核心交换机。在核心交换机部署最多32台BigMatrix 9916，以及64台BigMatrix9916的列间柜交换机，则每台列间柜交换机可以提供1024个万兆端口，到达架顶交换机。

　　考虑到列间柜最远距离可以配置100个机柜，因此建议10列数据中心机柜，配置一台列间交换机，而这1024个服务器模组，构成了一个胖树（Fat Tree）互联模式的子模组。以64个子模组的方式构建的大规模云计算数据中心，以64个子模组的方式构建的整个胖树互联模式云计算数据中心，是使用低成本62.5/125μm多模光纤部署的规模成本最优点。

　　贝佐斯定律揭示了云计算数据中心的成本竞争力，云计算的成本，将很大程度受制于云计算数据中心基础网络的方案设计。技术演进到今天，无论是网络技术、光电转换技术、存储技术，还是硅晶体的工艺参数，都集中在一个全新的边界点。在这个边界点上，云计算数据中心供应商的推动力和用户需求的拉力之间，形成了一个稳定的平衡边界，这正是CIO们决策的最佳时机。