下一代互联网的发展趋势与CN2的设计思路

1 IP业务发展趋势
    当前，包括中国在内的世界主要网络的业务量都已经由IP业务量所主导，而IP业务的主要发展趋势可以简单地归纳为普及化、宽带化、差异化、综合化，以及由目前的客户/服务器为主的应用模式，逐步过渡到点对点和点对多点(PtP和PtMP)为主的应用模式。

    首先是应用普及化。根据最新统计，全球互联网接入用户已经超过9亿户，成为仅次于移动电话和固定电话的第三大通信方式。特别是这几年以数字用户线(DSL)和电缆调制解调器(CM)为主要接入方式的宽带用户数迅速增长和普及，根据不对称数字用户线(ADSL)论坛统计，到2004年9月，全球DSL用户数达到8 530万线；根据Yankee Group预测，到2008年全球宽带用户数可达3.5亿户，其中DSL用户数为2亿户。

    其次是应用宽带化。宽带视频应用正成为互联网业务的下一个卖点，如网络电视(IPTV)、视频会议、视频电话、3D互动游戏等等。液晶和等离子高清显示终端技术的快速进步和价格的迅速下降正孕育着一场显示终端的革命。MPEG-4和VC-1视频编解码技术基本成熟，性能优越却拖延很久的H.264标准也已经有了演示系统。宽带视频的应用将会有力地促进ADSL2+、甚高速数字用户线(VDSL)、光纤到家(FTTH)等宽带接入方式的推广；反之，只有宽带接入方式大规模推广后，才能最终推动宽带视频应用的普及。

    第三是业务综合化。利用IP网络承载语音、数据和视频业务是互联网运营商业务发展的主要目标，而以家庭网关为核心的家庭连网是可靠地实现这一目标的关键。其中家庭语音/视频通信、家庭综合娱乐、安全监控、家电控制、家庭健康等综合化的业务，是互联网业务的新增长点。

    第四是业务差异化。差异化服务包括应用层和网络层的差异化。利用IP网络传输透明和与业务无关的特点，应用系统可以根据不同客户的需求为同一业务提供不同的质量服务。通过服务质量(QoS)控制技术，在网络层可以提供不同延时、丢包、抖动性能的传送业务，同时也能控制非法运营业务。

    最后，点对点应用正快速成为IP业务应用的主导模式。人与人之间的通信是基本通信，由于IPv4地址空间的限制，目前采用私有地址和网络地址转换(NAT)技术实现的封闭企业网和点到点协议(PPP)拨号上网的家庭终端成为制约点对点通信的主要障碍，呼叫建立和信息流穿越NAT则是最大的技术问题。采用IPv6后，丰富的IP地址空间，可以将企业网络、家庭网络和运营商网络无缝连接起来，使企业网络和家庭网络成为运营商网络的一部分，点对点的通信将可以顺利实现并广泛普及。

2 IP业务赢利模式探讨
    IP技术起源于美国国防部，从军用转为民用后，首先在科学研究和教育领域大量使用。国防和教育领域使用IP网络不以赢利为目的。因而IP网络基本没有考虑可赢利的运营模式和相关的技术，是一个完全开放的网络。正是由于这种开放性，创造了全民参与和技术创新的有利环境，促进了IP应用和网络的快速发展。但是作为运营商多业务的承载平台，IP网络的开放性和非赢利运营模式在消耗了大量的网络资源的同时，却仅仅带来了极其有限的收入，同时还培育了大量虚拟运营商，进一步分流了自身的业务收入。显然，这样的商务模式是无法长期维系的，必须建立起一个合理的赢利模式和产业价值链，才能保证IP业务的长期可持续发展，而运营商应该是这一产业链中的纽带，起主导作用。

    运营商要主导互联网产业链，必须具备主导客户、内容提供商和设备提供商的能力和手段。从业务角度看，应该将内容提供商的各种应用和运营商的基本接入业务捆绑，实现接入和应用的组合营销；从网络的角度看，应该由目前开放的、不可控的网络转变为可控可管的网络，既控制内容提供商的应用，也控制用户使用和消费。将每一种应用变成一种业务，合理收取相应的费用，整个产业链就会实现健康发展。要实现对网络和业务的控制和管理，既依赖于互联网技术的完善和发展，更依赖于政府产业政策的制订和大众对互联网运营和业务消费方式的再认识。

3 下一代互联网的关键技术
    通过对近几年IP业务的蓬勃发展及其所带来的一系列问题和挑战的再认识，我们感到下一代互联网的主要特征应该是：可扩展、高可用、可管控、高安全、应用IPv6/MPLS和具备一定的QoS。下面对实现上述目标的关键技术进行探讨。

3.1 网络可扩展技术
    近几年来，IP应用的快速普及化和宽带化对网络的扩展性提出了严峻的挑战。大容量路由器、高速链路、大型网络负载分担技术、大规模路由技术是当前保证网络扩展性的主要技术。其中最关键的是大容量路由器技术，解决方案已经有多种，最可行的方法是采用一体化路由器结构方案，又称为路由器矩阵技术或多机箱(Multi-Chassis)组合技术。此时，每个节点只有一个路由控制进程，从外部看仿佛像一个路由器一样，使路由体系和MPLS实施变得比较简单，运行管理得以简化，运营成本可以降低，扩展性和性能得到明显改进。采用新型的高容量低成本光接口互联各个机箱的背板，无需普通接口板卡所必须的超高速存储芯片阵列和用于缓存的高速同步动态芯片阵列，再加上采用低成本的VCSEL光源，使互联成本远低于普通端口互联方式，能够较好地解决路由器的扩展性问题，真正实现太比特每秒级和数十太比特每秒级的超大容量核心路由器。目前采用这种思路已经开发的路由器单机箱交换容量达到1.28 Tb/s，交换矩阵具备250%的加速比，采用多机箱组合技术后，最大交换容量理论上可以达到92 Tb/s，支持1 152个40 Gb/s端口，大大减少了业务呈现点(POP)内设备间互联端口。但是这样大规模的多机箱组合技术在实践上是否经济可行还有待证明，配套的40 Gb/s传输系统还需要几年时间才具备规模商用的条件，现有网络的光缆线路能否支持40 Gb/s的传输还需要作大量的调研和改造工作。

    从长远发展看，电的交换矩阵在速度上总是要受限于器件和微带处理工艺以及功耗和串扰的，其规模则会受限于芯片内部逻辑和引脚数的限制，接口速率的提高也要受包头处理的复杂性所限。此外，日益增长的巨大路由表对线速处理和交换也成为很大的负担，路由器的长远扩展性问题的深入研究工作仍需继续进行。

    通过多条等价链路增加网络容量是大型IP网络设计的基本方法。目前基于链路状态算法的内部网关协议(IGP)能够支持多达16条等价路径的负载分担，基本满足网络可扩展的要求。但是在内部边界网关协议(iBGP)引入路由反射器(RR)后，对路由信息进行了选择性转发，屏蔽了多条等价路径信息，使得边界网关协议(BGP)不能利用IGP实现等价路径的负载分担和最短路径的选择，造成流量分布的不均衡，严重影响网络的可扩展性。多协议标记交换(MPLS)、MPLS虚拟专用网(VPN)和组播负载分担技术也存在一些不足之处，需要进一步完善才能满足大容量、可扩展的要求。

    路由器控制引擎普遍采用64比特高性能多CPU，同时最短路径优先(SPF)路由算法中引入了部分路由计算(PRC)和增量最短路径优先(I-SPF)等优化算法后，使得SPF计算效率大大提高，计算次数减少。按照目前的技术，在传输链路可用性达到99.9%的情况下，2 000台路由器和8 000条中继链路的网络可以稳定运行，SPF计算时间小于100 ms。8 000条链路的典型网络结构，单向网络容量最大可达320 Tb/s，按照平均流量穿越5条中继链路计算，具备同时传递3 200万对2 Mb/s带宽的可视电话业务。

3.2 网络可用性技术
    影响网络可用性的关键技术有路由快速收敛技术、快速重路由技术(FRR)、软硬件在线升级技术、协议平稳重起技术和设备自身的可靠性技术等，另外还依赖于底层传送网络的可用性。

    影响快速路由收敛和快速重路由切换时间的关键因素是故障检测和判断技术，由因特网工程任务组
(IETF)提出的双向失效检测(BFD)协议是关键。BFD协议通过定期发送基于数据报协议(UDP)层的故障检测数据包，不但可以检测和判断传输链路、光接口和设备端口的中断故障，还可以检测和判断传输层、链路层、IP层和应用层存在的误码、丢包等软故障，弥补了目前基于SDH故障检测只能实现传输层故障检测的不足。目前BFD缺省检测间隔是10 ms，连续3次检测到故障，就判断链路故障，也就是30 ms就可以检测和判断故障。BFD技术已经是新一代路由器端口故障检测的必备功能，不依赖于任何其他协议或者应用，采用硬件实现，不影响设备性能。采用BFD后，结合其他技术，大型网络路由收敛时间有望小于500 ms，FRR时间小于50 ms。

    为了进一步改进网络的可用性，IETF还提出了一系列平稳协议重起协议，包括针对中间系统-中间系统(IS-IS)、开放式最短路径优先(OSPF)协议、BGP、标记分配协议(LDP)、资源预留协议(RSVP)等的平稳重起。平稳重起就是在路由器控制平面故障、软件升级、主备切换等情况下，依然保证数据转发平面能正常工作，不影响业务的正常提供。平稳协议重起技术是在网络稳定，也就是拓扑没有变化的情况下，尽量保证业务提供。如果在协议重起期间，网络拓扑发生变化，由于控制引擎不能及时进行计算，可能造成网络路由不同步，产生路由黑洞，所以在实际使用中要注意使用场合和相关参数的设计，谨慎使用。主流路由器厂家已经支持相关协议，互操作测试尚在完善之中。

3.3  网络管理控制技术
    要实现业务的管理和控制，需要依靠应用层和网络层的偕同配合。网络层管理和控制的难点是配置管理和资源管理、业务开通和准入控制，技术瓶颈是管理协议和管理对象的标准化模型。目前网络管理协议主要是简单网络管理协议(SNMP)和网络配置协议(NETCONF)。SNMP采用UDP传送，实现简单，技术成熟，但是在安全可靠性、管理操作效率、交互操作和复杂操作实现上还不能满足管理需求。NETCONF协议采用可扩展标识语言(XML)作为配置数据和协议消息内容的数据编码方式，采用基于传输控制协议(TCP)的SSHv2进行传送，用简单的远程过程调用(RPC)方式实现操作和控制。XML语言可以表达复杂的、具有内在逻辑关系的、模型化的管理对象，比如端口、协议、业务以及它们之间的关系等等，大大提高了操作效率和对象标准化，同时采用SSHv2传送方式，可靠性、安全性、交互性很好。但是NETCONF协议刚刚起草，管理对象模型建立任务繁重，设备支持需要时间，整个技术成熟大约还需要2～3年左右时间。简言之，NETCONF是将来网络管理，尤其是设备配置和业务开通管理的主要发展方向，SNMP则在数据采集和故障报警等方面的使用将会长期存在。

    网络层的业务控制主要在业务接入控制点实现，一般指业务路由器(SR)和宽带接入服务器(BRAS)。目前有远程拨号用户认证(RADIUS)和公用开放策略服务(COPS)两种协议体系实现业务管理系统和业务接入控制点之间的通信，实现业务的管理和控制。RADIUS基于UDP协议，通过属性值来实现控制功能，已经在AAA认证中广泛使用，但是RADIUS协议在可靠性、安全性、交互性、可扩展性和在线过程控制上不能满足业务控制的需求。COPS基于TCP协议，优化了管理信息库(MIB)的设计，加强了操作的交互能力，能够在线调整业务。但是COPS在MIB库、厂家支持等方面刚刚起步，同时业界存在较大争论，而NETCONF协议的提出对COPS形成了较大冲击。在这样的形势下，我们感到近期还是以RADIUS协议为主实现AAA和简单的业务控制，基于COPS协议的门户(Portal)系统可以局部使用，而基于XML技术的NETCONF协议在实现业务开通和控制方面更具生命力，值得重点关注。

3.4 网络安全技术
    网络安全的关键是实现应用层、网络层和物理层的溯源和攻击者的物理定位。通常，溯源采用网络层和物理层相结合的方式实现，最终目标是实现物理层溯源。溯源是事后威慑方式的安全防范技术，目前的PSTN网就具备可溯源性而很少出现类似的分布式拒绝服务攻击(DDOS)。

    应用层溯源可通过自身的身份识别和认证来实现，也可以在应用层协议中增加网络层信息，将其转化为网络层的溯源问题，比如在电子邮件协议MSTP和POP协议中增加发送者源地址信息，或者电子邮件服务器记录发送者的源地址信息，将应用层的追溯转移到网络层，由后者实现。

    网络层溯源可以根据源IP地址实现，物理层溯源是在用户和业务接入控制点之间采用可堆叠虚拟局域网(SVLAN)技术实现一个用户一个VLAN，建立物理层点对点连接，完成用户接入物理位置的定位。近期可以暂时采用DHCP Option82、PPPoE＋、ATM PVC和VBASE等技术协助实现用户物理层的唯一性标识。由于目前IPv4地址数量的限制，普通用户上网采用PPP拨号或者DHCP实现动态地址分配，企业上网采用NAT技术，这些都给网络层溯源带来极大的困难。建立完整的地址资源管理信息库，结合RADIUS记帐信息中IP地址和物理端口信息的对应信息，实现网络层的溯源，并最终实现物理层溯源，是目前现实可行的方案。

    在业务接入控制点设备上，采用严格的单播的反向路径查找(uRPF)技术，基本可以防止源地址欺骗。将来采用IPv6技术后，所有个人和企业终端都可以分配到永久性的公共IP地址，因而很容易识别发送设备的类型，实现端到端的安全。再结合采用网络层、链路层等多层次RPF技术，有望从根本上解决网络层的溯源。

3.5 IPv6技术
    目前的互联网是以IPv4协议为基础的，还剩14亿地址可用，可能在2010年左右全部耗尽。此外，IPv4在应用限制、管理灵活性、安全性方面的内在缺陷也越来越不能满足未来发展的需要，互联网逐渐转向以IPv6为基础的下一代互联网是不可避免的大趋势，IPv6是下一代互联网的关键技术之一。

    采用IPv6从根本上解决了IPv4存在的地址限制和更加有效地支持移动IP，给业务实现和网络运营管理带来的好处是革命性的。首先，IPv6使地址空间从IPv4的32比特扩展到128比特，完全消除了互联网地址壁垒造成的网络壁垒和通信壁垒，解决了网络层端到端的寻址和呼叫，有利于运营商网络向企业网络和家庭网络的延伸；其次，IPv6避免了动态地址分配和NAT的使用，解决了网络层溯源问题，给网络安全提供了根本的解决措施，同时扫清了NAT对业务实现的障碍；第三，IPv6协议已经内置移动IPv6协议，可以使移动终端在不改变自身IP地址的前提下实现在不同接入媒质之间的自由移动，为3G、WLAN、WiMAX等的无缝使用创造了条件；第四，IPv6协议通过一系列的自动发现和自动配置功能，简化了网络节点的管理和维护，可以实现即插即用，有利于支持移动节点和大量小型家电和通信设备的应用；第五，采用IPv6后可以开发很多新的热点应用，特别是P2P业务，例如在线聊天、在线游戏等。简言之，IPv6协议是下一代互联网的基础，从长远的观点看，IPv6结合MPLS将最终成为向NGN演进的业务承载层融合协议。

    有关IPv6的技术标准已经基本成型，但实际网络推进速度很慢。主要原因是IPv4通过采用网络地址转换(NAT)等措施尚能应付5年左右的地址需求。另一方面，IP地址方式与上层协议和网络的运作方式关系紧密，实现IPv4向IPv6升级，几乎涉及网上所有设备和应用，耗时费力，存在较大的风险。

3.6 QoS业务控制技术
    可运营的QoS应该具备业务质量保证和业务质量控制两个方面的能力。QoS业务相关的关键技术包括：质量保证、质量控制、QoS管理、QoS业务标识和防盗。

    质量保证主要采用适度轻载、区分服务(DiffServ)和流量工程(TE)相结合实现。参照国际运营商和研究机构对互联网流量实时检测结果，互联网流量模型特征符合泊松分布。中国电信广州研究院采用此模型对CN2网络采用的核心路由器进行测试，在路由器开启DiffServ后，得出如下结果：关键业务和普通业务分别为总带宽10%、150%(总带宽利用率100%)的情况下：关键业务0丢包，抖动60 ?滋s左右，普通业务丢包0.3%左右，抖动1.2 ms左右。由此可见，采用新一代高端路由器，即使在重载和拥塞情况下高等级业务的质量也完全可以保证。采用QoS在保证业务质量的同时可以提高网络的资源使用效率。目前国外大多数IP网络建设比较早，没有部署QoS机制，一般采用轻载方式保证质量。随着QoS技术的进步，理论上网络有可能在较重负载下运行，将会有效地提高网络的利用率。在DiffServ架构中，调度算法、队列数量、缓存大小和丢包策略决定设备每跳的行为(PHB)。一般要求每个物理端口支持100 ms的数据缓存能力，每个业务逻辑端口大于8个队列和8个严格优先等级，支持基于加权随机早期侦测(WRED)的丢包策略，边缘业务路由器的发展趋势是具备丰富的业务支持、处理和升级能力以及层次化的队列调度机制等。

    网络质量控制是网络控制的重要组成部分，是在轻载网络上如何实现网络层差分业务的关键。下一代互联网应该具备针对不同包类型、应用类型和业务类型，实现可人为配置的丢包比例和丢包方式、包乱序控制和包延时控制。这样才能真正实现可控的差分服务，同时打击非法应用和非法运营。

    QoS业务管理是部署QoS业务的难点，目前缺少成熟的管理系统。近期可行的QoS管理方案是采用OPENET进行离线的QoS参数计算和网络仿真、参数在线配置、实际运行参数的采集和统计分析，然后根据统计分析的结果周期性调整网络QoS参数。自动的、批量的参数配置需要等待NETCONF技术基本成熟后才能可靠进行。

    QoS业务盗用是用户自行修改QoS等级标记享受高等级的服务质量，甚至利用高等级流量实施安全攻击，所以QoS业务防盗成为采用QoS后面临的问题。根据物理端口完成业务分类和等级标识是最安全和可信的，如最高等级的业务必须基于物理端口完成QoS业务标记，其次在业务接入控制点设备上进行业务等级的审查和重标识。在DSL论坛TR-059架构中，规定了用户设备(CPE)负责业务上行QoS分类、标记和控制功能，而宽带接入远程服务(BRAS)负责业务下行QoS功能和CPE业务上行QoS的确认检查。

4 中国电信CN2的总体设计思路
    CN2项目是中国电信着力为下一代网络与业务打造的业务承载平台，其主要设计思路是充分利用现有的比较成熟的最新技术搭建一个可扩展、高可用、具备一定QoS和安全性的融合的业务承载平台。在网络架构上分为2个网络功能层面和4个网络结构层面。2个功能层分别是高速转发层和业务提供层，前者称为骨干网络，后者称为业务提供网络。4个结构层指核心层、汇聚层、边缘层和业务接入层。

    CN2的基本建网特点是大容量和轻载运行，核心层采用MPLS FRR，全网采用快速路由收敛，以硬件线速转发方式支持IPv6，具备差分服务、组播、有保证的MPLS VPN、协议平稳重起、BFD功能以及简化的业务开放策略等等。

    在CN2的具体网络设计上有很多突破之处。例如在物理拓扑设计思路上在保持网络层次化的同时，尽量简化网络结构，打破行政区限制，减少设备和节点数量，减少端到端的路由跳数，保证网络的可管理性。同时在业务量较小的地市，不设置节点，就近合并城域网，从而控制网络规模，简化网络结构。

    在路由设计上采用扁平化思路。IGP采用简单高效成熟的IS-IS协议，所有路由器在同一IS-IS 二层平面内，充分利用多等价路径负载分担技术，按照单平面设计路由。BGP采用BGP-4协议和一级路由反射器(RR)结构；利用一些设计技巧，实现IBGP和EBGP在多等价路径情况下的负载分担，实现IGP和BGP的完美配合。

    CN2的核心技术是IP/MPLS。在IP层面，实现平均小于500 ms的快速路由收敛、8条等价路径负载分担、IGP/BGP的协议平稳重起、全网组播，具备平稳升级到IPv6的能力；初期采用负载不超过50%的轻载方式、全网部署DiffServ技术来实现8个类别的QoS业务，QoS技术不但只是用来区分不同业务的质量，而且也是实现网络资源分配的关键技术；在MPLS层面，核心节点之间50条链路部署了FRR，实现50 ms的保护切换；CN2可以提供全网MPLS 二层/三层VPN业务；在所有接入链路端口上部署反向转发查找(uRPF)和安全控制列表(ACL)等安全控制功能，结合科学的地址规划和控制路由信息分发，在网络边缘构建一个安全的屏障。

    CN2建成后，共有600多台路由器，覆盖约200个城市，骨干网总交换容量双向达到152 Tb/s，边缘业务提供网的交换容量64 Tb/s，可以大体满足2010年左右的业务容量要求。

    CN2还配套建设了网络管理系统，采用全网集中管理的思路，重点建设VPN业务、QoS业务、网络安全和大客户业务相关的业务管理系统。

    除了技术措施外，业务策略的设计也很关键，按照目前的技术水平，不能指望一个高质量的网络对所有业务和所有用户都开放，那将是十分复杂被动的局面。因而，CN2网络将采用尽量简单的业务策略，初期主要开放4类重要业务，即承载有质量保证的企业互连和大客户接入、3G中继、软交换中继以及重要的互联星空(Vnet)业务。而中国电信现有的ChinaNet互联网将主要作为普通互联网业务的承载网络，两张网络将长期并存和相互补充，共同承载中国电信的IP业务。

    简言之，CN2的建设将为中国电信下一代网的发展奠定一个统一的有较高质量保证的业务承载平台，其自身也将构成下一代网的一部分。有理由相信，这一网络的建设将在很大程度上促进中国下一代网络技术业务的全面展开和向融合网络的演进步伐。

收稿日期：2005-03-16

[摘要] 文章认为普及化、宽带化、差异化、综合化是IP业务的主要发展趋势，目前的客户/服务器为主的应用模式将逐步过渡到点对点和点对多点的应用模式，运营商应具备主导客户、内容提供商和设备提供商的能力和手段。文章重点探讨了下一代互联网的关键技术：网络可扩展技术、网络可用性技术、网络管理控制技术、网络安全技术、服务质量(QoS)业务控制技术和IPv6技术。文章还从2个功能层——高速转发层和业务提供层，4个结构层——核心层、汇聚层、边缘层和业务接入层入手介绍了中国电信CN2网络的总体设计思路。

[关键词] 下一代互联网；发展趋势；关键技术

[Abstract] The IP services will evolve towards the popularization, broadbandization, differentiation and integration. Point-to-point and point-to-multipoint application models will gradually substitute the present client/server application model. Carriers are required to have the capabilities and means of guiding subscribers, content providers and equipment vendors. The key technologies of NGI are addressed, referring to network scalability, network availability, network manageability, network security, QoS control, and IPv6 technologies. The overall design principles of China Telecom;s CN2 network are presented with regard to Two Function Layers—high speed forwarding layer and service provisioning layer, and Four Architectural Layers—core layer, consolidation layer, edge layer and service access layer.

[Keywords] next generation Internet; evolution trend; key technology