网格(Grid)是构筑在Internet上的一组新兴技术,可将高速互联网、电脑、大型资料库、传感器、远端设备等融为一体,提供更多功能及服务。网格除了能为人们提供共享运算、存储及其他资源外,还可提供包括通信、软件、信息及相关知识等资源。本讲座第1、2讲分别介绍了网格技术的基本概念,如网格的定义、网格的组成和特征;网格的体系结构,如5层沙漏结构、开放网格服务体系结构以及其支撑工具——Globus;本期将介绍网格实现技术及网格技术在相关行业的应用。
3 网格实现技术及其应用
3.1 网格实现技术分类
网格技术是由实际应用中具体问题所驱动,以分布为基础来支持大范围资源共享的技术。从网格开发角度来理解网格技术,可已得到如图6所示的层次结构。
图6中最低层是特定的网格资源,被用来共享。资源关联层对下实现对资源的有效控制,对上提供统一的接口,以便访问。核心中间件是关键的层次,它能对分布的各种资源进行有效的管理,为网格应用提供安全、可靠、高效的服务。网格开发环境是为方便使用网格功能而给出的一种集成的工作环境。对于经常使用的网格功能,则以网格开发工具的形式给出,以便非专业人员对网格进行基本管理。网格门户是用来访问网格服务与资源的个性化、可定制的Web接口。网格的各种应用就是网格最终的服务对象。
网格技术分布于图6各个层次,向上提供支持,向下提出相关要求的功能和手段。所以网格技术与当前已有的成熟的网络技术是相辅相成的,但解决网格问题必须要有更先进的技术来支持。
网络是网格技术的基础,网络协议(如数据传输协议、流协议、分组通信协议、分布式对象协议等)以及网络的服务质量是网格管理和网格应用的保证。从网格的概念来看,网络是网格的一个重要资源,为其他资源建立物理上的联系。
网格核心服务技术是连接网格应用和网格资源的纽带,是协调网格系统正常运行的中枢,包括高性能调度技术、高吞吐率管理技术、数据收集分析,以及可视化技术、安全技术。图7根据不同类型的应用给出了现有网格技术的分类。
3.2 网格应用
目前,国内外研究机构对网格计算的研究十分广泛,初期主要集中在高性能科学和工程计算领域中,如分布式超级计算、实时广域分布式仪器系统、数据密集型计算和远程沉浸(Tele-immersion)。
在中国,网格计算技术的研究进入快速发展阶段,国家高技术研究发展计划——“863”计划于1999年开始投资建立国家高性能计算环境(NHPCE),亦称国家计算网格(简称网格)。它是国家级高性能计算和信息服务的战略性基础设施,目标是将地理上异构分布的各种高性能计算机、数据服务器、大型检索存储系统、可视化虚拟现实系统等,通过高速互连网络连接并集成起来,共同完成一些缺乏有效研究办法的重大应用研究问题。国家高性能计算环境一期工程于2000年底完成,在北京、西安、长沙、武汉、合肥、上海、成都等地利用国产高性能计算机(银河、曙光、神威等)建立了9个计算节点和1个公共网站。2003年9月25日,英特尔与中国教育部(MOE)签署了一份备忘录,共同开发下一代基于英特尔64位Itanium处理器系列的运算网格。该运算网格将连接中国100所名牌大学。教育部预计该运算网格的运算能力将达到浮点运算每秒15万亿次(TFLOPS),成为世界上功能最强大的运算网格之一。该网格还将为2008年北京奥林匹克运动会的“数字奥运”提供支持。网格应用正在走向实用,并与市场相结合直接服务于生产以及相应的商业活动,具有广阔的应用前景。
3.2.1 在传统领域的应用
利用网格形成的超级计算功能,实现各计算中心计算资源共享,可在基础研究、汽车、大型水电工程、石油勘探、气象气候、航空、交通、金融、农林、医疗等领域提供超级计算功能,发挥空前的作用。如芯片设计厂可以将他们在数星期内方可完成的设计任务在数小时内顺利完成,从而大大节省产品面市的时间;汽车制造厂商可以利用网格进行模型的模拟测试,从而取代原来的电路测试和风洞试验,降低汽车的生产成本;气象中心利用网格进行卫星图像的快速分析,可大大提高气象预报的准确性和时效性;金融行业利用网格可在风险抵抗等方面发挥作用;基因工程领域中的药物分子模拟、药物研究、基因测序等都离不开网格。
以基因治疗为例,由于计算能力的限制,目前医院无法通过DNA对病人做病理分析,但是,如果网格技术能够普及,则会提供无限的计算空间,将使这种诊治变为可能。
3.2.2 在广播电视领域的应用
在广播电视领域,有线电视网(CATV)系统已经实现传统的电视和广播节目服务宽带入网,提供视频、音频、数据等多媒体信息服务,目前采用流媒体技术可以在CATV系统中开展视频点播(VOD)、远程会议、远程教育、远程医疗等业务。但目前流媒体的应用仍然存在多方面的局限,例如受限于网络带宽、服务器性能,以及节目来源、建设费用和通信费用等。而网格技术能集成所有的流媒体应用,将视频会议、视频广播、视频点播和视频监控等系统构建成“视频网格”(Video Grid),能有效地解决以上问题。
首先视频网格是分布的、本地化的,充分利用网格的特性可以减少节目传送对网络带宽的依赖;其次视频网格是集群的,可极大地提高服务器的性能;此外视频网格又是开放的、可以加盟的,因此不用担心它的节目来源和费用问题。
视频网格所带来的不仅仅是一种崭新的理念、一项新技术或是一种新方案,同时它也为广播电视行业带来了更为广阔的发展空间。它集成了各种流媒体的应用,将各种媒体资源像电力一样送给每一个付费的用户,向用户提供交互的、丰富的、便捷的视音频节目浏览。在Internet/Web上,媒体资源零散地分布在各个站点,而在视频网格中,资源被统一管理和使用,用户通过网格门户透明地使用整个网络资源,看到的是一个逻辑门户上的若干与自己相关的频道,而不用在成千上万个网站中搜索自己想要的节目。
3.2.3 在电信领域中的应用
(1)下一代电信业务对网格资源的需求
在电信领域,正在研究下一代电信业务和支持它的跨网络运行环境的关系。或者说,如何通过一系列电信基础设施平台的承载和控制能力,形成下一代的电信业务。在这种下一代电信业务跨越平台的多业务组合环境中,存在两个突出的问题:一个是跨网络的应用与各个平台资源之间的关系;另一个是各个平台资源间的业务资源共享问题,即如何在不影响每个网络自身结构、信令和功能的情况下,支持共享资源并提供跨平台的业务。
对于每一个平台而言,网络平台或业务平台,或是传统的基础设施,都包含自主的资源,并且向高层的应用提供自己的业务能力。这种业务能力在一个平台的内部是完整的,即平台或者网络对于任何事件的发生都有相应的对策。众所周知,Web服务通过统一认证、动态工作流控制和交易控制机制,解决了Internet上各个业务平台的业务能力同步问题。但是,它没有考虑各个业务平台资源之间的同步问题。如果一个跨网络业务包含了公共交换电话网(PSTN)和Internet两个网络的业务能力,则每个网络在提供业务时都提供了自己相关的资源(例如传输资源、交换资源、计算资源和存储资源),而在业务完成时要释放网络的资源。倘若一个跨网络业务不能正常完成,这可能是由于业务请求者中间放弃了请求,或是其中一个网络的业务组件执行出现了意外,在没有跨越网络的信令机制的情况下,一部分网络中的资源就无法得到同步的释放,从而导致网络整体的业务能力受损,并可能很快积累到系统崩溃的程度。在PSTN综合业务数字网用户部分(ISUP)和Internet会话启动协议(SIP)互连时会出现这种问题,它同样也会在任何两种需要预留资源的不同协议的网络互连和业务互连中发生。
一种用于跨越网络和业务的资源同步方案是集中式的,它把所有的网络和业务的资源控制交给一个集中的应用进行管理。例如通过一组JAIN PARLAY网关将各个网络的资源映射到应用平台来控制。它相当于对原有的资源管理进行重构,同时增加协同资源管理的功能。这种方案的风险在于集中管理一个大型的多网络、多业务系统资源的开销十分巨大,而且原有的网络和业务自身的资源管理和控制也没有得到重用。
作为解决资源同步的另一种方案,是要求所有网络采纳与承载能力无关的呼叫处理协议(BICC),使得信令能够穿透会话所经过的所有网络,这对于端到端的跳进式通信业务是可行的。但是如果把资源扩充到不同平台的寻址能力、存储能力和计算能力,这种信令式方案的实现难度就变得很大了。因此,作为通过多种异构的网络提供电信业务的下一代网络,必须在不改变各个网络现有的信令和资源管理方式的前提下,通过在所有网络之上增加一个业务协同(或称服务协作)层来解决资源同步管理问题。同时,这个解决方案必须在业务层面上是抽象的,与物理的平台结构无关,与具体的平台信令无关,与具体应用无关。更进一步,它不但不能对现有的各个网络平台和现有的应用有任何影响,还要对今后新增的网络平台能力和新的业务能力提供开放的支持,采用开放网格业务体系结构下的网络和业务承载能力资源同步管理方案,能够实现与平台自身的承载和控制技术无关,与平台上承载的应用无关,同时可以支持多种异构平台互连时提供资源的控制和管理能力,可以动态地管理传输、交换、存储、计算等多种多样的承载能力,为下一代电信业务的发展提供基础的支持。
(2)OGSA多网络环境承载业务资源的业务模型
过去,网格计算和网格业务通常是用于大型多组织的协同科学计算,用于解决异构分布网络上的计算资源分配和管理的。由于Internet上电子商务的兴起,网格业务被看成是解决共享计算机资源、数据库资源和存储能力的技术。显然,如果采用开放网格业务体系结构解决下一代电信业务的跨网络承载业务能力的生成、管理和协同操作,从承载角度增强现有的开放业务存取结构,意义也是十分重大的。
由于多网络环境的承载业务资源同步管理是面向下一代电信业务的,同时网格业务的体系结构和Web服务开放业务体系结构密切关联,首先需要建立符合这个体系结构的下一代电信业务的模型。依据欧洲电信标准组织(ETSI)SPAN对下一代电信业务的研究和特点,下一代电信业务是用户和5类基本业务控制的集合形成的相互关联的体系:
任何一个具体的通信过程的建立(过去称为呼叫处理)都是由以上5类业务的一些实例为基础组合成的。每个通信业务实例均有自己的业务存取点,各类业务存取点之间通过业务逻辑关联起来形成一个整体。值得注意的是,无论通过什么网络接入,无论承载能力是通过什么网络提供的,对网络接入门户、会话接入门户、业务接入门户和业务控制门户的访问方式是相同的,这是开放业务存取(OSA)的重要特征。
从用户的角度看,无论实际的会话和业务多么复杂,这些门户都是一个动态的通信业务实体(一个汇聚)的一系列接口。这是符合Web Service体系结构的。同时,所有申请的业务是发送给代理的,并从代理取得相应的结果(以认证为例,仅需在网络接入门户上作一次认证,但实际上通信过程中需要的用户业务认证是通过代理进行的)。
扬景等根据以上描述的下一代电信业务模型、OGSA的建模规范和通用网格业务模型导出了下一代资源同步管理模型。建立资源同步管理模型的原理是,把已经建立了会话的用户所提出的建立一个跨越网络的承载业务的需求表达为在一个虚拟组织内通过一个代理端口提供的一种业务能力。这是一种网格服务,它的业务能力是由下面的一些网络承载能力的组合实现的,是由一组业务请求和提供协议形成的接口来表达的。而这种网格业务能力的实现过程是通过业务软状态管理和多业务软交换中的一组对下面各种物理网络资源进行控制的资源控制协议来实现的。显然,承载资源同步管理的基础是端到端协同操作的环境,它的承载业务模型是继承上面描述的业务门户能力,每一种承载业务能力被看成是建立在一种分布式网络上的一个业务,相同承载能力的组合是一种业务,不同承载能力的组合也是一种业务(组合业务)。它的虚拟组织模型对应于上面描述的会话业务能力,在一个会话基础上申请的一个业务是一个虚拟组织,一个会话也被看成是一个业务集成的虚拟组织,因此这里虚拟组织可以具有多层的嵌套的树状关系。由于要重点考虑承载资源同步问题,并且承载业务能力和具体的承载网络是密切相关的,因此由业务接入门户的接口向物理网络承载控制器的映射业务需要被作为资源同步的公共网格业务来处理。
在下一代的电信业务中,人们定义的资源同步管理网格业务服务于业务接入门户和业务管理门户。在业务接入门户中,它为一个跨越网络的承载环境中的资源组合(互连)提供同步管理功能,这样就不必再考虑信令的穿透性,如在软交换解决方案中采用SIP-T协议,从而大大降低了网络和业务的互连复杂性。在业务管理门户中,这个网格业务为承载业务的创建者提供一个开发平台,可以将不同的承载能力,包括传输能力、交换能力、存储能力、计算能力组合成为新的承载业务,从而为开发新的电信业务打下基础。下一代的电信业务已经大大超出了基于传输和交换能力的点到点实时通信,大量的计算能力和存储能力也介入到电信业务的提供中来。同时,电信业务的提供也从传统的呼叫处理向基于会话的多业务处理发展。在这种情况下,建立跨越平台的端到端的业务承载能力是一个关键的问题。在不影响现有的业务体系结构的情况下支持业务资源的同步管理是必需的。
开放网格业务体系结构为我们提供了一个解决方案,即通过定义抽象的业务和接口,在现有的网络和业务资源能力之上建立一个网格业务控制层,通过它来协调一个虚拟组织下的不同的业务平台的资源配置和管理的同步,满足下一代电信业务动态管理的需求。
3.2.4 在综合业务计费网关中的应用
当今,因特网已渗透到千家万户,网络运营商们需要对不同的服务进行收取费用,目前主要的依据就是使用上网的时间、上行和下行的流量。在实验室局域网(LAN)环境中,按照网格计算的自相似性概念,基于Linux系统内核Netfilter框架设计了网关,在网络层对数据包过滤。采用了双网关动态冗余技术,两个网关动态平衡转发数据包。任何接入的网络资源,经简单设置之后就可以成为网关机群中的成员。在中间件基础上支持各种业务,网关可对不同的业务限制特定的带宽,并定时(较短时间间隔)地将当前的计费信息传送到数据库。
当采用分布式的网关构架时,网关能根据业务的CPU负载,内存的利用率,细分网络的带宽利用率等,对包转发的准确性和安全性进行了实验性的尝试。
综上所述,对开放网格业务的深入研究,将使得下一代网络上的多媒体软交换的互连问题得到简化,网络的承载能力可以大幅度提高,从而不断促进下一代电信业务的发展。
3.2.5 催生新的行业
网格的进一步发展将会催生新的行业。网格的根本特征是服务共享、资源共享,而不是规模大小。因此,随着网格技术的发展,将会诞生一些专门提供网格服务的公司——计算力公司。这些公司的作用与电网中的电力公司类似,除了管理服务提供商在网格节点上的“就位”,还负责管理用户服务,承包企业的IT应用。他们可以通过将现有设备和资源网络化,从而构造各种性质的网格,如地区性、行业性、专业性的网格系统。人们只要把自己的微机接入网格系统,就可以直接使用网格上的各种计算资源、信息资源和知识资源,就像使用家中的水、电、气、电话等一样。目前,IBM、Microsoft、HP、Sun等公司都已经进入网格领域,正在加紧研究相关技术和产品,希望通过让用户更快地获取高性能的服务,减少用户IT应用的先行投资。(续完)