云计算创新，让生活更精彩

    苹果公司正改变着美国人民的生活习惯。iPad上市不到一个月，人们竞相购买，更有学校为入学新生人手购置一台作为教学用具。iPad的创新在于：没有光驱、没有USB、没有火线接口，其存储容量也就是区区16G、32G、63G。人们不禁诧异，在信息爆炸的社会里，如何读取、存储文件呢？这些最先购买iPad的美国人告诉我们，他们使用iPad可以随意地看电影、看书、玩游戏、发邮件、办公。原因很简单，一切的资源由自互联网的云计算服务提供，一切的信息亦存储在互联网的云服务平台。提供这些服务的包括Search engine、Itube、Itunes、Mobileme、Salesforce.com、Facebook，以及能够提供存储和文档服务的Citrax等。iPad无疑是云计算最忠实的拥趸和粉丝，而它的后面，则是全世界上亿的苹果的拥趸和粉丝。当美国人仅仅花半个星期的工资就能买到一个iPad并从容地使用云计算服务的时候，我们相信离全球云计算服务爆发的日子不远了。或许过不了多少时日，你就能看到地铁里人手一个iPad，人们在云计算的阳光下，快乐生活。

    小朋友超级喜欢玩一个互联网游戏，叫做“摩尔庄园”。平时小朋友们登陆，在线人数少，游戏运行还在用户体验度承受范围内。可是一到周六晚上，当大量的小朋友们写完作业开始涌入摩尔庄园过他们幸福周末的时候，游戏速度就像乌龟爬了，特别是场景转换的时候，用户体验度很差。运营摩尔庄园的淘米公司要改变这一局面，那就得再买更多的服务器。这笔花销只是为了每周满足小朋友周六或者周日一两天的高峰时段的需求而付出，其他的时候这些服务器成为多余的负担，不仅花费高额投资，而且还得支付服务器运行电费，运营成本会大大提高。这就是淘米公司的苦恼。同样，美国互联网游戏运营商Zygna也曾面临这样的烦恼，其开发的游戏Farmville在Facebook上大受欢迎，每天高峰时段有将近8 000万人次乐此不疲，而有些时段则没有多少人。成长的烦恼和弹性需求的特殊让Zygna伤透了脑筋。最终，亚马逊创新型的弹性云计算服务帮助了Zygna。Zygna可以按时段租用IT资源来运行他们的网络游戏，既免去了一次性投资购买大量服务器的痛苦，更让运行成本随需而变。最关键的是可以让众多游戏玩家始终享受高体验度的游戏，不会因为并发在线人数的增长而为速度痛苦不堪。这样的云计算应用创新案例在美国还有很多，在弹性计算云(EC2)云计算服务基础上运行的其他游戏还有黑帮战争、咖啡世界、渔村、快乐水族馆、宠物社会、宠物村、餐馆城等。这些游戏每天的在线用户都将近1亿人次，使得像Zygna这样的公司，如Crowdstra或Playfish，获得了高速增长的收益，从而带动了整个美国互联网服务市场的快速增长。

    淘米公司要解决他们目前面临的问题，最佳方案就是使用亚马逊的弹性云计算服务，但是亚马逊并没有在中国开展这一业务。中国目前尚没有企业能够提供云计算基础设施即服务(IAAS)业务，这使得淘米公司的烦恼还会延续下去。有着同样烦恼的还包括绝大多数中国的中小型互联网运营商，他们在创业初期和高速成长期的运营成本居高不下，大大影响了他们聚集用户的速度。长此以往，中国的互联网运营行业将没有力量和美国等世界先进的互联网运营商抗衡。

    最近，中国拒绝了某互联网搜索服务商的要求，这对中国来说是一件好事。因为这给中国企业留下了一个巨大的云计算创新的商机，那就是创新地发展中国人自己的云计算架构的搜索引擎服务。

    这几年国际上互联网信息运营商都在玩的技术，无疑是基于云计算的搜索引擎技术。搜索是最成功的云计算实现，但它不仅仅是搜索，而且是信息计算，是从海量信息中经过计算处理解决现实问题。由于它是面向大众的互联网体验，所以在免费为大众提供互联网服务的同时，实际上也在聚集大众的智慧，并把用户的习惯、行为、思考等智慧进行彻底地数据挖掘。再下一步，它将可以在某个领域内仿真某一个人的智慧，直至整个人类的智慧。云计算知道你是谁，你喜欢什么，你要什么，你想什么，甚至能知道你的潜意识！这是不是很厉害也很可怕？天呀！这将是一个可以生长和进化的计算系统！这对中国的计算机科学和互联网产业无疑是一个巨大的挑战。面对挑战，中国IT科技界应该何去何从？

    我想，我们需要了解、研究、开发、创新。让我们先从了解开始吧。

    2008年11月，美国商业周刊发表了一篇著名的文章《Google及其云智慧》，开篇宣称：“这项全新的远大战略旨在把强大得超乎想象的计算能力分布到众人手中”。文章预示着云计算作为一种革命性的技术受到了产业界的普遍关注。

1 云计算的概念
    根据Wikipedia的定义，云计算是一种动态的、易扩展的、通常是通过互联网提供虚拟化的资源计算方式。用户不需要了解云内部的细节，也不必具有云内部的专业知识，或直接控制基础设施。云计算主要特点是能够快速部署资源或获得服务，能够按需扩展和使用，能够按使用量付费并通过互联网提供服务。

    中国移动研究院经过实践探索认为，云计算系统是一种把大量的低成本运算单元通过IP网络相连而组成的超大型运算平台，核心组成是云计算平台和管理软件。云计算发源于搜索引擎平台，是互联网企业在创业阶段出于追求低成本高效能的考虑开发出的一种计算技术，具有高性能、低成本和通用性强的特征。
云计算目前已经成为提供各种互联网服务的重要平台。随着商用化进程加快，云计算的概念已延伸到提供各种运算服务，包括以虚拟化技术为基础的IT资源整合服务。

2 云计算的发展历程
    云计算的发展历程是一个经典的市场驱动的案例。Google的创始者因为买不起昂贵的商用服务器来设计搜索引擎而采用了众多廉价PC来提供搜索服务。他们成功地把这种PC集群做到比商用服务器更强大，而成本却远远低于商用服务器的硬件和软件，形成了所谓的云计算技术。Google的成功引发了产业对于云计算极大的关注，甚至把Google云计算中五大关键技术(包括大规模集群管理、分布式文件系统、并行数据处理、分布式数据库、分布式资源管理)称为“五大巫术”。

    云计算技术为IT技术带来了重大变革。云计算技术极大地降低了企业的IT建设及运营维护成本，降低了能源消耗，大大加快了企业信息化建设进程。云计算与互联网的结合催生了IT商业模式的革命，促使越来越多的公司不再购买和维护软硬件，而是从Amazon等公司租用计算、存储、网络资源以及IT服务，使得企业实现信息化变得像获取自来水一样方便、廉价。不仅如此，云计算技术以其本身在大容量存储、超大规模计算能力方面的优势，使得云计算已成为科学研究不可缺少的助推器，成为推动着产、学、研、用紧密结合的新型创新模式。可以说，以云计算为代表的技术革命对现有信息产业及应用模式产生了深远的影响。

    云计算已引起各行各业广泛的关注，也引起了各国政府的高度重视。美国、日本、英国等国家都在大力开展国家级云计算项目，试图在这场IT技术革命中抢占先机。

2.1 Google神话依赖于平台即服务
    回顾云计算的起步和发展轨迹，我们不得不谈到Google在以搜索为核心的互联网应用方面的成功。
1997年，有两个美国斯坦福大学的博士生做了个软件作业叫做BackRub，这是一个实验用的搜索引擎。在建立之初，BackRub只是针对1 000万份具有错综复杂关系的网页进行分析，后来他们发现斯坦福大学有上千人在使用这个软件，于是他们决定继续研发这个软件。把搜索的网页数目扩大，把搜索的效率提高，这就需要更高的计算性能，于是他们决定用多台服务器来实现。起初他们在自己的宿舍里攒计算机，后来宿舍舍友有意见，就被迫挪到一个破车库里攒，同时继续完善他们的BackRub软件。因为当时很穷，只能用最便宜的器件来攒这些服务器。于是他们就买别人淘汰的主板、过期的CPU、便宜的小容量硬盘，还有廉价的电源，并拿纸盒子做机箱，能省就省。为了节约显卡、键盘什么的全都不要，就这样一气组装了一堆服务器。1台价格大约100多美金。可这种廉价组装的服务器很容易坏，不稳定，怎么办？这两个学生决定靠写完善的容灾软件系统来克服这个毛病。就这样，到了1999年或者2000年的时候，他们已有了几千台这样的服务器。他们开始用网络把这些服务器连接起来，在上面试着部署他们写的软件系统来进行文本搜索试验。既然在这样一个系统里面不可能用1台机器实现高性能，他们就在软件系统里研究了一套新型运算模式来实现高性能运算，这就是人们现在所称的“云计算”。这两个学生叫做布林和佩奇，他们在车库里攒出来的公司就是现在鼎鼎有名的Google。

    如今，他们已经有了超过100万台服务器组成的云计算平台，并依赖这样的云计算平台提供其著名的互联网搜索服务、Gmail服务以及Google MAP和新型的Google WAVE和Google VOICE等互联网服务。

    依靠云计算平台，他们的网络爬虫爬遍了全世界，包括中国的超过400亿个网页。依靠云计算平台，他们还在进行着大量的数据挖掘和分析，以形成丰富的知识和经验库，从而构建一个人工智能的识别和决策系统。依靠云计算平台提供的应用编程接口和开发环境，全世界所有的软件程序员都可以开发自己的应用并在平台上运行验证，从而使得基于云计算平台的应用丰富多彩。

    Google的云计算平台能支持很强的容灾性，能支持应用的快速部署和任务调度，能提供多并发用户的高性能感受，而最最关键的是，他们做到了每用户访问的最低运营成本。Google中国区的总经理说，如果没有云计算技术，Google每年购买设备的资金将高达640亿美元，而采用云计算后则仅为16亿美元。也就是说，云计算使得Google的成本比他的竞争对手低40倍！这就从运营成本角度强有力地支持着Google的商业模式：前向提供高感受度互联网服务，吸聚人气，后向广告收费。Google用云计算平台构造了世界上最大的1台超级计算机。它很便宜又具有很高的性能，并且很难被复制，从而逐渐发展成为平台即服务(PaaS)的商业模式。

    2003—2006年期间，Google发表了4篇关于分布式文件系统(GFS)、并行计算(MapReduce)、数据管理(BigTable)和分布式资源管理(Chubby)的文章，成为云计算发展的关键。依靠这些文章，开源组织Hadoop逐步复制Google的云计算系统，从此开始了Hadoop云计算平台的发展。目前Yahoo、Facebook等互联网公司也在使用Hadoop软件构建自己的云计算平台，提供互联网服务。

2.2 Amazon开创了基础设施即服务的云计算模式
    云计算的发展历史上的第二个里程碑一定属于Amazon。在七八年前，这是一家随着B2B和B2C浪潮兴起的网上卖书和网上购物的公司。为了支撑其庞大用户数量的网上购物业务，尤其是为了理论上支持在圣诞等热销季节庞大的并发用户数量的访问和交易，Amazon部署了大冗余的IT计算和存储资源。后来他们发现自己的IT支撑资源在绝大部分时间里都是空闲的，于是为了充分利用闲置IT资源，Amazon将自己的弹性计算云建立起来并对外提供效能计算和存储租用服务。用户仅需要为自己所使用的计算平台实际使用量付费。这样的因需而定的付费，相比企业自己部署相应的IT硬件资源以及软件资源要便宜很多。这就是以云计算基础架构作为服务的典型——基础设施即服务(IaaS)，是典型的因技术创新而带动的商业模式的成功案例。

    众多的科技创新公司利用Amazon提供的IaaS，在不必购买IT基础设施及操作系统的前提下，通过即付即用的租用模式，在Amazon云计算平台上快速搭建和发布自己丰富多彩的云服务。其意义在于极大地降低了云服务商的行业进入门槛，改变了传统的IT基础设施的购买和交付模式，把中小企业很难负担的固定资产投资转化为与业务量相关的运营成本。在硅谷，每天都有几个大学生利用Amazon云计算IaaS来发布自己的云服务，从而赚了大钱的案列。风靡了整个美国的微博客服务Twitter，正是利用Amazon EC2构建的成功的互联网应用，被美国国防部长盖茨称为“美国巨大战略资产”。这样的成功故事，每天都在发生。

2.3 SalesForce.com奠定了软件即服务的云计算模式
    云计算发展过程中的第3个里程碑，一定属于SalesForce.com。起初，这家公司想做自己的数据库管理类软件，并把它卖给企业用户。可是他们发现，在数据库管理类软件领域，他们可能永远打不过Oracle。但是他们发现Oracle的昂贵价格让很多企业望而却步，更有很多工业制造和物流行业的企业花大价钱买了Oracle产品后却因为缺少专业知识而不能把它用好。于是他们决定利用新型的互联网来提供软件服务，从而和Oracle竞争。这家公司在1999年首次通过自己的互联网站点向企业提供以客户管理为中心的营销支持服务软件——客户关系管理软件(CRM)，使得企业不必再像以前那样通过部署自己的计算机系统和软件来进行客户管理及营销服务，而只需通过云端的软件来管理，从而为软件即服务(SaaS)奠定了基础。这家位于旧金山的科技创新公司，通过向中小企业提供云服务而迅速壮大，他们的48 000个企业客户遍布世界各地。这些中小型企业可以不用购买和安装软件来实现其企业信息化服务，且数据都存储在云端，从而大大节省了成本，并能最大限度和最方便地实现信息共享和随取。这些中小型企业使得SaaS供应商SalesForce年营业额增速高达50%，成为目前纳斯达克股市中的一家明星公司。SaaS模式的云服务可以帮助任何一个不懂IT技术的中小企业花很少的运营成本，快速并科学构建适合其商业需求的企业信息化平台，从而极大地推进了企业信息化进程，也加快了信息化和工业化的融合。

    在云计算技术的驱动下，运算服务正从传统的“高接触、高成本、低承诺”的服务配置向“低接触、低成本、高承诺”转变。如今，包括IaaS、PaaS、SaaS等模式的云计算凭借其优势获得了全球市场的广泛认可。企业、政府、军队等各种重要部门都正在全力研发和部署云计算相关的软件和服务。云计算已进入国计民生的重要行业。IBM和Google开始与一些大学合作进行大规模云计算理论研究项目。政府和军队的“私有云”正在悄然建设。许多新兴的初创公司和大型企业正在全力研发和部署云计算相关的软件和服务。与此同时风险投资和技术买家的兴趣也在迅速升温。迎着朝阳前进，是IT技术发源地——美国硅谷对云计算目前发展状态的定位。

3 云计算的发展前景
    美国多家市场研究公司联合预测，云计算市场将在未来几年高速增长，IT厂商正以快于预期的速度转向运用云技术。根据Gartner的调查结果，2009年全球云服务收入增长21%，从2008年的464亿美元增至2009年的563亿美元。2013年全球云服务收入会达到1 501亿美元。

    Gartner分析师认为，传统的内部IT服务和大量的新业务会持续迁移到云计算中。以云计算为基础的业务流程是最大的云服务市场，其中包括广告、电子商务、人力资源和支付处理。Google、Microsoft、Yahoo等公司云服务收入到2013年将是最大的组成部分。目前全球性的经济衰退和更严格的IT预算，也使运用云计算来托管应用程序和服务更有吸引力。云计算是计算产业发展的高级阶段和必然趋势，目前已在国际市场得到了广泛的认可。云计算使得企业(尤其是中小企业)、个人用户在几乎没有预付资金投入的情况下可以即时使用计算资源，不必再提前做IT资源计划，将大幅削减运营和使用成本。云计算系统同时改善了业务流程。各行业和机构可以把重点放在业务流程和逻辑组织上，而非IT设施的建设和维护上。

4 云计算的关键技术
    云计算是以数据为中心的一种数据密集型的超级计算。在数据存储、数据管理、编程模式、并发控制、系统管理等5个方面具有自身独特的技术。

4.1 海量分布式存储技术
    为保证高可用、高可靠和经济性，云计算采用分布式存储的方式来存储数据，采用冗余存储的方式来保证存储数据的可靠性，以高可靠软件来弥补硬件的不可靠，从而提供廉价可靠的系统。为了满足大量用户的需求，数据存储技术必须具有高吞吐率和高传输率的特点。

    云计算的数据存储系统主要有Google GFS和Hadoop开发团队开发的开源系统——Hadoop 分布式文件系统(HDFS)。大部分IT厂商，包括Yahoo、Intel的云计划采用的都是HDFS的数据存储技术。

4.2 并行编程模式
    为了高效利用云计算的资源，使用户能更轻松地享受云计算带来的服务，云计算的编程模型必须保证后台复杂的并行执行和任务调度向用户和编程人员透明。云计算采用MapReduce编程模式，将任务自动分成多个子任务，通过Map和Reduce两步实现任务在大规模计算节点中的调度与分配。

4.3 数据管理技术
    云计算系统对大数据集进行处理、分析，向用户提供高效的服务，因此，数据管理技术必须能够高效地管理大数据集。另外，如何在规模巨大的数据中找到特定的数据，也是云计算数据管理技术所必须解决的问题。云计算系统的数据管理往往采用列存储的数据管理模式，保证海量数据存储和分析性能。云计算的数据管理技术最著名的是Google的BigTable数据管理技术，同时Hadoop开发团队也开发了类似BigTable的开源数据管理模块HBase。

4.4 分布式资源管理技术
    在多节点并发执行环境，分布式资源管理系统是保证系统状态正确的关键技术。系统状态需要在多节点之间同步，关键节点出现故障时需要迁移服务。分布式资源管理技术通过“锁”机制协调多任务对于资源的使用，从而保证数据操作的一致性。Google的Chubby是最著名的分布式资源管理系统。

4.5 云计算平台管理技术
    云计算资源规模庞大，一个系统的服务器数量可能会高达10万台并跨越几个坐落于不同物理地点的数据中心，同时还运行成千上万种应用。如何有效地管理这些服务器，保证这些服务器组成的系统能够提供7×24小时不间断服务是一个巨大的挑战。云计算系统管理技术是云计算的“神经网络”。云计算系统管理技术能使大量的服务器协同工作，方便地进行业务部署和开通，快速地发现和恢复系统故障，使云计算系统通过自动化、智能化的手段实现大规模的可运营、可管理。Google通过其卓越的云计算管理系统维持着全球上百万台PC服务器协同、高效地运行着，其云计算系统管理技术被作为企业核心机密至今没有公布技术资料。

4.6 绿色节能技术
    云计算技术降低了服务器的采购成本，从而使电源消耗所带来的运营成本成为云计算中心的主要开支之一。为了进一步降低成本，云计算的开发者在绿色节能技术上进行了大量探索。

    传统数据中心空调冷却的费用约占整体电费的30%～70%。为了节省能源，Google在比利时的数据中心降温系统无需冷却剂，而是采取室外空气进行自然冷却。根据比利时的气候条件，每年只有7天左右无法使用自由冷却方式。在比较炎热的夏天，Google可以通过云计算管理系统将该数据中心的计算任务转移到其他数据中心。

5 结束语
    中国是个有着几千年文明的古老国家，我们不能让那些记载着我们的文明和智慧的数据都放在北美的服务器上！面对国际上先进的云计算技术，我们只有一个破解之法，那就是创新！我们也要有自己的足以与国际先进企业抗衡的云计算系统和相应地搜索引擎等核心软件(据悉，“十二五”规划已经把云计算及互联网搜索引擎纳入其中)。所以，我们一定得了解云计算，去研发和掌握云计算的关键技术，并且把云计算技术及其成功的商业模式加以实践和应用。

    中国移动从2007年就开始进行云计算的研究和开发，是最早介入云计算研发和实践的企业之一。中国移动在Hadoop开源软件的基础上自主开发了“大云(Big Cloud)”云计算系统，可实现分布式文件系统、海量数据库、分布式计算框架、集群管理、虚拟机管理等关键功能，并已申请多项专利。为了尽快抓住产业发展契机，中国移动正式将云计算确定为公司发展战略的重要方向之一，并积极推动云计算推广和应用。一方面，中国移动积极促成了产、学、研界对云计算的广泛关注。2008年11月，中国移动战略咨询委员会名誉主任、前邮电部部长吴基传，工程院院士李德毅、倪光南，中国移动研究院院长黄晓庆等专家牵头的“中国云计算专委会”在中国移动研究院召开成立大会，向业界发出云计算研究的强劲信号。随着云计算研讨活动的频繁开展，中国的产业界、学术界、科研机构开始了对云计算的广泛讨论与合作。中国移动计划将研发的云平台和软件向中国云计算专委会筹建的“中国云”示范和试验平台开放，以进一步促进联合创新。另一方面，中国移动加紧推动云计算平台的内部试验及推广。不仅如此，中国移动还紧密关注国际云计算组织的动向，通过积极参与国际组织的工作，来引领云计算技术发展方向及国际标准。2009年6月，中国移动派出代表参加了云计算国际顶级会议——Hadoop Summit 2009，并在会上发表了题为《通信企业并行数据挖掘》(Parallel Data Mining in Telecom)的技术报告，引起业界的极大关注。

    相信，在不远的将来，在中国移动以及中国的一批极富创新精神的企业的带动下，中国的云计算将有能力抢占世界信息科技制高点。创新的科学技术的进步，将帮助我们的民族企业实现跨越式发展。

收稿日期：2010-05-10

[摘要] 市场驱动了云计算的发展，催生了平台即服务(PaaS)、基础设施即服务(IaaS)和软件即服务(SaaS)等的云计算模式。云计算的关键技术包括：海量分布式存储技术、并行编程模式、数据管理技术、分布式资源管理技术、云计算平台管理技术、绿色节能技术。中国移动将云计算确定为公司发展战略的重要方向之一，正积极推广和应用。

[关键词] 云计算；开放组织Hadoop；海量分布式存储

[Abstract] Market forces have driven the development of cloud computing, giving rise to Platform as a Service (PaaS), Infrastructure as a Service (IaaS), and Software as a Service (SaaS), as well as other cloud computing models. Key technologies include the hyper distribution file system, the parallel programming model, data management technology, distributed resource management technology, cloud computing platform management, and green energy technology. China Mobile actively promotes and applies cloud computing and considers it an important strategy for the company’s development.

[Keywords] cloud computing; open source hadoop; hyper distribution file system