大数据发展之路——合作、创新、共赢

      大数据概念的横空出世，有赖于短短几年出现的海量数据。据统计，互联网上的数据每两年翻一番，而目前世界上90%以上的数据都是最近几年才产生的。当然，海量数据仅仅是“大数据”概念的一部分，只有具备4个“V”的特征，也就是Volume(海量)、Velocity(高速)、Variety(多样)、Value(价值)，大数据的定义才算完整，而最后一个Value(价值)，恰恰是决定大数据未来走向的关键。

大数据发展的必要条件

     大数据的发展需要三方面的必要条件：数据源、数据交易、数据产生价值的过程。近年来，随着社交网络的兴起、物联网的发展和移动互联网的普及，诞生了大量有价值的数据源，大量数据源的出现奠定了大数据发展的基础。大数据时代到来的重要标志，是大批专业级“数据买卖商”的出现，以及围绕数据交易形成的，贯穿于收集、整理、分析、应用整个流程的产业链条。大数据发展的核心，则是使用户从海量的非结构化数据和半结构化数据中获得了新的价值。数据价值是带动数据交易的源动力。

     IBM、甲骨文、SAP近年纷纷斥巨资收购数据管理和分析公司，在这些互联网巨头的带动下，数据分析技术日渐成熟。2013年6月，爱德华•斯诺登将“棱镜计划”公之于众，“棱镜门”事件说明大数据技术已经成熟，并在为国家安全领域服务。但在民生领域，大数据技术一直得不到应用，是因为缺乏有价值的数据交易。

     大数据技术的发展促进了云计算的落地，云计算的部署又加大了市场对数据创造价值的期待。大数据概念提出之后，市场终于看到了云计算的获利方向，云计算市场仿佛在一夜之间爆发：各地一级系统集成商与当地政府合作，建设云数据中心、智慧城市；各大行业巨头们在搭建各自行业的混合云标准，搭建行业云平台；公有云也来了，各大IT巨头想尽办法申请中国的公有云牌照。云计算从概念到落地用了5年时间，最终促成这一切的就是大数据，或者说是市场对数据价值的期待。借助于国内智慧城市概念的大规模普及，云计算基础设施已基本准备就绪，一方面奠定了大数据应用的硬件基础，另一方面迫于回收云计算投资的压力，市场急需应用部署，大数据被市场寄予厚望。

    现在，一切的矛头都指向了“数据如何创造价值”。

数据创造价值的基石是数据整合和开放
 
     大数据服务创业公司Connotate2012年对800多名商业和IT主管的调查结果显示，60%受调查者称“目前就说这些大数据投资项目肯定能够带来良好回报尚为时过早”。之所以如此，是由于当前大数据缺乏必需的开放性：数据掌握在不同的部门和企业手中，而这些部门和企业并不愿意分享数据。大数据是通过研究数据的相关性来发现内在规律，这依赖于数据的真实性和广泛性，数据如何做到共享和开放，是当前大数据发展的软肋和需要解决的大问题。

     2012年美国大选奥巴马因数据整合而受益。奥巴马的竞选团队中有一个神秘的数据挖掘团队，对奥巴马成功连任功不可没。他们通过对海量数据挖掘帮助奥巴马筹集到10亿美元资金；他们通过数据挖掘使竞选广告投放效率提升了14%；他们通过制作摇摆州选民的详细模型，每晚实施6.6万次模拟选举，推算奥巴马在摇摆州的胜率，并以此来指导资源分配。奥巴马竞选团队相比罗姆尼竞选团队最有优势的地方就在于对大数据的整合。奥巴马的数据挖掘团队也意识到了这个大问题：数据分散在过多的数据库中。因此，在前18个月，奥巴马竞选团队就创建了一个单一的庞大数据系统，可以将来自民意调查者、捐资者、现场工作人员、消费者数据库、社交媒体，以及“摇摆州”主要的民主党投票人的信息整合在一起。这个整合后的巨大数据库不仅能告诉竞选团队如何发现选民并获得他们的注意，还帮助数据处理团队预测哪些类型的人有可能被某种特定的事情所说服。正如竞选总指挥吉姆•梅西纳所说，在整个竞选活动中，没有数据做支撑的假设很少存在。

     2012年3月，美国奥巴马政府宣布投资2亿美元启动“大数据研究和发展计划”，将大数据研究上升为国家战略，对大数据的整合带来深远影响。一个国家拥有数据的规模和运用数据的能力将成为综合国力的重要组成部分。中国智慧城市建设目标之一就是实现数据的集中共享。

大数据商业模式

     随着云计算、大数据技术和相关商业环境的不断成熟，越来越多的“软件开发者”正在利用跨行业的大数据平台，打造创新价值的大数据应用，而且这一门槛正在不断降低。首先，数据拥有者乐于做这样的事情，他们能够以微乎其微的成本获取额外的收入，提高利润水平；其次，大数据设备厂商乐于做这样的事情，因为厂商需要应用来吸引消费者购买设备，发展合作共赢的伙伴关系势必比单纯销售设备要有利可图，一些具有远见的厂商已经开始通过提供资金、技术支持、入股等方式来扶持这些“软件开发者”；第三，行业细分市场的数据分析应用需求在不断加大，对于整个大数据产业链来说，创新型的行业数据应用开发者必将是未来整个大数据产业链中最为活跃的部分。

    在必然到来的大数据时代，有三种企业将在“大数据产业链”中处于重要地位：掌握海量有效数据的企业、拥有强大数据分析能力的企业，以及创新的“软件开发者”。社交网络、移动互联网、信息化企业、电信运营商都是海量数据的制造者，Facebook公司手中掌握着8.5亿用户，淘宝注册用户超过3.7亿，腾讯的微信用户突破4亿，这些庞大用户群所提供的数据，正在等待时机释放出巨大商业能量。可以预测，在不久的将来，Facebook、腾讯、电信运营商等海量数据持有者要么自我延伸成为数据分析提供商，要么与IBM、中兴通讯等企业密切对接成为上下游合作企业，大数据产业链将在某个爆发时点到来之际，以令人惊讶的速度成长壮大。

警惕大数据的危害

    大数据时代，传统的随机抽样被“所有数据的汇拢”所取代，人们的决策模式，已可直接根据“是什么”来下结论，由于这样的结论剔除了个人情绪、心理动机、抽样精确性等因素的干扰，因此将更精确。不过，由于大数据过于依靠数据的汇集，一旦数据本身有问题，就很可能出现“灾难性大数据”，即因为数据本身的问题，而导致错误的预测和决策。

    过多但无法辨析真伪和价值的信息和过少的信息一样，对于需要作出瞬间判断、一旦判断出错就很可能造成严重后果的情况而言，同样是一种危害。“大数据”理论是建立在“海量数据都是事实”的基础上，而如果数据提供者造假呢？这在大数据时代变得更有害，因为，人们无法控制数据提供者和搜集者本人的偏见和过滤。拥有最完善数据库、最先接受“大数据”理念的华尔街投行和欧美大评级机构，却每每在重大问题上判断出错，这本身就揭示了“大数据”的局限性。所以在发展大数据技术的同时，要警惕大数据带来的危害。

    大数据的经济价值已经被人们认可，大数据技术也在逐渐成熟，一旦完成数据的整合和监管，大数据爆发的时代即将到来。