海量分析，数据掘金——中兴通讯金融行业大数据解决方案

      近年来移动互联网发展迅猛，数据迅速膨胀，全球步入大数据时代。大数据时代下，金融边界不断延伸，部分具有互联网大数据功能的公司也逐渐向金融行业渗透。以阿里巴巴为代表的互联网公司携大数据技术打造的互联网金融产品大举进入金融行业，来势汹汹。传统金融企业亟需大数据技术支撑去发现和驱动新的业务，应对来自互联网金融的挑战。

　　基于金融行业安全、自主、高效的特点，金融行业的大数据解决方案有如下需求。

　　●   自主掌控：基于成熟数据库，可以完全掌握源代码，技术成熟经过验证，可自主维护，安全性高；

　　●   安全可靠：基于集群技术，不存在单点故障；

　　●   性能卓越：具备高效数据处理能力，海量并发连接；SQL解析优化与存储分离；

　　●   线性扩展：通过线性扩展提升性能，可根据业务量灵活调整系统；

　　●   成本可控：有效降低成本，控制IT支出，数据存储基于廉价硬盘，使用廉价服务器，舍弃传统昂贵的数据库；

　　●   易于开发：对外提供SQL和API丰富接口，数据持久化对应用透明，保持对通用数据库最大兼容性，数据分布对应用透明，降低开发难度。

　　基于以上分析，中兴通讯基于Hadoop以及开源数据库技术，结合在大数据项目中的实践经验，推出面向金融行业的GoldenData大数据解决方案（见图1）。

       中兴通讯GoldenData大数据解决方案针对金融行业特点，在安全、开放、调度、部署、资源隔离、可管理等方面做了开创性工作。

　　●   兼顾效率的安全机制

　　在保证安全防护等级的前提下，为了不影响平台的处理效率，中兴通讯大数据平台采用管理手段、硬件防护、软件加固三位一体的整体安全解决方案。通过技术手段解决权限控制、数据加解密、事后审计、误操作恢复的问题，通过硬件防护、管理手段解决身份认证的问题。

　　●   标准的开放接口和开发环境

　　提供标准的开放接口和开发环境，支持第三方快速完成应用开发。对上层应用提供兼容SQL、WebService等接口，方便与现有IT系统的集成；对下层数据分布式海量数据集采组件，支持多种数据源接口：HDFS、Hbase、Hive、ZooKeeper、Sqoop、MR等，屏蔽Hadoop底层技术，提供标准API接口。

　　●   多种调度机制

　　独立VIP调度队列：为了确保特定的任务可以相对独立运行，不受其他任务干扰，需要单独开设一个VIP队列。

　　特色的任务翻牌机制：金融行业每个任务都有自己固定的运行时间和计划，对于失败的任务或过了时间却不满足运行条件的任务，需要一个固定的翻牌机制，确保任务在合适的时机得到正确的运行。

　　集群流控：在线集群为了保证客户请求得到实时响应，在必要的条件下，对新请求直接拒绝从而确保已有请求获得充分的资源，确保在线集群的及时响应。

　　●   独创在线集群独立部署

　　在线应用和基础应用物理部署隔离，确保普通应用不干扰在线应用；通过Hfile文件实现两个集群间的数据迁移，减轻在线应用集群负担；统一管理多套集群，并可对多套集群运行指标进行纵向对比。

　　●   资源隔离

　　数据隔离：平台上同时运行多个应用程序，从应用数据输入、程序运行、应用运行中间数据，到程序结果都通过权限做隔离，避免应用程序之间出现数据干扰。

　　避免过度空间占用：配置应用级别HDFS使用配额，避免某应用程序占用过多空间。

　　避免超长占用计算资源：支持MapReduce程序运行时间预判，通过测试环境和历史数据自动评估运行时长，如果实际运行超过预估时间50%则进行告警。

　　●   统一管理

　　中兴通讯大数据产品提供统一管理。中兴通讯面向ICT的组件化大数据平台，专注于保障大数据业务的最终用户使用体验、促进大数据业务的快速成长，至顶向下为大数据业务生态系统中涉及的各类管理对象提供统一的平台管理保障。

　　中兴通讯GoldenData大数据平台产品在金融银行和全球运营商等市场具有多个成熟商用案例，具备良好的技术积累和丰富的工程现网实施经验。中兴通讯愿在大数据时代下帮助客户华丽转型，实现数据掘金、价值共享。