中信银行是中国改革开放后最早成立的新兴商业银行之一,经过近30年的发展,中信银行已成为国内资本实力最雄厚的商业银行之一,是一家快速增长的具有强大综合竞争力的全国性商业银行。
云计算和大数据的出现,为金融业的创新和服务模式带来了新的机遇,同时银行业要求的安全、稳定、实时等特征也对云计算和大数据等IT系统提出了更高的要求。近年来,互联网公司和终端厂商在以各种模式颠覆着传统的认知,例如微信、微博、第三方支付等业务已经发展得如火如荼,在各方面冲击着传统行业,这其中也包括金融行业。将互联网与金融结合,是目前金融行业的普遍共识。
在此背景下,中信银行提出“再造一个网络银行”的规划,启动互联网金融战略。中信银行希望通过建立在大数据和新技术基础上的支付方式、数据挖掘和财务管理的变革,产生新的经营模式和盈利模式。为此,中信总行信息技术团队着手进行“数据银行”项目调研和方案讨论,将具体目标落实到一个面向互联网架构、可承接当前银行相关主营业务且可承载银行未来业务转型需要的大数据平台上,并于2013年中启动了该项目。
经历了长达8个月无数轮技术交流及数次大数据平台的PoC测试后,2014年3月26日,中兴通讯获得中信银行正式通知——独家中标中信银行总行“数据银行”大数据平台项目。
成熟的方案架构
中信银行的大数据平台运行在X86服务器上,通过软件系统实现高性能和海量存储。系统具有高可靠性,通过数据和服务冗余、分布,解决PC硬件故障率较高的问题;系统具有高可扩展性,在可用的PC服务器集簇间分配数据并完成计算任务,这些集簇可扩展到数以千计的节点中;系统具有高效性,可在节点之间动态移动数据,并保证各个节点的动态平衡,处理速度非常快;系统具有高容错性,能自动保存数据的多副本,并能自动将失败的任务重新分配。
数据银行大数据平台由硬件资源层、Hadoop大数据处理软件层和业务应用层三部分组成(见图1)。其中,硬件资源层为云存储系统部署所用硬件资源,统一使用的X86架构存储服务器;Hadoop大数据处理软件层为云存储系统所使用的软件资源,包括基于Hadoop产品支撑的结构化数据存储引擎、并行计算引擎、NoSQL数据存储引擎、非结构化数据存储引擎,对用户及数据进行分级访问控制,通过HDFS、CMD Line、REST、MR、FTP、JDBC/HQL、NoSQL等接口对应用提供服务;业务应用层为一次写入、无追加及修改要求的数据提供存储及处理服务,如WAP网关日志、点击流、计费结算详单、信令等。
基于Hadoop&HBase的大数据平台优势明显
传统IT建设模式下,各业务平台独立建设,均由服务器资源、存储资源、网络资源等构成,各业务平台重复建设,导致CAPEX较高。在技术选型时,根据业务不同需求,选用的硬件设备也不尽相同,运维费用加剧。而不同服务器日常运行中也存在负荷不均的现象,导致硬件整体利用率低,大量计算、存储、网络设备空闲,维持运转所需的机房租金、电耗、制冷等成本提升。加之新业务部署周期长,导致整体OPEX较高。
国际公认的大数据处理开源软件Hadoop&HBase,用于处理庞大的数据量,中兴通讯基于此技术构建的大数据平台较传统IT建设模式优势明显。
● 支持大并发读写
中兴通讯大数据产品基于Hadoop底层的大量优化算法,应用效率更高、计算存储分布更均衡;充分发挥Hadoop分布式架构能力,通过多节点提供更高的并发服务能力;具有NoSQL数据平台所共有的海量存储、线性扩展、高并发读写、低成本等优点,同时可便捷地与Hadoop生态系统中其他组件交互数据。
● 高效数据安全隔离技术
中兴通讯大数据产品提供增强的Kerbos安全机制,能够保证只有受信的用户才能使用数据和服务,同时在服务端进行了有效的数据隔离,保证不同的用户对于数据使用的权限严格受限。
● 客户端REST服务访问负载均衡及数据缓存机制
中兴通讯大数据产品提供的REST服务,通过内置的软件负载均衡服务,能将用户请求均匀地发送到多个REST服务。负载均衡服务能够提供有效的数据缓存机制,对于重复内容的请求能够利用缓存内容直接返回,而不需要多次向Hadoop集群提交相同的计算请求,浪费计算资源。
● 灵活的横向伸缩,在线动态扩容
中兴通讯大数据存储产品作为后端的数据集中存储平台,具备动态伸缩的能力,满足前端应用系统不断扩展、存储收缩的需求;支持在线动态扩容能力,增加存储容量和CPU处理能力的同时不中断业务运行,避免传统扩容方式带来的风险,存储容量和系统吞吐率可近似线性增长。
● 快速部署,扩容简单
中兴通讯大数据产品提供全自动系统安装程序,可自动计算参数配置,适合大多数应用场景;可提供高效的运维管理,自动化和智能化程度高;维护设计方便,支持多版本混用和在线扩容功能,存储容量扩展可在几分钟内完成。
● 高可用性和高可靠性
中兴通讯大数据产品为分布式系统,存在若干在功能上对等的处理节点(计算力冗余),同时对数据采用多副本存储的机制,在个别机器宕机时实现其功能由其他正常节点自动接管,不影响整个系统对外服务,具有高可用性和高可靠性。
● 绿色节能海量存储,具有高性价比
中兴通讯大数据平台采用低成本通用存储服务器构建,通过软件实现硬件全冗余,增强系统可靠性的同时降低存储成本,其成本远低于传统磁阵存储;运维简单,自动化程度高,人工干预度低,维护成本低。可构建存储PB级以上的海量数据,满足多种业务存储需求;系统可根据业务负荷动态降低计算负荷、对磁盘进行休眠轮休,以降低能耗,提高设备寿命。
中信银行大数据平台的项目中标,预示着中兴通讯在金融领域更进一步,结合自身在两大行业的积累,配合中信银行打造新型的互联网金融战略平台,将与中信银行携手云端,共享价值。