中国IDC圈4月28日报道，互联网的发展使得大数据引起人们广泛关注。现如今大数据技术早已渗透到金融、通讯等行业以及生物学、物理学等领域。大数据在容量、多样性和高增速方面的爆炸式增长全面考验着现代企业的数据处理和分析能力，与此同时也为各个行业带来了准确洞察市场行为的机会。迄今为止大数据技术与产品有哪些创新，工业大数据应用面临哪些挑战，金融行业大数据应用现状如何等。围绕这一系列问题，4月27日至28日，由工业和信息化部指导、中国信息通信研究院主办的"2016大数据产业峰会"在北京国际会议中心盛大召开。28日上午大数据推动金融创新分论坛中国农业银行软件开发中心的专家赵维平凯做了主题演讲。
中国农业银行软件开发中心的专家赵维平
以下是赵维平演讲实录：
赵维平：首先感谢主办方能选择这么时尚的话题，同时也感谢主办方能在一上午的时间把工农中建都搞到一起来，分享大数据的话题，大数据建设和运用，各金融领域有共性，只是大家在实现模式上略有差异而已，大家对业务的支撑有很多是共性的。我今天跟大家分享的是农业银行在自主可控上做的一点工作，大家再走这条路的时候能有所借鉴，少走弯路，为你们的顺利实施提供一点点可借鉴的东西，那我今天就没有白讲。
金融大数据的应用场景，工行和建行都讲过，随着互联网+时代的到来，这些年数据的膨胀呈指数增长，分两类，一类是结构化数据，这部分增长基本可控，随着业务的增长是一个线性关系。而对非结构化数据，尤其语音、图像，优酷上的视频，一天产生的视频可能一辈子都看不完。现在应用潜力巨大，精准营销、风险控制、运营等等都对各业务，对大数据的应用提出更高的要求。深层次讲，现在随着大数据时代到来，我们处理大数据的技术手段和成本的下降都提供了对大数据的可能，不管是MPP还是Hadoop都是最近几年来风起云涌的，在技术上也是成长最快的一部分。应用的领域，大家基本相似，不细说了。
我们在2003年初开始搞大数据，当时有很多困惑，首先感觉到大数据到来了，现在各个行业，中央台什么东西都用大数据说话，我们在银行业我们能做什么呢？早期在十几年前我们大家做数据仓库的时候，大家可能选择面都很窄，四大行除了我们没用TD其他都是用TD做的数据仓库。我们当时用SbaseIQ（音）也很痛苦，计算资源可以扩，但IO能力就在那里。当时觉得列存储带来很大的优势，处理通用的数据量减少了很多IO。平台选用什么？还用传统的吗？新型的怎么样？金融在有些技术的选择上还是相对比较保守的，我们不会用最新的技术，不会用最新的版本，这也因为金融工委和国家人民银行对于我们的连续服务要求特别高，一旦出了事情领导交不了差。大数据在哪些领域能优先创造价值？你做了那么多大数据，领导说你能给我带来什么，不管你用什么技术积攒了多少数据，采用什么样的管控机制保证数据安全，另外又用什么运维保证机制保证业务的连续性。
农业银行对大数据的预言2003年就开始了，2004年的行长会上就明确了农业银行的大数据建设。我们在建设过程中，这20字就是我们工作的出发点，夯实基础、拓展服务、提升应用、深入挖掘、推动治理。目标是促进全行的业务创新、管理创新、营销创新和服务创新。我们实施的路径基本就是统筹规划、顶层设计、共享复用、分步实施。
自主可控方面，我们从几方面，硬件方面采用华为的RH2288系列，2C、docore、256内存、12 4T硬盘，不同时期买的硬盘的容量是不一样的，后来是4T，之前是3T。基础软件方面我们引进了国产的南大通用做的MPP架构数据库，我们在原形试运行阶段从2013年圆形环境开始投产，采用28个数据节点，2014年3月份把它扩到56个节点。非结构化，结构化的数据上游生产数据基本都是放在MPV架构数据库里，使用起来技术上更流畅，效率更好。Hadoop方面，非结构方面目前使用的是CDH开源版，大概有100个左右的Datanode。数据模型方面我们结合先进的建模理论，我们融合了范式和维度的思路。我们在主库核心层面基本是范式建模减少重复。维度方面由业务驱动的方式建立维度模型为主。自主可控在基础的工具上，大家知道有ETL、批量调度、源数据的管理，这些东西都是我们自主开发的。我们制定了一套比较完备的规范、制度、方法、标准。