冯世聪:明略大数据平台核心技术分享

我们在开源社区做一些服务调度的时候,我们用了一个Everything On Yarn的特点,任何一个用户使用一个服务的时候,他可能调动了很多的服务,可能把所有的资源都分散掉,这个时候就非常特点。我们这样做了以后,就可以保证其中任何一个服务都可以通过这个来调动,就不会保证一个服务太重把其他的服务遏制了。

我们的平台高可用,最关键的元数据都做了高可用。易用性不用说,我们所有的运维都是不需要任何脚本,也不需要任何代码。这个跟我们刚才讲的那个差不多,非常类似,就是我们所有的数据迁移都是模板化、定制化的,点下一步就可以了,所有的数据迁移就完成了。

开放性,这个我们跟360也是不谋而合,我们所有的组件都可以修改,所有的代码都是在外部修改,保证不会被某一个厂家绑定,随时可以自主的升级系统,自主的可以添加组件,这样就是一个开放性,我们不是一个闭环的产品。

高性能是我们非常自豪的,我们当时有一个客户,是国家一个安全机构的。他当时说有5千亿的话单,要求在秒级查出来,他考察了很多厂商,最后我们给他解决掉了。大家可以随便估算一下,这5千亿条记录的时候,秒级响应得需要什么样的基础。当然只有懂技术的才知道这个难度。

因为时间的关系,大概给大家介绍一下,我们MDP有几个特性,高性能、高可用、高安全、易用性。

大数据的分析与监控应用,比如高铁现在比如说车辆不管有没有问题,直接拉到检测厂检修,他说能不能帮我预测这个设备快出问题的时候,需要检修的时候再检修,避免过度检修。这是我们刚刚给中国移动做的一个事情,他要求是在一个省的地方,新的数据每天有几十个G,怎么保证高可用,这是非常有挑战性的。一是银联商务,所有的平台挖掘展示都是我们做的,大概的数据规模是100个亿,里面做了两个分析挖掘,就是做消费预测,有一个数据大厅,做各种各样的数据预测。邮政储蓄银行我们从里面做售前、售后,贷款的控制,就相当于对于银行来讲最核心的一个业务就是风险控制,我们帮助客户做了很多风险控制的工作。国美在线基本上从大数据平台,到广告投放,很多的系统都是我们做的,我们跟国美合作了四期。四川地税,这是我们中国做的第一个税务的大数据平台系统,当时我们把整个税务的所有系统作为一个税源管,税务里面有各种各样的税源进行管理。石家庄公安,这是我们非常自豪的,也是代表着下一代的情报中心。过去的所有警种,包括交警、巡警、网安都是分散的,我们现在把所有的数据聚集在一起,真正做到人坐在办公室里面,可以把犯罪分子抓到。比如说抓了吸毒人员,电信诈骗,所有的公安的业务,我们都可以给他做。我可能就分享这么多,谢谢大家!