中国IDC圈12月16日报道:近日,由中国计算机学会(CCF)主办,CCF大数据专家委员会承办,中国科学院计算技术研究所、北京中科天玑科技有限公司与CSDN共同协办的2015中国大数据技术大会在北京盛大开幕。京东受邀参加,多位技术专家就大规模内存数据库、实时数据平台、大数据在广告中的应用、京东大数据生态等话题进行了分享,全面展示大数据技术研究和应用成果,显示出京东通过业务和技术双驱动的强劲竞争力。
刘海锋:大规模内存数据库JIMDB在2015中国大数据技术大会首日全体会议中,京东云平台总架构师、系统技术部负责人刘海锋带来了名为《大规模内存数据库JIMDB:从2014到2016》的主题演讲。他介绍了大规模的以内存为中心的新型数据库——JIMDB,包括它过去两年的发展历程、技术脉络以及是怎么支撑起京东的电商业务。
电商业务需要非常迅捷的数据访问,这不仅是用户体验的需求,也是技术开发人员提升效率的需求,因此,京东延续数据库领域的泰斗级人物Jim Gray的“Memory is the new disk(内存是新的磁盘)”理念,从2014年开始启动了JIMDB. JIMDB的全称为Jingdong In-Memory Database,是一种新型的以内存为中心的全托管、全管理服务化的数据库,主要针对灵活类型、半结构化数据的快速存取访问。
JIMDB最早基于Redis,但京东团队对它进行了持续的改进与重新实现。目前,JIMDB已能满足电商业务所需要的自动故障切换、在线弹性扩展、灵活复制与全自动化运维等需求,在生产环境达到数千机器、数万容器实例的大规模应用,支撑了京东海量的在线业务。
刘海锋举出了JIMDB的实际成效案例,“内存存储带来了极佳的、非常稳定的性能。以京东线上某个比较重要的集群为例,在双11期间它整体的QPS超过200多万,而且99%的请求在2毫秒之内返回。JIMDB让用户体验更好,让我们的业务开发起来更加简单,让运维工作更加省心、更加轻松。”
刘海锋透露,京东未来还将从专署集群过渡到聚合各个IDC的RAM资源,聚合整个RAM资源,让数据动态流动、降低整体硬件成本。他认为,“内存是存储的未来”一定是趋势所在。
刘彦伟:让更多人玩转大数据京东大数据平台研发负责人刘彦伟做了题为《京东实时数据平台的实现和应用》的主题演讲。他表示,京东希望通过打造一个优秀的大数据基础平台,降低京东大数据消费的门槛,让更多的人能够玩转大数据,让每个人都成为大数据的专家。
京东这两年发展非常快,大数据也呈现了同步快速发展态势。截止2015年Q3京东大数据基础平台整体容量突破90PB,每天新增超过1PB数据,每日扫描数据量超过了5PB,每天约有20万个作业运行。
京东大数据平台是以平台化的思维为整个京东提供大数据基础服务,其中包括硬件资源、平台工具、数据服务、用户画像、技术输出等,希望通过基础设施和工具的建设,让更多的用户可以自助地在平台上做自己的大数据业务。
刘彦伟介绍说,整个京东大数据平台分两部分,一部分是离线的数据平台,一部分是实时的数据平台。2014年之前还是离线的数据处理为主,2014年之后,不论是业务上还是技术上,对实时的要求越来越迫切,因此京东打造了实时数据平台。
从京东商城、京东金融、京东智能、京东到家的各个业务条线,每天都在产生大量的数据,这些数据通过统一的平台“数据直通车JDBUS”实时接入,统一在JDQ实时数据总线实时存储,再通过实时计算平台JRC完成实时计算,可供精准化营销、实时运营决策、实时监控等领域使用。
京东大数据平台通过技术解决了三大难题:第一数据接入的问题,第二数据存储的问题,第三数据计算的问题。在京东首页“猜你喜欢”的模块,就是基于离线的用户画像、商品画像并结合用户的实时浏览行为,经过复杂的实时推荐算法提供的。在站外的广告位,比如新浪,也会基于实时的模式打造个性化推荐。而在对商家服务的京东数据罗盘中,为商家提供的数据决策支持系统也是一个典型应用。商家可以看到实时的订单、用户、浏览等营销数据,帮助商家提升自己的运营效率、效果。
万昊:大数据技术在京东广告中的应用京东数字营销大数据高级总监万昊发表了《大数据技术在京东广告中的应用》的主题演讲,分享了京东在广告上大数据的实践。