2016年7月17号在北大举行的第五届中国大数据应用论坛上,中国新一代IT产业推进联盟技术分委会秘书长鲁四海做了题为《大数据技术及行业应用》的分享。他分享内容分为三个部分:第一,行业的趋势、技术发展是什么样的;第二大数据在传统行业落地的困难,大数据要用起来最终还是落在传统行业,因为IT技术的发展不能自娱自乐;第三,传统行业如何落地大数据。
大数据产业发展趋势
首先来看,现在的大数据产业正在发生着哪些变化。第一,首席数据官开始崛起。第二,可视化是推动大数据普及的一个重要的手段。大数据的真实用户,我们认为是业务不应该是IT人员。第三,大数据还有一个趋势就是智能化嵌入,一个是终端的嵌入,一个是在服务端的嵌入。第四是机器学习迎来上扬的趋势,它已经是未来数据准备和预测分析的必要工作。第五,开源应用会持续加速。第六,数据服务逐渐形成发展规模,这个主要有三个原因:一是数据这个事我们没有必要做一些重复的工作;二是数据服务促进共享。三是拥有数据的企业找到了一种创收的方式。第七,算法市场正在兴起,数据要去解决问题,中间需要一个算法模型来支撑。第八,互联网、金融、健康保持热度,智慧城市、企业数据化、产业互联网将成为新的增长点。
从前面的趋势我们也可以看出,传统行业将是大数据的主战场。数据对传统企业的巨大价值不用赘述,具体体现在四个方向:一是在决策模式上,在数据这个时代,以从流程为中心转向数据为中心;二是运营模式上,不再是以产品和服务为中心,转向以用户为中心;三是协作模式上面,原来是以供应链为基础的,现在是生态链为中心。四是企业组织模式上,原来是以层级为中心,现在是以员工为中心。
传统行业落地大数据的挑战
但是传统行业落地大数据也是有很多挑战的。比如我们之前在做咨询过程当中就遇到过这样的情况。有的IT项目交付的时候被推倒重来,大数据项目也可能出现这种情况。一个是需求之前是不准确的,二是我们这个系统建设速度跟不上需求的变化。?
都说大数据的是驱动创新的最佳方式,其实创新还是有蛮多坑的。比如说,这两年大家都在讲小米的参与感。都去学人家微博微信的营销,然后以对人家的微博微信进行数据分,然后套到自己的产品上,结果一点成效都没有。但人家走量最多的红米首发选择了QQ空间,也得到了QQ空间的大力支持。依据数据创新最大的风险在于,认识片面性和数据片性。
有的企业会通过投资收购方式去发展公司业务,投资者们达成明确而广泛的共识,差不多很多时候都是错的,因为大家在追逐热点,热点就有可能导致说大家都过独木桥。其实很多时候是在做重复性的研究,这个产业我们需要协作。
其实数据是很核心的一块,我们做大数据首先解决数据的问题。数据分成两块来看,分为内部和外部。内部的数据,一个是现在还有没有数据。我们刚才听到了去哪儿网可以通过一些技术手段,收集他的数据。那么一般的组织是不是能够达到呢?再就是数据质量如何。数据的质量就要分成两块,数据的有用性和数据的可用性。?
谈完数据就讨论技术,目前我们问三个问题,你的技术路线,走开源的还是闭源的。第二是私有部署还是使用SaaS的工具去解决你的问题。第三这点更细节,走Hadoop还是走MPP这条线,这跟企业数据特点是有很大关系的,比如说你的数据以结构化为主的,那MPP的模式就更适合你。
技术真的只是工具,数据其实是大数据分析过程当中的材料。只有材料、只有工具这能做出产品么?不行的,还有一个东西,它需要配方、需要生产的方法,这个就是算法模型。但是算法模型有几个问题一是对于法的人要求非常高;需要做大量的训练;你开发出来一个模型之后,应用效果也需要检验。
团队,至少有三个方向,首先是业务专家,他解决的问题是数据的可用性。然后就是IT专家,那样解决怎么存数据、获数据、管理数据。还有就是统计专家,他去开发一些模型。目前是这几种比较存在形式。还有一种是技术导向型的,再一个是以应用、业务为导向的。