企业大数据的实时分析之路

企业大数据分析。再往后一步是我们现在正处的时代,它应该是企业实时大数据分析。

  为什么这么讲?它有几部分:第一个,我们的数据源在过去还只是鼠标点击流,通过网页,或者是APP,再往下,在现在的时代,都是可穿戴设备,智能的wifi,我们每一次人走在哪里他能够知道你现在所处的环境和状态,从而在你现在此时此刻此地给你做相关的推荐,最近很多广告推荐算法已经融合了场景推荐的方式,它会要求我要知道你现在此时此刻在哪里,根据你此时此刻的一些状态和你的行为来给你限时的反馈,这个反馈不仅仅是在过去只是把过去的一些数据做一些点击的采集,做一些模型,做一些过去的实时画像,而是知道你现在此时此刻的需求。比如实时的渠道分析,我现在做一个活动,究竟我这个活动它的每一个渠道究竟哪里比较好,我究竟在哪里加大投入,比如实时场景推荐,此时此刻你在哪里,实时风险评估,你放贷款的时候应该什么时间给什么样的人,做到这些才能说我拿到这个数据将来才能实现AI分析。很多自动驾驶的汽车,你是在开车的时候前面的情况经常发生变化,如果你只是一个小数据量级去训练你的模型,你会发现我们可能会出现异常驾驶事故,最近也出现很多类似的事故,不是因为AI不够智能,而是因为他给AI提供的数据量级不够大不够快,造成我们在AI学习过程当中中间有一些盲点,从而造成一些安全事故。

  所以所有的AI,如果企业想做AI的时候,第一步先要实现整个实时计算整个采集分析加工的这套流程。企业如何做有效实时分析呢?无外乎分几步,第一步是定方向,为什么先把它放在里面讲呢,因为对于每一个企业来讲,讲实时分析是非常容易的,但实时分析的投入非常大,因为它和过去大数据平台又不同,它对实时计算集群能力、架构、人员都有更高的要求,所以企业做实时分析的时候首先要评估企业自己的ROI,选择一个适合的场景,究竟什么样的场景对于每个企业比较合适,究竟你要做场景推荐还是要做实时分析的风险评估,这是第一个。第二步是夯实基础,现在有各种各样的开源的闭源的大数据实时分析框架,我会给大家详讲,大家要选择一种或者几种适合自己企业当时状态的实时计算框架,今天也来了非常多的这方面的专家,后面会给大家详细讲解。第三步是打造能力,这里提一个说法,提到实时分析的时候我听到很多技术小伙伴会跟我讲,实时分析,这边做批量,这边做实时,或者现在提出的Lambda架构,把实时和批量计算放在一起,不就这些吗。其实完全不是,因为实时的分析并不等于实时的计算,实时计算只是实时分析当中的一步,在我们的分析过程当中除了数据计算之外还有数据挖掘能力,实时采集的能力,这都是企业打造实时分析时候的重要节点。第四步是实现突破,找到产品出口,找到最合适的一个点,哪怕一两点,找出来,让企业自己的实时分析流畅的流转起来。