企业大数据的实时分析之路

大数据分析的时候,我们如果没有做到很好的实时分析就会产生一些不适时的产品推荐,包括很多在做APP分析也好,或者是做互联网数据分析也好,经常会发现一些我们自己互联网产品的一些问题,经常能看到,如果一个问题经常是通过我们的质控部门或者客服部门反馈回来说,比如我的一个购买,或者我的一个浏览出现了一些问题,这个时候再反馈到客户那里,从你的客户再看到你的研发部门,或者再到你的产品部门,说到这样的问题的时候其实它也是过时的产品质量控制。我们做实时分析是希望在你用户发现这个问题之前你就能发现你自己的产品问题,从而控制相关的产品质量。

  第三个,现在互联网金融非常火暴,大家做贷款的时候,每一个互联网金融公司都在说我1分钟发贷款,3分钟发贷款,拼速度的同时,一旦这笔贷款发出去,没有将这个人当时的相关状况和信息做一个很好的模型分析,你拿到的是过时的数据,头一天的数据,对你的风险是非常大的。我们现在说大数据,每一个数据都是临时的,只有最接近你这段时间的数据它的价值越高,离你时间越远的数据价值越低。所以做实时分析的目标是将眼前最零块的数据分析能够达到它最大的价值,分析基于所有数据采集到处理完还不够,我们将它做一个分析模型,将我们的分析模型也做到实时化,从而达到我们的实时分析,助力相关用户资产的增长。

  说到这里,现在AI都非常火,很多公司也要成立自己的AI部门,很多AI算法也在不断的迭代,其实真正做AI之前一定要做的一件事情就是实时分析,为什么这么说?大家能看到,整个数据从过去2000年到现在,国内所有这些做数据的相关企业,从数据仓库到大数据分析平台到AI,都是有一个过程的,可能最开始是非常不实时的,企业内部的统计,可能每个月出一个月报,到后来出现数据仓库,开始我们做了相关的OLAP分析,报表分析,BI的KPI,这都是在最开始的那段时间,它一般来讲是以月以天来计的。再往后大数据出现了,过去企业内的这些数据开始现在能看到用户的一些点击,我们能看到一些日志分析,我们开始基于这些日志做用户画像,包括有一些推荐引擎,广告位,这些是我们的