数据分析往往不是一蹴而就的事情。事实上,当分析模型投入使用时就已经过时了!分析模型总是落后于现实,我们能做的只是保持这种滞后性尽可能小。分析模型所使用的数据,都是在一个特定的时间点和特定的内外部环境条件下采集得到的。
这一特定环境不是静态的,而是随着内部因素(如新战略,不断变化的客户行为)和外部因素(新宏观经济环境和法律法规)不断变化而变化。例如,欺诈检测分析中,欺诈者总是试图不断逃避模型的侦测,以骗取更多的钱财。另一个例子是信用评分模型在很大程度上依赖于当前的宏观经济状况(复苏或是衰退)。因此,分析模型要取得成功创造价值,就必须对内外部环境进行监测,以及时调整或重建模型。
构建底层基础
为了建立一个分析环境,企业需要就所采纳的硬件和软件技术进行选择。
硬件方面,需要专门的基础设施(如Hadoop和相关的软件栈)来清理、整合、存储和管理数据。为了减少支出,企业可能选择云存储,并将大数据作为一种服务。公司在同外部进行数据传输和交换时,应采取适当的谨慎措施,保证数据私密性。
软件方面,很多厂商提供了大数据分析的商业解决方案。目前市场还有很多的开源分析软件(R、weka、Rapidminer),虽然这些开源软件解决方案变得非常流行,但是他们还不够成熟,还不足以很好的处理具有大体量、多样性等特性的大数据。
大数据分析成为越来越多公司的DNA 组成部分,但是政府、金融、医药,每个行业都有自己发展足迹,数据、业务和监管都具有特异性,需要针对不同的基因组成进行不同的设置。因此企业需要的是能提供综合全面垂直业务解决方案的软件,而不是一个跨行业的横向通用软件。
鉴于建立数据分析构架环境的复杂性,公司可能会考虑外包。然而,公司内部数据及其蕴藏的信息是公司最宝贵的战略资产,因此不宜让第三方完全拥有数据访问权。相反,企业应该建立内部分析中心和培养公司人员的分析技能,以服务公司广泛的分析需求,这是公司在管理中应该考虑的问题。
同样公司董事会和高级管理人员都应该参与到分析环境构建中。很多企业还尝试设立首席分析官(CAO)这样的职位,专门负责建立企业范围内的分析环境和基础设施,管理各业务单位分析模型的研发、审核及部署。
最后一点,我们现在看到越来越多的中小型企业开始借助大数据分析。这些公司通常预算有限,因此它们比较中意那些现成的可以直接用于数据分析的现成软件解决方案。比如利用在线分析工具来研究网站的使用现状,优化网站设置、改善网站在搜索引擎排名,并购买付费引擎营销方案。
总结与展望
在文章的结尾之处,我们想再次重申企业进行大数据分析所必须注意的几个问题:
从公司管理的角度来看:
(1)公司应同时关注数据体量和数据质量;
(2)持续学习和培训能填平新分析技术和新商机之间的鸿沟;
(3)分析开发团队应该包括独立的模型开发团队和模型验证团队;
(4)分析并不仅仅是模型开发和验证,还包括模型的监测和回溯测试。
从技术的角度企业应该:
(1)考虑使用云服务来进行大数据分析;
(2)应该关注垂直式行业解决方案,谨慎选择开源软件;
(3)对待外包分析要慎之又慎,最好能在企业内部建立分析环境,并置于高层的管理之下。