11月24日,由ZDNet至顶网主办,英特尔协办、VMware和SAS支持的主题为“大数据?政府决策的科学发展观”的第五届政务信息化高峰论坛在昆山举行。多位政务信息化专家、大数据实践精英及IT界意见领袖出席了会议,并在会上就大数据在政务信息化中的实际应用等问题进行了深入交流。其中,SAS政府行业高级经理杨玥从技术和应用各个层面分析数据价值发挥的特点和关键点,并总结出了企业在应对大数据时做好数据分析的要素。
数据分析分为两个阶段
大数据时代既有机遇也有挑战,杨玥认为目前最大的挑战是数据分析和执行能力的提高速度远远跟不上数据发生变化的速度。而这正是大数据的三个特点所造成的——数据量大、数据增长速度快、数据类型复杂,另外数据存储成本的逐渐降低也是原因之一。
然而这一挑战也正是数据挖掘技术应运而生的根本原因。实际上,数据产生价值的过程就是数据挖掘分析利用的过程。数据挖掘为企业提供了一个“发现问题,预测未来以及优化业务”的机会,使企业数据得到精细化管理,并输出决策依据。
做数据分析的过程中要重视两个阶段的转化,第一阶段是商业问题向数据分析问题的转换,第二阶段是数据分析结果向业务解决方案的转换。而最终的分析结果主要受到问题的定义因素、变量的选择因素、模型及参数的调整因素这三者的影响。分析的过程中,数据将转变为信息、知识,最终成为智慧,成为企业无形资产的重要组成部分。
数据挖掘技术作为一种特殊的数据分析方法,同样是面向业务应用的,并以满足业务需求作为最终目的。只是没有明确假设的前提下进行的数据挖掘,往往能在“小数据”中得到更多无法预知或违背直觉的信息或知识。另外,杨玥还强调数据挖掘会更多的受到分析人员相关业务知识、思维模式,以及数据分析服务供应商实力的影响。
分析能力的八个等级
从分析挖掘体系的角度来看,位于应用层之下,数据层之上的分析层,实际上往往容易被人忽略掉其重要性。对于分析层中经常需要用到的分析方式及能力,杨玥认为可以由低到高分为八个级别:
·常规报表:定期生成,可以反映短期内在某个特定领域的情况,无法用于制定长期决策
·即席查询:不断提出问题并寻找答案
·多维分析:通过多层次的钻取分析来发现问题所在
·警报:记录问题出现的时间,并当问题再次出现时及时进行通知
·统计分析:在历史数据中进行统计并总结规律,其中包括一些比较复杂的分析
·预报:准确预报市场需求,应用范围广
·预测型建模:在庞大的客户群中,通过预测不同需求客户的不同反应,而对客户进行划分
·优化:根据现有资源与需求,找到实现目标的最佳方式
对于这八种分析能力,杨玥表示目前大多数客户仍然只具备前四种分析能力,这也是传统商业智能的主要功能。他们通过把历史数据汇总产生报表,来分析过去发生了什么,但是却缺少对未来的前瞻能力。如果企业将面对复杂的业务问题,或者希望能够预测未来趋势,就需要具备后四种深入的数据分析与挖掘能力,以创造新的数据价值。而真正的最佳方案是综合运用所有的分析能力,让商业智能达到最高水平。
高性能数据分析平台提升客户体验
在数据挖掘实际应用方面,SAS建立了一套完整的包括定义业务问题、系统环境评估、数据准备等环节在内的数据挖掘项目方法论模型。杨玥表示,方法论模型的实施,分析人员、组织机构与体制的配合是重点。需求通常来自于业务部门,但实际上体制问题有时候往往容易成为信息化的障碍,因此组织机构的革新与体制的完善成为关键。
关于数据分析挖掘解决方案,SAS也带来了一个金融行业的案例。某信用卡发卡银行面临数据带来的众多问题,以至于在营销策略的制定上出现困难。受数据量的限制,他们只能通过交易网点统计数据,旧系统日常分析报告更新时间过长,同时静态报告信息覆盖面不足,导致客户服务部门无法捕捉到用户信息,产品部门也无法根据用户行为数据定制产品方案。
然而在引入高性能数据分析平台之后,通过对单一用户的刷卡交易、收入变化、负面反馈等一系列信息的追踪与挖掘,银行得以能够对不同的用户进行精准的实时定位,并有针对性的对用户需求作出即时响应,从而将该银行的客户服务水平提升了一个等级,充分体现了深入数据挖掘与商业智能最佳化的优势。