3V模型与扩展
“大数据”现在是一个炙手可热的词语,这个词虽然比较新,但收集与存储大量信息的历史却不短了。
早在本世纪初,行业分析师Doug Laney就提出了“3V模型”来定义大数据,如今已经成为主流。所谓“3V模型”分别是指数据量(Volume)、速率(Velocity)、多样性(Variety)。
数据量(Volume)是指一些组织从商业交易、社会媒体等来源收集数据,从传感器或者机器通信(M2M)数据中获取信息。以前存储这些数据或者信息是一个难题,但新兴的技术(如Hadoop等)减轻了这项负担。
速率(Velocity)是指数据以一种空前的速度流入,而且必须得到及时的处理。无线射频识别(RFID)标签、传感器以及智能仪表使得对于连续涌来的数据进行“准实时”处理的需求越发突出。
多样性(Variety)获得的数据具有各种各样的格式(从传统数据库中的结构化数值型数据到非结构化的文本文档、邮件、视频、音频、股票行情及经济交易等)。
不过SAS对大数据另有独到看法。SAS是在中国的文化大革命时期建立和发展起来的一家数据处理公司,现在已经是数据行业的领军企业。SAS在3V模型的基础上加入了另外两个维度:可变性(Variability)和复杂性(Complexity)。
可变性(Variability)是指数据流不稳定易变化的特征。除了数据速率提升及多样性增加的问题,数据流还有着极不稳定的周期峰值。是否有什么在社会媒体中起了导向作用?每日的、季度的以及事件触发性的数据负载高峰会给数据管理造成极大的挑战,这在处理非结构化数据时尤为明显。
复杂性(Complexity)是指随着数据来源多样化、数据流可变性增加,数据处理日益复杂化。如今数据的来源各种各样,这会给跨系统的数据关联、匹配、清洗以及转换造成困难。然而,对数据间的关系、层级以及多数据间的联结点进行关联是十分重要的,否则你的数据很快就会失控。
来自VISA的启示
全球已产生的和存储的数据量是无法想象的,而且它还在持续增长。毫无疑问,大数据在商业分析方面有巨大的潜力。那么企业怎样才能更好地应用这些每天新增的原始数据呢?
大数据的重要性不在于你拥有多少数据,而在于你如何使用这些数据。你能从任意来源渠道获取数据,并且通过对其进行分析从而减少损耗、缩短用时、发展新产品和优化供应方案、最终使智能决策成为可能。
著名的信用卡服务公司VISA就利用大数据,减少了欺骗性信用卡和借贷卡的办理。和绝大多数信用卡公司一样,Visa在为客户提供看不见的服务的时候面临着诈骗活动的挑战——解决这个问题的难处在于提供服务和避免欺诈并不能总是一同解决。
比如说,当信用卡公司首次运用计算机系统自动分析判断欺诈交易时,有更多的在外度假或公干的客户反映支付被拒,因为这项技术的难点在于计算机很难评估用户是在旅游,还是信用卡被盗刷了。
Visa中为北亚问题提供解决方案的负责人Nathan Falkenborg说:“如果我们得知你很可能在旅游,那么我们就会告诉你参与的金融机构,让你在购物的时候不会被拒绝支付,我们也会协助银行制定更优的Visa工具和积分系统的使用策略。”
而利用大数据分析,Visa可以实时地分析超过500项独立的变量,来判断用户到底是在异地度假或公干使用信用卡、还是用户的信用卡在异地被盗刷了。这对于减少欺骗性交易、又不让用户被不必要的支付遭拒所困扰有很大的帮助,而且潜在地节省了每年二十亿美元的欺骗性支付额。
各行业如何利用大数据
大数据对几乎每个行业的组织都产生了影响,让我们来看看每个产业怎样才能从信息的大量涌入中获益呢。
银行
随着大量的信息流,银行正在寻找新的并且创新的方法来管理大数据。虽然去理解顾客和让他们更满意是很重要的,但是在遵从法规的同时减少风险和欺诈也是同样的重要。大数据带来了伟大的见解,但是它也要求金融机构要利用先进的分析策略和技术,在这场大数据游戏中领先一步。
教育
有着数据驱动思维的教育者将对教育系统,学生和课程产生重要的影响。通过分析大数据,他们可以识别有潜在困难的学生,从而确保学生在学业上有适当的进展,还可以形成一个更好的系统,以评估和支持教师和校长。