近日网上流传这么一个故事:一名小伙子专门应聘上海高档小区的物业管理,自己配了扫描枪,每天就盯着小区垃圾堆,看见有条形码就扫描,晚上回家把数据整理出来,得出小区居民喝什么水、吃什么油、买什么衣服,整个小区的消费品类和品牌偏好一清二楚,再形成报告卖给大公司,报告价值数十万。
这是大数据价值的微小表象之一。
2013年被认为是世界的大数据元年,数据被称为新的石油,在未来,数据将会像土地、石油和资本一样,成为经济运行中的根本性资源。美国人维克托·迈尔·舍恩伯格撰写的《大数据时代》指出,大数据带来的信息风暴正在变革我们的生活、工作和思维,大数据开启了一次重大的时代转型。
维克托·迈尔·舍恩伯格被誉为“大数据商业应用第一人”,拥有在哈佛大学、牛津大学、耶鲁大学和新加坡国立大学等多个互联网研究重镇任教的经历,早在2010年就在《经济学人》上发布了长达14页对大数据应用的前瞻性研究。
什么是大数据
大数据,或称巨量资料,指所涉及的资料量规模巨大到无法透过目前主流软件工具,在合理时间内达到撷取、管理、处理、整理成为帮助企业经营决策更积极目的的资讯。
概念很玄乎,其实每个人每天都在创造数据。以淘宝为例,每天有数以万计的交易在淘宝上进行,交易时间、商品价格、购买数量均被记录,更重要的是,这些信息可以与买卖双方的年龄、性别、地址、甚至兴趣爱好等个人特征信息相匹配。运用匹配的数据,淘宝可以优化店铺排名和用户推荐;商家可以根据以往的销售信息和“淘宝指数”进行生产、库存决策,赚更多的钱;而与此同时,更多的消费者也能以更优惠的价格买到更心仪的宝贝。
相同道理,Google和百度、Facebook和人人网、Twitter和微博……互联网每时每刻都在产生数据,从而形成数据海洋。人们要做的,是如何从海里捞到大鱼。
如何运用大数据
有这么几个案例:
华尔街“德温特资本市场”公司首席执行官保罗·霍廷每天的工作之一,就是利用电脑程序分析全球3.4亿微博账户的留言,进而判断民众情绪,再以“1”到“50”进行打分。根据打分结果,霍廷再决定如何处理手中数以百万美元计的股票。他的判断原则很简单:如果所有人似乎都高兴,那就买入;如果大家的焦虑情绪上升,那就抛售。这一招收效显著——当年第一季度,霍廷的公司获得了7%的收益率。
美国一个超市将女性顾客中的孕妇视作购物的黄金消费者。为了将这部分目标人群在怀孕前就争取过来,该超市通过调查罗列出几十种购物偏好,当某位顾客的收银条上集中呈现这类商品时,就会被认定为可能是孕妇或家中有孕妇,超市随后向其发送孕妇产品广告。一次,当有人以“家中并无孕妇却总是收到相关产品广告”为由控告这家超市后,却发现原来是自己还在上高中的女儿怀孕了。
2009年甲型H1N1流感病毒出现,在没有疫苗的情况下,公共卫生专家能做的只是减慢传播速度,要做到这一点,专家必须先知道流感出现在哪里,这只能依靠各地医生发现并告知疾控中心,信息肯定是滞后的。可是,Google的工程师们比疾控专家更早地判断出流感从哪里传播出来,他们依靠的就是Google所掌握的大数据。
这就是大数据的运用实例。你在百度上搜索、论坛上发言、新浪上微博,都有可能成为被分析的数据。《大数据时代》详细分析了Google、微软、亚马逊、IBM、苹果、Facebook、Twitter、VISA等大数据先锋们最具价值的应用案例。如何利用大数据,从而开发出其中的商业价值,已经成为投资者、IT界人士以及政府公共管理部门普遍关心的问题。
大数据带来什么变革
维克托认为,大数据是一种“人们在大规模数据的基础上可以做到的事情”的指代,是“人们获得新的认知、创造新的价值的源泉,还是改变市场、组织机构,以及政府与公民关系的方法”。
维克托提醒人们要做好“三大转变”的准备:其一,在大数据时代,可分析更多乃至全体的数据,而不再依赖于随机采样;其二,数据如此之多,可以放弃精确允许混杂;其三,有了数据支持,完全可以知其然而不必知其所以然,即从因果关系转为相关关系。此三大论断,意味着人们理解和组建社会的方法将彻底改变,也预示着某些学科存在的正当性将面临史上最严峻的拷问,如社会科学。“这门学科过去曾非常依赖样本分析、研究和调查问卷。当记录下来的是人们平常状态,也就不用担心在做研究和调查问卷时存在的偏见了。现在,我们可以收集过去无法收集到的信息。”艾伯特-拉斯洛·巴拉巴西的《爆发》甚至认为,通过大数据和幂律分布分析,人类行为93%是可以预测的。