“通过大数据的挖掘,从资料完整度、交友真诚度及账号安全度评定用户‘靠谱度’。”一家著名婚恋介绍网站最近打出广告,声称可用“大数据”技术打击相亲骗子。
如今,“大数据”是一个时髦的词汇,很多商家纷纷推出“大数据”服务。全世界的大数据技术研发机构都吸引了众多风投和眼球。
大数据让人眼前一亮,也让人两眼一黑。9月,著名信息技术分析公司Gartner发布《2013年大数据普及程度背后的炒作》报告,指出2013年30%的企业已开始大数据工作,而另外34%的企业有计划在两年内开始。但这些企业大多告诉调查者,不知道自己在做什么,也不知道为什么要做大数据工作。
根据这一报告,半数以上企业不知道如何从数据中获取价值;三分之一的企业缺乏大数据处理能力;甚至还有超过五分之一的公司不知大数据究竟为何物。
如果连嗅觉灵敏的企业家们都不真正理解大数据,其他人就更是难窥其全貌。大数据时代还在雏形,它会变成什么样子没人能说准。
起源于科学界的商业热词
尽管商界对大数据带来的商机津津乐道,但一开始讨论大数据时代的是科学家。“生命与医疗、粒子物理、天气预报、基因学、地震预报等已经是数据密集型应用了。”清华大学自动化系教授肖田元说,“典型的例子是美国气象预报局年数据量达30PB(1PB=100万GB),每日观察资料超过35亿份。DNA序列分析使用网络大数据分析工具进行亿万次DNA短链分析,制造基于DNA的分子物质。科学家还推出大尺度数据管理架构与可视化方法,让解码人类基因组这种原先花费10年的工作可以在一周内完成。”
上海大学教授费敏锐介绍道:“像华大基因,分析的数据量有几百PB。他们在全世界找到了25种栽培稻和24种野生稻,正因为有大数据分析能力,他们扫描了这些水稻的全基因图,找到了162个决定水稻产量的基因。”
大型强子对撞机(LHC)的例子更是常被提及,LHC每秒钟生成1PB的数据,要用4.5万个磁带机做存档,是目前世界上最大的数据生产者。
在此背景下,2008年9月,《自然》杂志推出大数据专刊,探讨科研形态变化;《科学》杂志2011年也推出大数据专刊,将大数据深度分析看成未来研究的突破点。
“真正开始讨论大数据,大家都公认是《自然》杂志2008年的专辑所带来的。”电子科学研究院研究员王积鹏说,“计量文献来看,讨论大数据的论文2011年发生井喷。这几年大家都拿大数据说话,但是主要在于应用,而不是在于理论研究。”
科学家们当时的忧虑是大数据难以处理,肖田元说:“计算机已经超过了千万亿次级,‘天河二号’是2000万亿次,未来10年可能达到亿亿次。但是软件发展很慢。美国也是这样,认为高性能计算的算法开发滞后。我们国家高性能计算机为什么利用率不高,原因就在这里。”
典型的数据管理困境,如国内一位信息技术工作者所说:“我做过某卫星的信息资源管理,卫星每天产生上百GB的数据量。处理完之后,文件都存在相应的磁盘、磁带等,通过几个系统呈现,一年下来数据量相当大,但是并没有产生大数据的特性。”
工业界也提出了类似问题,肖田元举例说:“有个著名的发动机公司提出设想,把它的航空发动机数据实时传到总部,结合过去的数据,实时检测和预报故障。数据量非常大,现在要同时检测、计算和预报,很难做到。”这一困难,肖田元概括为“科研智能如何赶上感知能力”。
在科研界关于大数据挑战的讨论之后,互联网商业看到了大数据中的“金矿”。这也是被如今大家所熟悉的大数据议题。最典型的例子如宏源证券研究所副所长易欢欢介绍:“阿里巴巴,最早从B2B到B2C,聚集了千万级的中小微企业,形成了5.4亿注册用户。这个公司牛在哪?这些数据背后的因素包括什么?销售数据、产品数据、应收账款、存货、资金流向、物业信息等一系列综合信息,而且是实时的,远比银行报表准确得多。它有你的消费偏好、家庭地址、还款卡号等一系列信息,这才叫大数据。”
IT业研究公司M&M发布的一份最新报告指出,全球大数据市场将在未来5年内迎来高达26%的年复合增长率——即从今年的148.7亿美元增长到2018年的463.4亿美元。膨胀速度如此快,可见市场对大数据概念响应的热烈。