现代社会正以不可想象的速度产生海量数据。微博留言产生数据,视频产生数据,手机通话产生数据,商品标签产生数据,快递包裹、物品流通产生数据,移动终端和互联网的普及更是加快产生数据。我们已经进入数据爆炸性增长的时代——大数据时代。
根据IDC预测,10年后的数据增长量将是2010年的44倍,达到35ZB。这些不断增长的数据,主要来自诸如图片、声音和视频等非结构化数据。有统计显示,全世界非结构化数据增长的速度大约是结构化数据的两倍,预计2012年,非结构化数据占比将达到整个互联网数据量的75%以上。
大数据时代,同时是互联网、云计算和物联网的时代,可以说,大数据和这三者紧密相关。
互联网时代网民和消费者的界限逐渐消亡,互联网真实记录下网民的点击、浏览、留言,这些都直接反映了网民的性格、偏好和意愿。网民不是通过语言告诉企业他们的需求,而是在一系列的行为中,不经意地透露了需求。这一系列的行为必须能够相互参照、关联,才能得出答案,而解决这个问题的技术就是“大数据”。随时随地精准满足目标用户群的真实需求和潜在需求,就是互联网的特征。谁能抓住互联网纷繁芜杂数据背后隐藏的消费者需求,高效分析并作出预判,谁就能在互联网时代胜出。
云计算时代,核心是业务模式,本质是数据处理技术。如果失去对大数据的理解和运用,云计算只是房地产的代名词。如何盘活数据资产,使其为国家治理、企业决策乃至个人生活服务,是大数据核心议题,也是云计算的灵魂和必然的升级方向。
物联网时代,物品信息、人的信息、人与人交互的信息、位置信息等等,是一张更为庞大、更加泛关联的数据网。对大数据进行有效分析,将使城市更加智慧。例如将交通数据和公安的破案需求结合起来,将会获得破案线索;将交通和地理信息结合,能为车主提供最佳行车路线和停车空位;将市政管理和气象数据结合,就能有效对灾害进行预警。
更具体一点来讲,在一些新兴行业,人们对数据的利用方式、数据价值的挖掘方式已经不仅仅满足于报表类的分析应用,而是要从数据结果中直接获得收益。数据分析部门可以按照推荐系统的点击效果利润分成;交易的数据可以包装成分析服务销售给商户,让他们自己去洞察市场商机;根据用户的点击流行为和上网内容,布放个性化广告等等。这些还仅仅是大数据商业价值的体现,大数据中更蕴含着社会价值,它可以帮助政府治理国家,帮助用户处理个人事务。可以说,大数据中蕴含着前所未有的巨大价值。
大数据中隐藏着无限的信息、知识和智慧。如果能充分利用数据中隐藏的智慧,人类文明程度和智慧程度将大幅提高。