在2009年甲型H1N1流感爆发的前几周,谷歌公司的工程师们在《自然》杂志上发表了一篇令公共卫生官员和计算机科学家感到震惊的文章,声称谷歌能够预测冬季流感的传播——不仅能预测到全美范围的传播,甚至可以将流感传染目标锁定到地区和州。
原来,谷歌是通过观察人们在网上的搜索记录来完成这个预测的。在流感爆发后,谷歌发现与流感这个关键词相关的搜索量也出现了爆发性的增长。每天,谷歌都会收到来自全球超过30亿条的搜索指令。在如此庞大的数据资源支撑和帮助下,谷歌通过对搜索相关性的分析做出了准确的预测。
这是去年美国畅销书《大数据时代》中描述的一个故事,并借此形象地推出了“大数据”(Big Data)这一概念,使之成为2012年互联网界极受关注的高频热词。
全球信息咨询机构国际数据公司(IDC)对大数据的技术定义是:通过高速捕捉、发现或分析,从大容量数据中获取价值的一种新的技术架构。大数据具有4V特点:Volume(体量)、Velocity(速度)、Variety(多样性)、Value(价值)。
知名互联网评论人士谢文近日接受财新记者专访,对大数据及其带来的革命性应用进行了深入的阐述。他认为,大数据将开启一次重大的时代转型,不仅将引领IT领域的技术变革,还将深刻影响世界的方方面面。
“一言概之,大数据时代,是人类信息社会在经历计算机时代、互联网时代之后的收官阶段,一个数据化的地球在高速形成。”谢文表示。
大数据正在从宏观社会到中微观市场贯穿其影响。美国政府已在2012年发布“大数据研发计划”,以此来提升美国在科学发现、环境与生物医药研究、教育和国家安全等方面的能力,解决美国面临的最具挑战性的问题。美国总统奥巴马在2013年国情咨文中,更是将3D打印技术视为重振美国制造业,甚至引领下一轮制造业革命的新动力,而3D打印技术也可理解为大数据时代下的数据化制造。
在谢文看来,在计算机和互联网时代勉力跟随的中国,大数据时代应不甘落后。但素来缺乏社会信息共享机制的中国,一切还得从打破信息壁垒与体制封闭开始。
财新记者:按照你的分类,人类现代信息社会分为计算机、互联网、大数据三大阶段。我们正在进入的大数据时代,具体来看,即将给我们生活的世界带来怎样的变化?
谢文:现在整个世界正处于一个大转型前的拐点。之前的20年,全球享受了冷战后的全球化红利,交易壁垒、贸易壁垒、货币壁垒被逐一打破,全球贸易的快速增长推动了世界经济的发展。但是2008年的金融危机深刻影响了世界,全球贸易的推动力也基本消耗殆尽。世界需要寻找新的出路,大数据将是新的推动力。
大数据时代,是人类信息社会的收官阶段。之前的计算机时代和互联网时代,都是为大数据时代做铺垫和准备的。计算机时代的核心是计算能力,极大提高了人们对数据的处理能力;互联网时代解决了信息移动和连接的问题;而大数据时代,可将世界万事万物通通数据化,让人们在数据利用中优化现实操作和行为,令全球系统的运行更为高效。
从物质世界到数据世界,这是一个广阔的天地。如果人们能够突破数据采集、存储和分析处理的成本障碍,就可以轻松获取与利用大数据,从根本上推动制造业、互联网业、金融业等经济领域的变革,甚至改变社会管理的方式。
财新记者:与计算机时代、互联网时代相比,大数据时代的核心是什么?
谢文:大数据时代的核心词是开放与融合,以及“一切皆可数据化”的思维。万事万物皆可数据化。
如果把世界看作可理解的数据海洋,那么大数据就是一种可以渗透到所有领域的世界观。
现在很多公司讲得更多的是“数据大”,而不是大数据。大数据应该是完整综合的、开放公共的、动态及时的。这样的大数据才能为人们提供全新的视角。牛津大学教授舍恩伯格在《大数据时代》一书中介绍了大数据时代的思维变革,强调全体数据而非随机样本,不是精确性而是混杂性,以及不是因果关系而是相关关系。
现在一些企业如Facebook已经在其平台上进行了数据共享。一些国家也在尝试数据公开。美国政府通过大数据网站“Data.gov”,公开了数以十万计的开放数据库,建立了有几十个国家参与的开放政府联盟,将社会公共数据对任何第三方开放。这将成为一种潮流,大数据是大趋势,无论个人、企业还是政府都会被卷入。