深秋,信息通信领域一群知名专家学者聚首怀柔,一个比北京的秋景更加热烈绚烂的话题摆在他们面前——大数据。
这是一个创新研究和成果层出不穷的行业,继云计算、物联网、智慧地球之后,“大数据”再度来袭。
ICT最新风向标
大数据被用来描述信息爆炸所产生的海量数据。Jim Gray的新摩尔定理认为,每18个月全球新增的信息量是计算机有史以来全部信息量的总和。截至2010年,人类拥有的信息总量大约是1.2ZB(1ZB等于1万亿GB)。IDC预计,到2020年,世界上的数据存储总量将达35ZB。
数据之所以增长如此之快,源于各类传感器、智能终端的剧增。而高清晰图像和视频,更使得数据呈指数级增长。如何收集、管理和分析数据日益成为信息通信技术创新的重中之重。
著名未来学家阿尔温·托夫勒在《第三次浪潮》中预言说:“如果说IBM的主机拉开了信息化革命的大幕,那么‘大数据’才是第3次浪潮的华彩乐章。”今年3月,美国政府宣布正式启动“大数据计划”,并将其与历史上对超级计算和互联网的投资相提并论。这标志着大数据已经上升至美国国家战略。
工业和信息化部电信经济专家委员会(ECTE)的委员们在日前举办的秋季沙龙上研讨普遍认为,从全球ICT发展整体趋势看,大数据时代已经来临。
大数据可以干什么
多大数据算大,业界没有统一定论,一般认为,起步应当是100PB,而且在动态扩展,没有上限。
北京拓尔思总经理、中国非结构化数据管理系统标准工作组副组长施水才教授认为,比“大”更重要的是用途,就是从数据中发现规律,预测未来。据介绍,拓尔思为厄瓜多尔明年总统大选研发了预测分析系统,聚合了千家西班牙语新闻网站,包括博客、论坛、社会化媒体的信息,实时提取舆论热点及倾向性预测大选结果,用户则使用网络账号获取服务。
大数据最典型的应用应属美国联邦政府的统一数据开放门户网站——Data.Gov,旨在向全美开放政府拥有的公共数据,鼓励新的创意,提供更透明、更丰富的公共服务。截至2011年12月,Data.Gov共开放原始数据3721项、地理数据386429项。更重要的是,该网站还汇集了1570个数据可视化应用。从空气质量与工厂数量的关系,到胖子数量与快餐店的多寡,给人无限的启示和便利。
Data.Gov应用不仅服务于大众,刺激经济,还调动了大量的创新。其中一项免费的航班延误分析应用,通过分析对比航班历史准点率数据,帮助消费者找到表现最佳,或者最符合需要的航班。伴随着Data.Gov的数据开放,美国航班延误率由2008年的27%下降到2010年的20.23%。
工信部信息化推进司副司长董宝青告诉《人民邮电》报记者,要积极看待大数据热潮。大数据的兴起,不完全源于信息技术变革到了一个多么了不起的高度,而源于一国政府、企业、国民的信息化应用和创新思维到了一个崭新的高度。大数据的本质是对信息资源、知识资源、智慧资源开发利用的高度重视与创新。而我国在2004年的中办、国办34号文件里已经深刻阐述过这一理念,现在需要更加积极地去推动。
大挑战蕴含大机遇
“科技界应高度关注大数据研究这一新的发展方向,推动以大数据为基础的新兴技术和学科发展。”中国工程院院士李国杰日前表示。今年9~10月间,中国计算机学会、中国通信学会等纷纷成立了相应的大数据专家委员会。
工信部电信经济专家委员会(ECTE)在秋季学术沙龙上提出,对海量数据的掌控和解释运用将成为未来竞争与增长的基础,“大数据”引领的智慧科技时代给信息通信业带来新的机遇和挑战。