“大数据” 到底有多大?

在计算机系统中,各种字母、数字符号的组合、语音、图形、图像等统称为数据,数据经过加工后就成为信息。时下人类信息以每年50%的速度增长,大约每两年就翻一番;数据海洋呈爆发式增长。   

什么是大数据?有研究报告将大数据定义为,由数量巨大、结构复杂、类型众多数据构成的数据集合,是基于云计算的数据处理与应用模式,通过数据的整合共享、交叉复用形成的智力资源和知识服务能力。大数据技术的战略意义在于对这些有意义的数据进行专业化处理,从海量数据中发掘出真正的价值。

最早提出大数据时代到来的是全球知名咨询公司麦肯锡,麦肯锡称:“数据,已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素。人们对于海量数据的挖掘和运用,预示着新一波生产率增长和消费者盈余浪潮的到来。”

大数据到底有多大?一组名为“互联网上一天”的数据告诉我们,一天之中,互联网产生的全部内容可以刻满1.68亿张DVD;发出的邮件有2940亿封之多,相当于美国两年的纸质信件数量;发出的社区帖子达200万个,相当于《时代》杂志770年的文字量;卖出的手机为37.8万台,高于全球每天出生的婴儿数量37.1万……截止到2012年,数据量已经从TB(1024GB=1TB)级别跃升到PB(1024TB=1PB)、EB(1024PB=1EB)乃至ZB(1024EB=1ZB)级别。随着计算机硬件成本、计算机内存成本的降低和超级集群计算机的产生,使得处理大规模的复杂数据成为可能,这样就产生以结构化(股票交易数据)、半结构化(网络日志)和非结构化(文本数据、音频数据、视频数据)为主的大数据。其中非结构化数据占互联网数据总量的80%。

目前,一些专业人士将大数据概括为四大特征,即“四V”: 数量大(Volume),数据量级已从TB(1012字节)发展至PB乃至ZB,可称海量、巨量乃至超量;多样性(Variable),数据类型繁多,多为网页、图片、视频、图像与位置信息等半结构化和非结构化数据信息;速度快(Velocity),数据流往往为高速实时数据流,而且往往需要快速、持续的实时处理,处理工具亦在快速演进,软件工程及人工智能等均可能介入;价值高(Value),以视频安全监控为例,连续不断的监控流中,有重大价值者可能仅为一两秒的数据流,360度全方位视频监控的“死角”处,可能会挖掘出最有价值的图像信息。