大数据作为一个网络热词,近来被频频提及。事实上,全球行业巨头已经意识到“大数据时代”的到来,纷纷通过收购大数据相关厂商进行技术整合。专家表示,在“大数据时代”,中国有机会引领云计算产业的发展。
在近日举行的2012第五届中国数据中心大会上,中国电子信息产业发展研究院副总工程师乌宝贵表示,数据中心作为企业IT建设的主要支撑平台,如何在有效合理地控制总体拥有成本的前提下,从大数据中获取有价值的信息;如何高效利用云计算资源,更好地为企业业务的发展服务,以及如何简化数据的管理,是企业当前必须面对的挑战。
大数据作为一个网络热词,近来被频频提及。事实上,全球行业巨头已经意识到“大数据时代”的到来,纷纷通过收购大数据相关厂商进行技术整合。中国科学院院士、北京航空航天大学校长怀进鹏认为,在“大数据时代”,中国有机会引领云计算产业的发展。
“大数据时代”来临
世纪互联技术战略与政府事务部首席专家李志霄在谈到大数据时表示,“用数据爆炸来形容今天的IT发展一点也不为过,数据增长永无止境”。然而,对于什么是大数据,目前业界并没有统一的定义。
在近日举行的Oracle大数据与极致分析媒体交流会上,甲骨文公司副总裁兼大中华区技术总经理喻思成提出了一个看法。他认为,大数据具有四大特性,即巨大的数据量,集中储存/集中计算已经无法处理巨大的数据量;多结构化数据,包括文本、图片、视频和文档等;增长速度很快,用户基数庞大、设备数量众多、实时海量、数据指数级别增长;价值密度低,单条数据并无太多价值,但庞大的数据量蕴含着巨大的财富。
有专家表示,大数据的推动因素主要来自一些特大型公司,如谷歌、Youtube等,这些公司需要以非常优化的方式分析数据和让计算与存储配合工作。另外还有一些来自健康医疗、地理空间影像和数字媒体等行业的各种大数据,这些数据不一定有多大,但是处理这些数据集通常要分配到几个系统、耗费超过24个小时的时间才能完成。
事实上,目前,EMC、惠普、IBM、微软等巨头已经意识到“大数据时代”的到来,纷纷通过收购大数据相关厂商进行技术整合。
业内专家分析认为,“大数据时代”产业发展有三大趋势。一是应用软件将会泛互联网化;二是行业将会垂直整合,越靠近终端用户的企业在产业链上拥有更大的发言权;三是数据将成为资产。这三大趋势都是围绕数据展开的,泛互联网化是收集数据的重要渠道,没有泛互联网化的应用软件,企业就难以获得用户的行为数据;行业垂直整合数据运用层面,通过搜集大量的用户数据,更贴近用户,更理解用户,为其提供更适用的服务;数据成为资产更强调数据的战略意义。
挑战和机遇并存
在“大数据时代”,挑战和机遇并存。曾任雅虎中国总经理的谢文对记者表示,挑战主要集中在3个方面:IT厂商的战略决策能力、技术开发和数据处理能力以及组织和运营能力。
有专家表示,大数据并不意味着要颠覆或者替代原有的投资,通过平台集成的策略,实现对原有数据平台的扩展是大数据解决方案的一个重要发展方向。在数据存储和性能优化方面,IT厂商能为企业提供多样化的技术路径,企业必须理解的是哪些技术能够切实有效地帮助自己降低成本、提高运行效率。
台湾云端运算联盟技术专家委员会大数据专家委员陈育杰表示,企业在过去十几年间所看到的数据本身是残缺的。在“大数据时代”,企业看数据的整个角度和思维脉络都要发生根本的变化,如何更好地实现数据的可视化是一个挑战。大数据带来的第二个挑战是,传统的数据库和数据仓库在应对大数据这个议题时会面临性价比的问题。大量非结构化数据带来的是数据量爆发式的增长,对存储容量、传输速率、计算速度等要求更高,因此企业必须考虑更具性价比的计算和存储方式。
机遇和挑战是一个镜子的两面。谢文表示,“大数据时代”的来临也会为IT厂商带来潜在的机会。数据量的增加为IT厂商提供了精确把握用户群体和个体网络行为模式的基础,如果能够充分利用,就可以探索个人化、个性化、精确化和智能化地进行广告推送和服务推广服务,创立比现有广告和产品推广形式性价比高数倍甚至数十倍的全新商业模式。同时,IT厂商也可以通过对大数据的把握,寻找更多更好地增加用户黏性、开发新产品和新服务、降低运营成本的方法和途径。
ESG中国区总经理兼高级分析师王丛认为,大数据这一领域将会有一些新技术推出,在未来1-2年内,预计会不断涌现能处理大型非结构化数据的技术,而这些新技术反过来也将推动IT厂商的发展。
云计算浪里淘沙
根据国际数据公司(IDC)2011年发布的报告,全球信息总量每过两年就会增长1倍。仅2011年,全球被创建和被复制的数据总量为1.8ZB,相较2010年同期上涨超过1ZB,预计到2020年这一数值将增长到35ZB。
好耶集团董事长兼首席执行官陈恂表示,要从海量数据中获取洞察,常规技术已经难以应对P(1P=1024T)级的大规模数据运算,云计算技术是惟一的选择。
那么,云计算与大数据有什么样的关系?谢文认为,云计算是大数据时代的重要组成部分。而有的评论则认为,本质上,云计算与大数据的关系是静与动的关系。云计算强调的是计算,是动的概念,而数据则是计算的对象,是静的概念。如果数据是财富,那么大数据就是宝藏,云计算就是挖掘和利用宝藏的利器。没有强大的计算能力,数据宝藏终究是镜中花;没有大数据的积淀,云计算也只能是杀鸡用的宰牛刀。
有分析认为,大规模数据的管理存在很高的复杂性,正因为如此,大数据分析通常在本地服务器集群中进行,而云计算的优势在于尽可能有效地优化现有资源,如果部署得当,大数据和云计算的结合绝对是强强联手。
“中国的互联网企业已经站在世界云计算的浪尖上。”怀进鹏进一步表示,在大数据的浪潮下,中国有机会引领云计算产业的发展。