第一章:大数据概念
大数据究竟是什么?很多人可能仍然有些混淆,本文让我们来看看大数据的一些主要的定义。首先要注意的是,行业内的所有人都普遍认同,大数据不只是更多的数据。
(1) 最初的大数据
大数据的特征可以用很多词来描述。2001年Doug Laney最先提出“3V”模型, 包括数量 (Volume)、速度(Velocity)和种类(Variety)。在那以后,业界很多人把3V扩展到了11V,还包括有效性、真实性、价值和可见性等。
(2) 大数据:技术
为什么12年前的老术语突然被放在聚光灯下?这不仅是因为我们现在拥有比十年前更多的数量、速度和种类。而是因为大数据受到新技术的推动,特别是快速发展的开源技术,例如Hadoop和其他存储和处理数据的NoSQL方式。
这些新技术的用户需要一个术语来将它们区别于以前的技术,于是大数据成了他们的最佳选择。如果你去参加大数据会议,你肯定会发现,涉及关系型数据库的会议会很少,无论他们鼓吹多少个V。
(3)大数据与数据的区别
大数据技术的问题是,大数据有些含糊不清,以至于行业中的每个供应商都可以跳进来声称自己的技术是大数据技术。以下是两种很好的方法来帮助企业理解现在的大数据与过去单纯的大数据的区别。
- 交易、交互和观察:这是由Hortonworks公司负责企业战略的副总裁Shaun Connolly提出的。交易是我们过去收集、存储和分析的主要数据。交互是人们点击网页等操作得到的数据。观察是自动收集的数据。
- 过程介导数据、人类产生的信息以及机器生成的数据。
(4)大数据:信号
SAP公司的Steve Lucas认为,应该根据意图和时机来划分这个世界,而不是根据数据的类型。“旧世界”主要是关于交易,当这些交易被记录时,我们已经无法对它们采取任何行动:企业都在不断管理“失效的数据”。而在“新世界”,企业可以使用新的“信号”数据来预测将会发生什么,并进行干预来改善情况。
相关的案例有,追踪社交媒体上人们对品牌的态度,以及预测性维护(用复杂的算法帮助你决定何时需要更换零部件)。
(5) 大数据:机会
这是来自451 Research的Matt Aslett,他将大数据定位为“之前因为技术限制而被忽略的数据”。(虽然在技术上,Matt使用了“暗数据”,而不是大数据,但已经非常接近)。这是笔者最喜欢的定义,因为它符合大部分文章和讨论中的说法。
(6) 大数据:隐喻
Rick Smolan在其书中写道,大数据是“帮助这个星球生成神经系统的过程,其中我们人类只是另一种类型的传感器”。很深奥吧?
(7) 大数据:新瓶装旧酒
很多项目基本上是使用以前的技术,这些过去被称为BI或者分析的技术突然跳入大数据的行列中。
底线:尽管大家对大数据的定义有很多争议,但所有人都同意这个事实:大数据是一个大事件,在未来几年将带来巨大的机遇。
第二章:如何玩转大数据
随着科技的不断进步,日常工作、生活中的数据量也是节节攀升,我们迎来了大数据时代。
以大数据为代表的数据密集型科学将成为新一次技术变革的基石。随着数据的进一步集中和数据量的增大,对海量数据进行安全防护变得更加困难,数据的分布式处理也加大了数据泄露的风险。
物联网、云计算、移动互联网等新技术的发展,使得手机、平板电脑、PC及遍布地球各个角落的传感器,成为数据来源和承载方式,BYOD也随之诞生。
(1)何为大数据
据有关分析公司预测,到2013年,互联网承载的数据量将会达到每年667EB,这是什么概念?1EB=230GB,数据量之大显而易见,这些数据绝大多数是“非结构化数据”,通常不能为传统的数据库所用,但是大数据的技术革新将会给我们的生活带来巨大变化。
(2)四大特点组成大数据
更多详细信息,请您微信关注“计算网”公众号: