亚马逊:海量数据就像原油 加以提炼才具价值

当今社会中产生的日益增长的数据如海啸般袭来,这种趋势正影响金融、零售、政府、娱乐、新闻等领域。而开发者正努力构建程序,以便从海量数据中提取有价值的信息。

加强数据中心业务成为发展的关键点,因为数据必须要有“家”,海量数据需要存储设备来容纳它。并且在许多情况下,还需要对数据进行分析。在软件层面上服务器需要分析数据的应用程序,在硬件层面上则需要高性能的超级计算机集群。数据的分析使数据变得有意义。

海量数据影响存储设备成本

 这一切意味着数据中心行业迎来巨大的机遇与商机,专门从事海量数据业务的公司迅速增长。Amazon前首席科学家表示“数据是原油,但石油需要加以提炼后才能使用,从事海量数据处理的公司就是炼油厂”。

分析家表示大数据到来还体现在各企业加大存储设备投资的趋势。虽然重复数据的删除可有效压缩数据和存储硬件的成本。但Forrester的James Kobielus表示企业存储预算每年增长20%至40%,并且随着需求的增加还在不断飙升。

当然好的消息是存储设备廉价化的趋势还在继续。Kobielus预测PB容量存储设备的价格将会在未来不久来到合理的价位。从安全的角度来讲数据移植带来了新的挑战。能将更多的数据分配到小型设备是数据中心重要的能力。

同时Michael chui表示其生成数据的能力要远大于保存数据的能力。McKinsey也表示随着海量数据时代的到来,企业间竞争的焦点将会被转移。

中间商的契机

海量数据同样为中间商来创造了商机。有些公司已经有很多年处理大数据集的经验。LexisNexis公司就是一个很好的例子。其提供的HPCC系统帮助商业、金融服务以及其他高端事业的客户分析大量数据。LexisNexis公司技术部门负责HPCC系统的Armando Escalante表示“我们专注海量数据的研究已经有15年的时间”。HPCC系统最近开源了其数据平台,并发布在GitHub上。Escalante表示我们这样做是为了使HPCC系统在社区继续保持其影响力,并完善我们的平台。

101data实际上在处理大数据领域也已经有10年以上的时间经验。在人们谈论与计算之前,101data已经提供多种针对于海量数据实际使用中的特定服务,包括数据仓库和商业智能高级分析。客户可使用熟悉的工具与服务进行交互。例如电子表格,客户可以容易的找到他们想要的。101data的高级副总裁Tim Negris表示海量数据的收集以及存放和利用海量数据实际上完全是两回事。在做任何事前需要大量(准备数据)的工作是像Oracle和大多数数据库厂商所面临的难题之一。我们正是要消除这个难题,并把数据直接交到分析师的手中。

现今中间商已将海量数据与云计算技术有机的结合在一起。专家预测,未来在此领域的投资将会继续增加。