根据IDC周一发布的最新报告,用于大数据分析的Hadoop和MapReduce编程框架相关的软件市场将会从2011年的7700万美元暴涨至2016年的8.128亿美元,年复合增长率为60.2%。
Hadoop是MapReduce框架的开源实现,由Apache软件基金会托管,并拥有众多支持软件项目,其中包括Hadoop分布式文件系统(HDFS)和Pig编程语言。
MapReduce和Hadoop依据分解大量数据,然后并行分块处理的原则,可跨大量节点处理数据。它们与行业流行语“大数据”密切相关,该术语主要指由网站、社交媒体、传感器和其他来源所产生的数量越来越庞大的信息,尤指非结构化信息。
总体说来,近些年来,Hadoop已获得来自商业分析和数据库厂商的稳固支持,这些厂商已开始提供Hadoop产品和服务。
虽然关于Hadoop和MapReduce的使用案例和优势,“已经产生了太多梦幻般和大量令人难以忍受的夸张,但毫无疑问的是,它的确提供了相对低成本的方法,可从非常庞大的散乱数据中挖掘出可观的商业价值来,”IDC分析师CarlOlofson和DanVesset在报告中写道。
IDC报告认为,Hadoop-MapReduce“生态系统”的爆发式增长自是题中应有之义。
今年,“主流IT世界的领导采纳者将会从‘概念验证’转向实际价值,”报告写道。
然而报告也指出,有资格人才的匮乏将会限制该技术在未来2到3年间的发展。
明年我们还会看到“在开源纯正派之间将发生一场争论,纯正派认为Hadoop的内核必须纯粹基于Apache项目代码而开发,”IDC称。然而,大多数IT组织将会在其Hadoop环境中使用商用与开源组件相混合的方式。
“开源厂商及其克隆源代码副本之间也会产生竞争,可能会迫使后者的许可费降低,结果可能会减少该市场上的软件收入。”