我认为每个组织机构都有大数据,不仅是那些没有对其进行监控、没有保留数据的机构,还有那些没有评估通过改变运作模式为以大数据为驱动的成本和好处的企业和机构。
大数据和云
Hadoop商用硬件以及按需添加的集群方法对云计算模型具有巨大亲和力。在一般情况下,弹性是两者的特性之一。另一方面,上行带宽仍然是云中大数据的限制因素。与迁移大量数据并创建数据库相比,对新数据进行流失处理和维护云数据库(包含Hadoop分布式文件系统文件)要更容易一些。这又是终将改变并消除障碍的一个领域。
大数据挑战
数据质量是一个非常大的挑战。数据管理也是一个更广泛的问题。在这两种情况下,非结构数据的快速增长会加大数据集成的难度。同时,许多大数据技术尚未成熟也是潜在的缺陷。因此,许多公司仍处于大数据的研发阶段。大数据技术必须更加容易,项目管理技能更广泛,大数据方可真正成为主流。
CEO和CFO
我认为许多CEO以较高层次了解大数据,因此他们希望获得大数据。但是,他们的管理团队必须更加细致的理解大数据,并执行大数据建议。从这种风险上看,我不认为我们已经实现了大数据。大数据只有更见简单,管理人员充分熟悉,才能普遍。
在许多公司,商业智能购买决定权在于CFO团队。如果大数据成为BI的继任者,那么可认为CFO将保持这项权利。但是,大数据项目负责人可能来自IT和企业的各个部门。着手熟悉技术以及取的第一手资料可能成为项目成功的先决条件。金融业数据相对分散 –可能包含PB规模总分类账- 但是我还没有遇到。因此CFO们似乎不大可能作为大数据决策者。
五年预测
大数据可能是现在的炒作顶点(或许可能不是),但是这绝对不是一时头脑发热。根据我的经验,数据相关非常少。无论商业应用开发以及相应的交易数据库需求,或者空间分析、各种预测分析和其它收集到的关于大数据的观点,我们讨论的是有用的重要技术。
通常情况下,新数据技术以创新和突破性技术开始,然后成为主流和主要技术,并最终成为日常技术,而不是失败和消失。我认为毫无疑问在将来大数据将成为企业的主流。未来可能是五年时间,取决于在这阶段内,大数据是否能够渡过其分散的小型行业阶段。
在某项技术被企业广泛应用前,该技术必须已非常成熟,甚至有点枯燥。大数据将会达到被企业广泛应用的程度,但它得先克服一些障碍。