解疑:Hadoop+数据仓库到底是梦幻组合还是命中的宿敌?

那么Hadoop和数据仓库是最终的BI梦想团队吗 

哇哦,请等一下。使用Hadoop与数据仓库处理了数据存储问题。但是存储数据只是商业智能的一个要素。

广义上说,一个功能性的、可用的BI系统应该由五个部分组成:

在某个地方几种存储数据。

划分这些数据的工具,如:地理,操作或者其他业务需要的工具。

为数据分析准备工具。

帮助您快速处理此数据的ETL数据引擎。

显示所有这些数据的前端(通常是某种仪表盘)。

即使Hadoop和数据仓库在最好的情况协同工作,他们也只处理这些组件中的第一个。现在,BI技术的创新,同时提供了所有的五个组件,很快将梦想团队降级为二类组合。

谁,谁会为了抢风头而出风头 

正如我们看到的,数据仓库和Hadoop是一个成功的双重行为。但是,要执行来自多个源的快速、高性能的数据分析,您并不需要它们中的任何一个。

现在,我们正在见证一颗新星的崛起。

整体的“单栈”解决方案消除了关系数据库的需要,直接链接源数据,无论来自何处,并在现场执行英语教学功能。最好的工作是创建一个元数据(抽象)层,用于在任意数量的表中查询数据,这种格式是以任意格式的任意来源绘制的。

正确的方法是通过构建像柱状数据库和内存处理这样的智能的、节省硬盘的方法来解决通常伴随巨大数据集而来的问题。首先通过只加载正在用的数据简化处理过程,而后确保将这些数据加载到计算机的主内存中,而不是占用RAM。这意味着你可以获得完全的、不受限制的访问所有数据的权限,而不需要像好莱坞山那样大小的计算机来处理它。

一个唱歌、跳舞的超级巨星

更胜一筹的是,使用一个完整的BI系统消除了对非技术用户可理解数据的额外软件层的需求。

正如我们看到的,数据仓库和Hadoop的不足之处在于它们是严格的“后端”解决方案——它们只处理外层数据。

为了使您的前端用户能够访问数据,您仍然需要引入和集成各种各样的应用程序,这些应用程序允许业务团队提取并可视化他们需要的见解。

虽然Hadoop是开源的,但它不是“免费的”。让它做你想做的事情,并将它与你的数据仓库集成,你的工具来处理和准备数据分析,以及前端的仪表板界面,要么需要大量的资源投入,要么需要引入第三方来管理它。另外,当然,你仍然需要投资它需要运行的硬件。

有了一个像样的单栈替代,您可以查询源数据,使用ETL数据引擎快速处理它,并在一步生成新的报和表指示板。现在这种创新挑战了数据仓库、Hadoop或没有Hadoop的未来。

所以,是的,也许是时候让这个(国际)国家宝藏退后一步,让下一代数据技术接手。但并不是因为Hadoop窃取了她的皇冠,而是因为单栈技术正在为BI提供冗余存储数据解决方案。