随着企业努力在数字时代完全采用数据驱动，生态系统正在发生重大转变。由于企业应用程序生成数据成为一种趋势和潮流，收集数据的洞察力变得越来越复杂。
此外，数十亿用户和数万亿连接的物联网设备在企业外部产生指数级更多的数据。企业部署云计算，移动和分析技术，希望将这些数据转化为洞察力。然而根据调配机构Gartner预测，2017年将有60％的大数据项目失败。他们不会超越试验阶段，最终将会放弃。
企业在将数据资产链接到战略价值之间发生了什么脱节？根据专家的经验，主要是有工作人员缺乏技能或专业知识，以及技术战略与整体公司需求之间的不匹配这两个主要障碍。
专业知识的差距
当大数据处于起步阶段时，当时可用的技术并不成熟。谷歌，雅虎和Facebook等拥有非常深厚技术底蕴的企业不得不从根本上建立基础设施来处理这些问题。由于这些公司取得了成功，许多企业试图用他们自己的基于Hadoop的大数据项目来效仿他们。
从那里，IT和数据专业人员对Hadoop作为一个技术工具包可能做什么，以及对产生结果需要多少精力和资源有着不当的期望。Gartner公司的一项调查发现，49％的受访者引用“确定如何从Hadoop获取价值”作为是否采纳的关键抑制因素。大多数企业缺乏部署这种技术的技能。而具有讽刺意味的是，他们不需要这样的规模。
大数据已经变得过于依赖于技术。许多大数据项目失败，是因为它们需要大量的前期资源，并且部署刚性架构，一旦项目进行之后，却没有提高灵活性。
一个成功的大数据项目是从对想要解决的业务问题和想要获得的价值的深刻理解开始的。如果没有，无论企业达到什么目标，项目将无法达到预期或提供足够的投资回报率，可能会失败或取消。
下一个关键要素是建立一个团队，将IT，数据科学和业务线的视角结合在一起。业务专家可以通过数据计划确定需要解决的主要业务挑战。IT专家可以提供访问数据的技能，并精确定位执行项目所需的适当基础设施。最后，数据专家可以提供分析和提取洞察所需的数学和定量技能。这对于围绕这些技能建立团队的项目的成功至关重要。
第三个元素是短时间值（TtV）。一个团队成立越快，并产生具体和可衡量的价值，就越容易让组织和高级管理层在这个空间继续投资，以避免失败或取消。
大多数基于Hadoop的项目都在这三个方面失败。项目太过专注技术工作。此外，难以找到足够技能的人才，并且需要太多的时间和精力来建立基础设施。最后，初始投资太高，实施时间太长，使得很难快速实验和迭代成功。
采用更好的方法
随着企业通过大数据项目工作，我专家看到的一个趋势是采用基于云计算的数据仓库和数据湖解决方案作为Hadoop项目的替代品。企业已经开始进行这样的努力，这将更容易和更快从云计算中获得价值，而不是在基础设施建设上投资。正确的云计算解决方案避免了重大的前期资本支出，提供轻松和成本有效的扩展，并以高度管理的解决方案的形式将技术负担转移给技术供应商。
专家建议，如果企业没有内部的经验和技能，可以建设在云中，并避开广泛和成本高昂的基础设施。
2017年将是人们开始远离Hadoop的一年。人们将看到从大数据的魅力和理想化的概念转变为更实用和有效的用例。人们期望半结构化数据和机器学习将继续推动大数据的需求，并且在这些领域拥有专业知识将至关重要。对于企业来说，最终要成功，他们需要明确的商业挑战来解决，他们必须经历失败早期，从小到大的过程。他们应该在过度投资不必要的架构之前探索采用云计算。