大数据的泰坦尼克号 Hadoop即将沉没了吗?

  最糟糕的消息并非Hadoop这艘泰坦尼克号注定要沉没,而是海面上压根没有其它泰坦尼克级别的船只可以用来救援。

  

大数据的泰坦尼克号,Hadoop即将沉没了吗?

 

  对很多大数据领域的投资者和用户,尤其是在Hadoop技术上浸透心血和汗水的专家来说,这可能是个很糟糕的消息:Hadoop可能真的不行了!

  近日,云数据仓库服务提供商Snowflake Computing的首席执行官Bob Muglia在接受采访时指出:“没有一家企业客户对Hadoop满意,很显然,Hadoop已经是一项没有前景的技术。”

  虽然不止Muglia,业界很早就对Hadoop的前景表示悲观,包括IT经理网早在2012年就曾发布文章指出 Hadoop的核心技术已经过时,因为Hadoop并不擅长处理“快数据”。 但是,在媒体、业界的合力炒作下,已经有数以千计的企业使用Hadoop来存储海量数据,这些上了贼船的企业和项目如此之多,因此Hadoop不太可能一夜之间就销声匿迹,正如今天很多企业还在使用半个世纪之前的主机应用一样。而且受益于S3(云存储)和Spark(大数据处理)等技术的续命,Hadoop依然会作为垂直和遗留技术存在很长一段时间。

  据Muglia介绍,在众多Hadoop用户中,真正能够驯服Hadoop的企业不到20家,甚至可能不到10家。要知道,如果考虑到Hadoop已经进入市场很长时间,而且整个行业都投入巨大资源,Hadoop部署的成功率可谓低得惊人。易用性太差是导致Hadoop成功率低下的主要原因之一,正如“ 为什么如此难用Hadoop的12个技术痛点 ”这篇文章中所提到的,不少专家指出,如果不解决易用性问题,Hadoop将被自己终结。

  Facebook是少数能够成功驾驭Hadoop这头“野象”的企业之一,Face博欧克甚至开发了Hive和Presto这样的关系型数据库技术来实现对HDFS系统中数据的SQL查询访问。但是正如此前曾负责运营Facebok Hadoop集群,后来创办行为分析技术公司Interana的大数据老兵Bobby Johson所指出的:

  Hadoop垂而不死是一个历史性的错误,人们围绕Hadoop开展大量项目和工作,但Hadoop真的是朽木难雕。Hadoop的卖点是可以作为廉价的ETL数据存储方案( Hadoop目前只是“穷人的ETL” ),但是对于运行面向用户的交互应用来说真的很不对路。

  即使是在Facebook这样顶尖的互联网技术公司里,从Hadoop环境中获取分析结果也是一件非常痛苦的事情,据Johnson介绍:挖掘一个结果非常困难,除非你真的非常懂整个系统的运作原理。对于懂得为MapReduce或Pig编程的数据科学家来说,Hadoop非常棒,但是如果你往上看,在抽象层Hadoop的交付能力非常糟糕,对于那些业务分析师来说简直就是噩梦。

  “Hive层还算OK,但是对于那些打算将Hadoop作为数据仓库使用的人来说,Hadoop慢得吓人,比传统数据仓库要慢上十倍!”Johnson说道:”Kudo、Impala和Presto都比Hive好得多,但距离人们的期望依然有很大一段距离。“

  更加让人沮丧的是,Hadoop社区目前对Hadoop的复杂性和性能低下并没有多大作为,Hadoop生态系统依然掌握在一小撮专家手中,对于能写代码的技术专家来说,Hadoop的功能非常强大,但是对于大多数的用户来说,Hadoop就是一个大坑,每次你听说这个世界上还空缺数以万计的数据科学家的消息,那差不多是对Hadoop的一种控诉。

  Hadoop是首个在业界被广泛采纳的开源分布式计算平台,不计其数的软件厂商、用户、专家跳上了Hadoop这艘“泰坦尼克号”,但最糟糕的消息并非泰坦尼克号注定要沉没,而是海面上压根没有第二艘泰坦尼克级别的船只可以用来救援。前雅虎Hadoop系统开发者Phu Hoang认为:在能够替代Hadoop的计算平台出现之前,我们能做的只能是尽量屏蔽复杂性,让Hadoop变得更加易用。企业不关心架构,企业只关心数据处理速度和分析结果,Hadoop这样的底层难题滚的越远越好。

 

  Hadoop这艘泰坦尼克号上的成员也不是完全没有希望,类似Kafka这样的更优秀的大数据处理技术正在快速成长。Kafka的开发者Jay Kreps在创办Confluent之前,曾经负责LinkedIn的大型Hadoop集群,他认为Hadoop堆栈的搭建极为复杂,这是一个纯粹的技术性问题。如今虽然大量Hadoop发行版本中都包含了Kafka,但是Kreps建议人们在搭建Kafka是尽量避免对Hadoop的任何依赖,“Kafka是一个完全独立的系统,跟Hadoop没有任何联系。明白这一点对于那些开发生产应用的人来说非常有益。