云计算与SaaS化应用的兴起导致的软件革命,让行业竞争加剧,很多软件厂商无所适从。就如一季度曾曝出的用友软件的大幅度亏损一样,不管做ERP还是小应用,传统的软件公司的日子越来越难过了。这些软件公司把进军大数据当成解决软件行业性问题的良方,结果是从一个火坑跳入另一个火坑。
再次,大数据开源技术的低门槛,玩家进出无障碍。以最经典的Apache Hadoop社区为例,Hadoop的项目结构不断丰富发展,已经形成一个丰富的Hadoop生态系统,囊括HDFS、MapReduce、Yarn、Hive、Hbase、Sqoop、Zookeeper、Flume、Kafka、Spark等近30个模块。虽然能够对社区提供持续原创性贡献的企业不多,但并不妨碍众多公司,一两个熟手+若干个生手就可以承诺搭建并运营一个实时交易风控平台(以实时流计算为主要模式的平台)。问题的关键在于,同样面对新技术,新加入的玩家与传统的BI厂商基本处于同一起跑线上。
最后,建设容易运营难,大数据价值还未真正体现。数据价值已经体现,但大数据价值还未真正体现。很明显,之前大数据的虚火来自于建设的热潮。当建设的热潮退去,需要通过真实的应用价值来回报的时候,发现虽然有不少案例,但是总体的价值根本无法hold住之前的投入。因此反向的减少建设投入,导致市场空间相对于之前的高速扩张有较大的萎缩。
一切正如2000年的互联网寒冬一样,当前的大数据寒冬正是市场机制自动产生的“优胜劣汰”过程,这是历史规律。
对于任何一个企业或组织来说,最终结局都逃不过失败,但对于优秀的企业来说,可以失败得晚一点,生存得更久一些。就如华为任正非在《华为的冬天》里说到的一样,“十年来我天天思考的都是失败,对成功视而不见,也没有什么荣誉感、自豪感,而是危机感。也许是这样才存活了十年。我们大家要一起来想,怎样才能活下去,也许才能存活得久一些。失败这一天是一定会到来,大家要准备迎接,这是我从不动摇的看法,这是历史规律。”
三、产品聚焦是前提
在大数据的寒冬里,要比别人活得久一点,首先得明确自身的产品是什么,市场在什么地方,与竞争对手相比,产品是否有差异。
大数据的产品很多,大的方面可以分为6类。
第一,大数据基础平台。解决分布式数据存储、离线计算与资源管理问题,包含目前比较流行的Paas平台。
第二,实时计算引擎。通过Storm\Spark streaming等架构解决大批量实时计算问题。
第三,数据库。各类DB,Sql,Mysql,Hbase等。
第四,大数据资产管理。数据从采集到应用开放全过程的数据结构管理。比如元数据管理,过程管理,隐私安全管理,开放管理与审计等。
第五,通用大数据应用。适用与所有行业的工具与模型。比如可视化工具,统一分析门户,互联网内容分析,智能营销管理,数据挖掘工具/模型, SaaS化DMP等。
第六,垂直领域大数据应用。与特定行业的紧密结合的产品,如金融征信,位置运营,精准扶贫,智慧医疗等。
如果你的产品线包含从第一到第六,那么你离倒下已经不远了。如果你能够在某一个领域做得足够的精深,精深到让其它所有的玩家都很难生存,那么恭喜你,你就是在战场上确立了自己地位的人,一定活得更久。
从中国大数据技术大会连续几年的趋势预测,也可以帮助我们判断出市场的需求前景所在。
2013首提的数据资源化(价值化)在后续两年基本实现,在2016年越来越成熟。如果你拥有较好的数据资源,毫无疑问,活下去的概率会大增。
在2016年以前,大数据分析与可视化被持续提及。在实际中,市面上可视化工具数不胜数,其中国外有一款叫Tableau,已经部分实现了2016年所预测的“可视化推动平民化”。如果还想依靠类似可视化工具来提供原来的BI服务,基本上没有市场空间了。
大数据的安全与隐私问题是持续令人担心的热点,这里其实隐藏另一个问题,如何将复杂数据结果算准的问题。这意味着要详细了解数据资源的构成(元数据),世系关系(从哪儿来用在哪个应用上),这导致大数据治理或者大数据资产管理产品是一个适用于所有行业的刚性需求。
数据科学的兴起是自2013年来持续提及的预测。实质上目前的很多大数据应用并未涉及到模型,这也是导致门槛低、竞争激烈的重要原因。因为真正大数据的应用应该是“复杂数据的复杂分析”,该领域缺少对应的产品。