大数据,为什么不是传统BI的简单升级?

不业务,无大数据。     

2、颠覆BI,打造大数据技术引擎     

这是当前大数据领域最火的地方,很多企业纷纷在建设自己的大数据台,不外乎解决以下问题,以下仅举例。     

比如用Hadoop、流处理等技术解决海量的结构化、非结构化数据的ETL问题,用Hadoop、MPP等技术计算海量数据的计算问题,用redis、HBASE等方式解决高效读的问题,用Impala等技术实现在线分析等问题。     

本质是基于廉价的机器,采用去中心化,分布式的方式去解决海量结构,非结构化数据的存储、处理和读写的问题。     

要理解这个,其实去读懂Google的三篇论文就可以了,分别是关于Google File System、Google Bigtable及Google MapReduce的。     

但并不是每个企业都需要打造自己的大数据平台,量力而行吧,可以自研 ,比如BAT,也可以采购,比如传统大企业,也可以租用,比如用阿里云和AWS。     

在技术上,传统BI的ETL、数据仓库、OLAP、可视化报表技术,都处于淘汰的边缘,因为它解决不了海量数据(包括结构化与非结构化)的处理问题,其所有的功能都可以被对应的大数据组件所替代,因此不再有发展前途,大多数企业即使没有大数据业务的驱动,但大数据技术的成本优势在那里,不做大数据也倒逼你用大数据技术,是不?     

当然传统BI那套,也将长期存在,毕竟大数据的普及和应用是个漫长的过程,传统企业对于大数据技术稳定性的担忧也是个障碍,但企业至少要末雨绸缪了,趋势不可挡啊,大数据技术会越来越成熟。     

我记得自己的企业1年前还在用DB2,仅一年的时间,GBASE就把它替换了。我们总是低估了技术革命对于我们自身的影响程度。     

3、重塑BI,升级人员的知识结构     

有了业务,也有了技术,再来看看人吧,很多企业在热火朝天的建设大数据平台,但建完之后,却发现仍然是个报表系统,或者仍然是原来的BI,领导一看,会感叹,不就是换了个马甲啊,大数据有啥用?     

很多企业,它可以有很多的预算购买很贵的机器和软件,但对于引入人才和培养人才却有点力不从心,买了1个亿的大数据硬件和软件,却希望原来的BI班底就能带来大数据应用的繁荣,那也是差强人意的事情,新品装旧酒,原来班底能搞定公司的报表系统就已经很好了。     

为什么传统BI人员搞不定?     

大数据需要有人专门研究和探索,传统BI人员时间精力有限,此为其一,不是否定BI人员的能力,只是表达不要奢望BI人员既做个合格的报表哥,又是个大数据创新达人,企业要能做些取舍。     

大数据的数据处理,涉及太多新的技术,传统BI只要懂点SQL就可以活的很好了,但现在看看,不同的应用场景需要不同的大数据处理方法了,而且不再有人机交互那么好的客户端了,至少要懂流处理、HADOOP、列式或分布式键值数据库吧,大数据对于BI人员的技能要求其实大幅提高了,此其二。     

大数据更强调全量了,原来的BI挖掘人员,搞一些样本在单机上运行个R就很欢乐,但现在不行了,针对5000万用户搞个三度交往圈试试?传统方式在BI时代大都尝试过了,只有更新方法,才能带来新的机会,比如,至少要求建模师会在SPARK上开发算法程序吧,对于用户画像、产品标签化、推荐系统、排序算法都应有所理解,此其三。     

人才是大数据的核心要素,没有人的投入,不能奢望有啥产出,需要多点人才的引入和培养,少点大数据的心灵鸡汤,大数据绝对不是大忽悠,如果有所怀疑,就问问你这个企业有多少人是在做大数据研究和实践的。     

因此,大数据相对于传统BI,不是简单的PLUS的关系,它涉及了思想、工具和人员深层次的变革,BI人员既不要一提大数据,就嗤之以鼻,认为它是新包装的马甲,其实就那么回事;也不需妄自菲薄,以为搞大数据就那么高大上,它的确是BI大多数思想的传承,传统BI对于数据的处理思想,都可以用于大数据。     

顺应大势,更新自己,奋起直追,重装上阵,是BI应有的态度。