今后10年IT行业最重要的大熊猫——数据科学家

在NEC发表声明仅仅两天之后,NTT Data宣布收购拥有约70名商业分析专业人才,从事分析咨询业务的株式会社数理系统(MathematicalSystems, Inc.),引发了IT业界的强烈震动。NTTData通过这一收购,使得其“商业分析专业人才达到90人”,并且还宣布“在2012年中继续扩充10人,计划达到100人”。系统集成商的这些行动,无疑是瞄准了“为难以获得数据分析专业人才的用户企业提供支持”这一商机。另一方面,已经着手进行大数据运用的一部分先进的日本企业,为了获得具备高度技能的人才,已开始将触手伸向了海外。例如,在公司内部新成立“大数据部门”,一直以来就致力于大数据分析的乐天,已经开始在全世界范围内招贤纳士了。该公司执行董事,乐天技术研究所所长森正弥先生,对其理由是这样阐述的:“具备能够在Hadoop集群上实现机器学习算法这样高技能的人才,在国内难以获得,从结果来看,我们招聘的人才中有九成都是外国人。”

管理超过9000万件商品,拥有约7000万人会员的乐天,除了商品和会员的属性数据、会员购买记录、商品评价、排名信息等数据之外,还拥有像点击流数据、搜索日志等,总计达数百TB级别的数据。尤其是很多各地的中小企业都在乐天上开店,“像各地商品信息等非结构化数据非常之多”(森正弥)。因此,乐天从很早就开始自行开发Hadoop这样的分布式处理框架和NoSQL数据库等技术,连美国Web类企业也感到惊讶不已。也正是因此,相比现在才开始考虑培养数据分析专家的系统集成商来说,乐天理所当然地已经处于遥遥领先的地位。近年来,乐天开始积极推进在台湾、印度尼西亚、泰国、法国、美国等地的全球化业务。想想看,对于致力于全球化的企业来说,已经没有理由将招贤纳士的范围仅仅局限在日本国内了。对于以大数据为武器真正追求全球化的企业来说,要在短期内解决数据科学家缺乏的问题,也许有更多的企业会采取引进海外人才的举措。

最后的问题:组织结构和企业文化

有了高质量的数据和对其进行高效处理的IT基础架构,再加上优秀的数据科学家,最后就看组织结构和企业文化了。即便能够得到优秀的分析结果,如果没有能够形成准确决策和迅速行动的组织机构,则一切都是徒劳。当分析结果与经验直觉相违背的时候,如果企业的文化中无条件地看重经验直觉,那么数据分析就会变得毫无意义。在阐述数据分析有用性的名著《以分析力为武器的企业》(Competingon Analytics,ThomasH. Davenport、JeanneG. Harris著,村井章子译,日经BP社出版)的序言中,就介绍了本书第1章所提到的Harrah’s Entertainment的董事长、总裁兼首席执行官Gary Loveman先生所说的一席话。这里所说的分析管理绝对还谈不上与分析方法、数据的可获得性或者技术什么关系。(中略)……分析管理存在一些普遍的问题,例如:

盛行的传统思想往往与有权势的人联系在一起,这些思想往往无须通过重要的测试就能一直沿用下去。

决策,特别是高管层的决策,不仅仅是没能进行严格的、不带偏见的分析,而且那种不加分析的做法还大行其道,其根本原因在于这种做法被认为是高管层具备稀罕的天赋,人们认为这是这种天赋使企业领袖和有远见卓识的领导有别于虽然聪明但灵感不足的人。

企业中缺乏那些勤于而且精于数据分析工作的人。人们总是把数据分析工作看成是最后的解决办法,而且往往从事分析的人并不熟悉恰当的分析方法。

情况往往是由人决定思想,而非由思想掌控人。

怎么样?Loveman先生提出的这些问题,是不是击中了很多企业的要害?招募优秀的数据科学家固然重要,但与此同时,千万不能忘记对经理及高管层的培养,使他们能够凭借数据科学家所得到信息做出准确的决策和行动。

目标:成为数据驱动型企业

能够将数据分析的结果以及其中所得到的信息及时反映到业务中以树立竞争优势地位的企业,在欧美被称为“数据驱动型企业”(Data Driven Enterprise)。

为了成为数据驱动型企业,需要培养永远基于数据进行决策的企业文化。在需要做出判断的时候,形成总是要求提供数据佐证的氛围是非常重要的。作为数据驱动型企业代表的Google中,每当提出一个新的想法时,都必然会被问及“是否经过测试,是否有数据佐证”这样的问题。