大数据产业发展的核心目的是什么?其目的是服务于各个行业的产业升级和业态创新,而不是惟大数据而大数据,既不应陷入大数据发展盲区,更不要掉入少数学院派技术“权威”挖掘的“大数据”陷阱。
“大数据”一词越来越火辣,煽情全球。出于一种职业精神和科学良知,江濡山及其团队,近几年来深入调研剖析“大数据”产业到底是怎么回事。从美国的SaaS、亚马逊、谷歌、苹果、思科到中国的华为、腾讯、浪潮及航天某某研究所;从美国北卡三角地、旧金山的硅谷、波士顿的哈佛及MIT到中国的北京中关村、深圳前海、清华大学及北大……江濡山团队通过诸多神不知鬼不觉的走访、调查和分析,终于可以撕下“大数据”神秘的面纱。
江濡山“不吐不快”的调查分析结果,廓清了大数据概念,同时建议我国发展大数据产业要从两方面发力,即加速大数据应用的系统工程建设和基础数据工程建设。详情参见下文。
1.撕开“大数据”的神秘面纱:原来如此!
技术进步及社会演进,正在推动整个人类的生活生存方式、消费结构全面转型,并加速迈向数字化时代。可以预见,未来十多年,“大数据”思维及技术创新,将更猛烈、更深刻地颠覆传统产业形态。这意味着:几乎各个产业领域都将迎来基础数据工程建设及大数据应用系统建设两方面的爆发式发展的机遇。因此,说大数据产业是值得挖掘的金山银山,一点也不过分。但这并不等于“大数据”是万能的、大数据产业的发展可以随心所欲。
现在,中国经济运行虽然已经步入严寒季节,但“大数据”一词热得烫嘴,无论是政府官员、产业精英,还是IT领域、高等学府、高技术开发区,如果开口闭口不说“大数据”,似乎都不好意思“混在当下”;如果嘴里偶尔能蹦出一两个诸如Hadoop、Storm、Spark、IOE的时髦名词,就更显出一幅业内高手的神态。其实,我要说的是:“大数据”并不是什么新鲜玩意儿,自从工业革命开始以来,数据科学就越来越得到人们的重视,只是到了21世纪初,数据应用的积累,深深触动了产业重构和业态创新,“大数据”一词才应运而生。“大数据”并非数据越多越好、运算量越大越好,其综合含义应当是:针对并服务于某个特定目标的立体数据生态系统,而且这个系统中的前端功能模型、中断数据架构及后端算法及编程,是一个统一体系。确切地说,“大数据”概念的内涵及外延,主要体现在三个层面:
一是基于行业趋势及产业业态创新的需求端“功能模块”的构建,这是一个需要具有大数据思维逻辑的产业经济的命题。比如:如果要优化一个区域的旅游产业结构、投资结构、资源配置结构,可以通过完善产业供给链达到延伸游客消费链的目的,这就需要建立区域性的动态运行的“旅游产业大数据”信息系统,而此举首先要做的是:产业发展物理模块的策划、设计、搭建和论证。这项工作是实施这项大数据项目的“前提”。
二是基于产业发展功能模块基础的“数据模块”的搭建设计,这是一个紧密服务于应用端诉求的有效数据关系分析、确定算法的复杂过程,这也是数据建模及搭建特别功能属性的数据仓库的过程,需要用人力思维与计算机算法的有机结合。目前,这个领域的技术才刚刚开始向产业领域渗透,未来可拓展空间很大。
三是基于数据模块进行的数据挖掘、采集、清洗和应用编程。这个过程实际上是“技术工人”的工作,多数计算机及信息系统专业的人都可以完成,如果在熟练应用传统计算机信息系统应用软件的基础上,熟练掌握Hadoop、Spark、IOE等操作系统,就可以完成此项工作,但更多的工作量还得基于Excel来完成,因此,把Excel玩熟玩透是玩好大数据的基础,或许更有价值。
综合来看,大数据人才的价值主要体现在上述的前两个层面。
2.一流的大数据人才到底隐身何处?