大数据的泡沫、价值和陷阱,你分得清吗?

1

大数据源起:

对未来不确定性的恐惧

我们所生活的世界,就像一片混沌(chaos),大数据时代,我们周围更是充斥着各种不同的理论、知识、信息和噪音,数据爆炸式增长和科技高速发展所带来的冲击,加大了未来的不确定性。当我们接收的数据和信息越多,面临的选择就越多,如若不善于过滤、挖掘和处理,对各种决策就可能会造成负面影响,当然也会放大我们对未来不确定性的恐惧。小到个人命运大到国家前途,都是在这样一片混沌中煎熬着。

如何从混沌中发现规律,成为预测未来的“先知”,抑或是少出几只黑天鹅?是历代人类的梦想,不管是古人的占卜、算命还是现在的专家系统、商业智能、数据挖掘、机器学习、人工智能、智慧地球、智慧城市等应用,都源于我们对未来不确定性的恐惧。当然还有应对当前管理走向的失控,软件在加速吞噬世界,而大部分人类对其原理和特性却知之甚少,就像华尔街的金融交易一样,系统越复杂出现黑天鹅的概率就会增大;社交网络的实时性打破了时空限制,信息的流动速度和广度让也管理者越发难以掌控。随着舍恩伯格教授《大数据时代》一书的面世,给我们带来了“醍醐灌顶”式的认知洗礼,难道抓住大数据这根救命稻草,我们就有机会做“先知”?从而也更有能力把自己和周遭世界管理得更好吗?在一定程度上是这样的,但我们也要知道,任何技术都是把双刃剑。

舍恩伯格其实没有机器学习背景,书上所说的某些内容也是有争议的,不过在教育民众和政府官员科普方面,还是具有重要意义,至少让大家知道了什么是大数据,也能在一定程度上促使我们思考大数据的价值和潜力,从而提升大数据应用水平以应对管理失控和黑天鹅等问题。

大数据泡沫:

泡沫是必然但有其深远意义

数据科学其实已经兴起多年,从早年的专家系统、数据挖掘到前些年的商业智能,不少大型企业和机构在管理大数据方面积累了丰富的经验,笔者10年前就曾参与过运营商的数据挖掘系统建设,那都是实实在在的大数据,只不过当时技术手段有限罢了,所以很少人能挖出什么高价值的东西,更谈不上智能化决策了。但这些年的技术积累和数据积累,却是极大地促进了大数据领域的发展,不然也没有那么多人认同舍恩伯格教授书中的观点。

甲骨文公司CEO埃里森曾说过,高科技是唯一能媲美好莱坞的产业,说明高科技领域的技术明星也是变换极快的。技术和产品一样,有其发展周期规律,大数据也只是一种技术手段,最终目的还是要解决现实问题,不管是科研、商业还是政府管理问题。关注大数据的人多了,自然就有泡沫,个人认为泡沫主要体现在如下几个方面:

(1)这几年社会上关于大数据的宣传,媒体人的引进和炒作,有部分内容是在误导大家,主要原因还是很多人在盲人摸象,少有系统的研究和理解。

(2)只知其然不知其所以然,导致对大数据应用的期望太高,大数据技术不是万金油,在新的技术泛型和技术生态下,现阶段技术的稳定性、成熟性和有效性还待进一步发展。

(3)关注重点有问题,导致目前的很多大数据应用并未涉及到核心业务和计算模型,多是数据的采集和存储管理,这也是造成行业整体门槛还不够高,同质化竞争激烈,没有发挥出应有价值的原因。大数据泡沫显然是客观存在的,但其长期的应用价值却不容小觑,泡沫不代表没有价值,就像2000年的互联网泡沫,泡沫破灭之后的涅磐,让人类真正跨入了互联网时代。大数据泡沫的价值就是让全民认识到大数据时代数据分析和数据决策的重要性,这波泡沫过去,也许我们能正式跨入人工智能时代。

大数据价值:

需要你自己去定义

大数据绝不只是数据大,不能光看字面意思。可以说大数据是一套技术体系,可以说是一种认知挖掘过程,也可以说是一种方法论和管理决策思维。

我们要搞懂大数据的价值,首先绕不开数据挖掘(或更窄的机器学习、或更广义的人工智能技术)。数据挖掘(DataMining),又称为资料探勘、数据采矿,或数据库知识发现(Knowledge-Discovery in Databases,KDD)。数据挖掘一般是指从大量的数据中通过各种算法挖掘隐藏于其中的规律和有价值信息的过程,通常通过统计方法、机器学习、专家系统、模式识别和在线分析处理等诸多方法来实现上述目标。