真假大数据(一)

1996年雅虎上市的时候,谷歌还没成立,谷歌上市的时候FaceBook还没有成立,所以我们可以推测FaceBook今年上市了,带领大数据创新的公司还没有成立。

演讲PPT大数据的创新难点

什么不是大数据?我可以斩钉截铁的说,数据大不等于大数据,大多数人把数据大称之为大数据,过去多少K,后来多少兆,现在用T了。人家早等着呢,后面还有20多个名字呢,这种简单的数量的增长真的是量变和质变吗?量本身有差距吗?现有的设备、技术方法所能处理的多数是数据大,不是大数据。数据挖掘、精细化运营、精准广告、个性化服务、推广这些不是未来大数据服务商业模式的主要部分。你可以想像他做的精细化运营的成本,大概能够抵消精细化营销的收入,基本上是零。不会产生推倒重来,重新玩的效果。这是现在最常见的大数据定义,三V定义,多样性、体量、速度。我按照那个逻辑先给一个操作化定义,比如说多样性,什么叫做多样性,姓名、身高,这是不断描述一个人的精细化而已,“多”不是多样,所以我说第一个数据来源多样,刚才我们领导也专门讲过这个问题。大数据必然是开放式的,必然是公共的。一家公司不管多大,我们腾讯算中国最大的,你还得知道,他的数据有相当的同质性。有相当的局限性,有相当一个角度下的介入,如果跨出去会好很多,比如说腾讯和百度,现在两大公司,你们两家公司数据百分之百兑换、共享,那就有意思了。

现在美国政府搞的数据开放政策,40几个国家了,美国和英国非常有意思,都反映了只有我们在现实世界打不破的界限,在数据层面我们打破了。大的数据来源才可能多样性,我后面会仔细讲这件事情,数据种类的多样性,数据形式在变,有文字、语音、图表、图片、视频,信息和数据是有差别的,有定义的信息是数据,但是有相当我们现在不可解的东西,不能称之为数据,只是信息而已。数据对象的多样性,个人信息、个人数据,商业服务数据,社会公共数据,还有自然界的,物质世界的数据,只有考察多样性是从这个意义上理解,而不是自己一家一户的事越捣越细,这个数据才有生命性。大数据的多样性越高,潜在的价值就越大。

体量很简单,我们现在讨论大数据,起码是以TB为基本计量单位,我在美国上学的时候,打工、吃饭做数据分析,那个时候基本上一个G就束手无策了,现在TB是一个可以做的,成本也不是那么高,现有很多厂商都有解决方案了,是不是再过一段要PB,说不定。现在你看FaceBook一张嘴就说每天500T的数据,谷歌说我是三个P的数据,就是体量的概念。还有一个概念我是很看重的,数据之间的关系和复杂性,这种极其复杂的做建模的,做数据挖掘的应该有体会,有一阵子谷歌找我希望我去,当时2008年底,他们的模型是模型群了,大模型矩阵,62000个,之间可以任意联系,张三、李四建无数的模,这个概念应该放在体量的概念上,关系复杂性这个也放在体量之下。大数据体量越大,潜在的价值越大。

还有一个速度,我写的两篇都用到摩尔定律,其实摩尔定律在大数据上仍然有效,一个方向是数据种类每年翻番,数据体量每年翻番。后面基本上就是摩尔定律的变种了,单位数据获取的成本每年减半,单位数据每年存储的成本每年减半,单位数据利用的成本每年减半,如果那边也翻番,成本也翻番,那个是不可能的。大数据增长速度越高,潜在价值就越大。

大数据认识有几个误区,第一个只是从量上说,你看数据增长了,这样说你是没法划线的,没法说清楚普通数据和大数据的区别哪,一个T和一个P数据本质有什么差别?仅仅因为大?惠普说没有问题,我这出了一个P和一个T一样,解决了。

脱离产业发展和社会进步的大背景,讨论大数据无法说明其重要性。只要你干这件事,技术可以作为已知,总有人给你找到办法,隐私权啊,算法啊,一定有办法。把大数据这个事情作为技术问题来探讨,很难证明它有投资价值。我们互联网历史上第一波的明星,即使现在活着的公司,也比不上真正挖金子的。所以不能脱离产业发展,不能脱离社会进步,尤其是这次大数据有点像互联网刚开始,互联网很多年了,互联真正启动是美国戈尔带头。去年美国政府出了大数据国家战略,美国政府带头先搞,凡是用了联邦政府一分钱的,单位必须公布数据,推广到所有的发达国家,现在推广到相当一部分不发达国家,肯尼亚、菲律宾这样的国家都开始搞这一套,所以我们必须开始考虑大数据背后的社会、经济、更加广泛的利益。