世界还是平的吗?

描述大千万物的信息,也可以被整齐的平铺吗?我们太习惯于用平面表结构去组织、存储和处理信息。当我们面对一张机票,会把航班起飞降落时间,地点,班次,机型等等一系列预定义好的信息作为一个个字段,平铺到一张整齐的表格里,字段们会因为业务而越变越多,表格也越来越臃肿而稀疏,但是,始终不会有空余的字段去记录我们因为航班延误而暴躁的情绪。

我们已经习惯用僵化的横竖线条去划分这个纷繁复杂的世界,没办法塞进表格的都抛弃掉,或者留个索引扔到另一个大垃圾堆里(mass storage). 我们更愿意花精力去思考如何处理这个不断长大的大表,切割它,买更大的机器存放计算它,于是我们成长为高薪的DBA。我们也乐于改变表的格式去组织数据,或是在在表与表之间跳来跳去,于是我们成长为同样高薪的OCP。

但今天我们还是面对的太多棘手的问题,发现关系型数据库,竟然,最不能表达的就是关系。

而不用借助淘宝或京东的数据库。

Google在互联网世界利用链入链出关系评估网页质量,我们也可以使用电话记录中的呼入呼出关系数据,用矩阵计算我们的关系,评估出"人脉"。在中国,你的成功不取决于你拥有什么,而是你认识谁。在抵押转向信用的互联网金融时代,可度量的社会资本必然是新的数据金矿,而能够挖掘这一金矿的人才,已经从Oracle时代的DBA,转向大数据的data scientist.

当我们用矩阵、用向量重新建立大数据公理,我们发现还使用Hadoop去优化SQL的行为多么的无趣,有纷繁的人类行为数据可以服务于新金融的风险与信用;有海量的交通行为数据等待着去动态规划,建设智慧城市;有无数生产线上的传感器数据等待着逻辑回归建立生产的最佳实践,实现制造业的产业升级;以Hadoop分布式计算和机器学习所代表的大数据,无异于让数学家发现了无理数。真正的大数据人已经不再沉迷于扁平的DB表世界里,

运营商要根据通话记录计算朋友圈,一张表描述了我有五百个朋友。那么朋友的朋友呢?循环嵌套的平面表结构造成了大量数据冗余,2度,3度以上的关系结构很难表达计算,更别说传播关系,强弱程度了。

我们有必要重新思考,如何利用新的方式组织表达信息了。历史在重演,其实这样的思维转变,在2500年前就已经发生过,就是代数和几何的关系。

古希腊的毕达哥拉斯学派,认为数字能够表达一切,长度重量,高度,温度,个数,序数,万物皆数,一切都可以被计算。所有的数都可以写下来,可以密密麻麻的挤在一个数轴上表达。直到有一天,一个叫希帕索斯的孩子,他发现如果一个直角三角形两边都是1,那么它的斜边,无法用有理数来表达,那么这个数,怎么可能挤上那个密密麻麻的数轴呢。这个聪明的孩子最终被忠实的信徒们推下海淹死了,但是用几何图形表达的无理数所引发的数学危机,却推动了古希腊的数学基础转向几何,以几何为基础使数学的公理化成为可能。

现代文明不允许有下一个被淹死的希帕索斯,大数据的今天允许我们使用更新颖的方式组织处理数据,行为关系、语义、视觉。躺在平面表里的数据人要站起来,从SQL语法里跳出来,我们来到了矩阵和向量的空间。

行为关系,我们可以用矩阵表达,NxNxN的矩阵计算非常适合计算机分布处理;自然语言可以用向量计算,文章中数万个词汇如同一根根长在刺猬身上不同方向的刺,需要理解Dior在文章中描述的是性感还是优雅?只需要计算一下这两个词汇向量的余弦距离。

世界不再是平的,大数据让我们用新的方式去存储、组织和计算信息。

回到我们曾经在数据库中苦恼的关系计算,我们可以在图传播中轻易知道谁是真正的意见领袖,是坐拥千万粉丝数量的影视明星,还是被不断转发扩散的活跃草根。

这样的大量一度传播却没有在二度传播中形成圈落的图计算结果,也能帮助我们定位快递员,从而进一步找到频繁网购的人群,这一切只需要计算我们的电话记录,新的空间已经打开,知识和创新在新参照系里,蕴育着大爆发。(本文作者天云大数据CEO 雷涛)