大数据与哲学的一毛钱关系

1. 大数据实质

大数据的实质是什么?虽然目前国内外都还没有统一的定义或认识,但从狭义的字面来理解的话,它应该与小数据相对应,大数据意指数据 量特别巨大,超出了我们常规的处理能力,必须引入新的科学工具和技术手段才能够进行处理的数据集合。(所谓的小数据指的是数据规模比较小,用我们的传统工 具和方法足以进行处理的数据集合)。比如牛顿时代的各门自然科学,其数据量都不大,第谷观测了20年的天文数据,开普勒很快用手工就处理完毕,并从中发现 了开普勒定律。后来,随着科学的发展,数据量有了比较大的增加,为了处理这些当时看来的“大数据”,统计学家创造了抽样方法,由此解决了数据处理难题。

现在的大数据却是所谓的海量数据,各种数据的差别又特别巨大,用抽样方法也难于处理,只能用现在的数据挖掘和云计算、云存储等新技术才能解决。从广义来说, 大数据指的是一种新的数据世界观,它将世界上的一切事物都看作是由数据构成的,一切皆可“量化”,都可以用编码数据来表示。这就是舍恩伯格所说的:“大数 据是人们获得新认知、创造新价值的源泉;大数据还是改变市场、组织机构,以及政府与公民关系的方法。”

2. 大数据的特点

大数据的特点被人总结为4个“V”:

第一,Volume(大量),即数据数量巨大。从TB级别,跃升到PB级别。

第二,Variety(多样),即数据类型繁多。除了标准化的结构化编码数据之外,还包括网络日志、视频、图片、地理位置信息等等非结构化或无结构数据。

第三,Value(价值),即商业价值高,但价值密度低。在数据的海洋中不断寻找,才能掏出一些有价值的东西,可谓“沙里淘金”。

第四,Velocity(高速),即处理速度快,实时在线。各种数据基本上实时、在线,并能够进行快速的处理、传送和存储,以便全面反映对象的当下状况。

3. 大数据的哲学基础:同构关系——大数据的数理哲学基础

大数据可认为是人类的认识和实践,也就是一个数据搜索、处理、挖掘和创造的过程。大数据方法揭示的因果关系是常规性的,数据反映的 是具有同构关系的两个序列关系信息,一个对象的运动轨迹,通过另一个序列的载体编码来表述。

认识者获得的不是对象本身的绝对映像,而是离开了对象,从对象 中抽象出来的、关于对象运动轨迹的数据。从这一角度看,同构关系是大数据的数理哲学基础。反映宇宙中形形色色事物的多样化属性和规律的大数据,这些结构性 和非结构性的数据,都统一表现为数字形式,以0和1按逻辑 关系编码,而且具有可逆性。这表明,统一的宇宙中的一切事物之间都存在着具有时空一致性的同构关系。

这种关系意味着任何事物的属性和规律,只要通过适当的 编码,都可以通过统一的数字信号表达出来;换句话说,一种事物的属性和规律,可以通过数据的媒介,表现在另一种事物运动序列中。(见图一)

大数据

对象的结构数据与人的感觉映像的结构数据是一致的,更严格地说,是同构的。

4. 大数据研究方法的变革

4.1 大数据与传统模型有很大区别

在物质形式的模型中,模型来源属于天然存在物的便是天然模型,模型来源属于人工制造物的便是人工模型。

在思维形式的模型中,根据模 型不同的特点分为:理想模型、数学模型、理论模型以及半经验半理论模型。理想模型强调的是模型的抽象性,数学模型强调的是模型的数学基础,理论模型强调的 是模型的理论基础,而半经验半理论模型强调的是模型的来源,既包含理论成分,又包含经验成分。

就它们的区别而言,首先,大数据模型并不具有物质形式,因此 并非物质形式的科学模型;其次,大数据模型是根据海量数据以及算法得出,无理论介入,因此也非理论模型;再次,大数据模型从海量的数据出发,通过复杂的计算,最终得出复杂的模型,都是具体的数据运算,并无抽象过程;最后,大数据模型虽涉及算法,但大数据模型与数学模型的得出过程不同,数学模型是通过寻找研究问题与数学结构的对应关系而确定,大数据模型则是通过寻找海量数据与算法的对应关系而确定。