大数据与统计新思维

(四)需要强化结构化数据与非结构化数据的对接研究

有效实现结构化数据与非结构化数据的对接,是数据概念拓展的必然结果。尽管大数据是超大量数据,但大数据不能涵盖所有的数据,因此传统意义上的结构化数据与大数据中的非结构化数据必将长期并存。大数据时代的来临,使得数据收集、存储与分析的能力大为增强,而且步伐越来越快,但出于针对性与安全性考虑,总有一些结构化数据要通过专门的方式去收集而不能依赖于公共网络系统(例如政府统计数据,专题研究数据)。这样,如何既能有针对性地收集所需的结构化数据,又能从大量非结构化数据中挖掘出有价值的信息,使两者相辅相成、有机结合,就成了一个新的课题,值得探讨的问题包括非结构化数据如何结构化或结构化数据能否采用非结构化的表现形式等。通过特定的方法,实现结构化数据与非结构化数据的转化与对接是完全可能的。但要实现这种对接,必须要增强对各种类型数据进行测度与描述的能力,否则大数据分析就没有全面牢固的基础。如果说传统的基于样本数据的统计分析侧重于推断,那么基于大数据的统计分析需要更加关注描述。

(五)需要转变抽样调查的功能

对于传统的数据收集而言,抽样调查是最重要的方式。尽管样本只是总体中的很小一部分,但由于依据科学的抽样理论,科学设计的抽样调查能够确保数据的精确度和可靠性。但抽样调查毕竟存在着信息量有限、不可连续扩充、前期准备工作要求高等缺陷,很难满足日益增长的数据需求。现在有了大数据,我们应该利用一切可以利用的、尽量多的数据来进行分析而不是仅局限于样本数据。但这是否意味着抽样调查可以退出历史舞台呢? 笔者认为还为时过早,在信息化、数字化、物联网还不能全覆盖的情况下,仍然还有很多数据信息需要通过抽样调查的方式去获取。与此同时,尽管我们可以对大数据进行全体分析,但考虑到成本与效率因素,在很多情况下抽样分析仍然是不错的或明智的选择。当然,抽样调查也要适当转变其功能以便进一步拓展其应用空间: 一是可以把抽样调查获得的数据作为大数据分析的对照基础与验证依据; 二是可以把抽样调查作为数据挖掘、快速进行探测性分析的工具——从混杂的数据中寻找规律或关系的线索。

(六)需要归纳推断法与演绎推理法并用

哲人培根说过“知识就是力量”。统计研究的任务就是为了发现新的知识,归纳法则是发现新知识的基本方法。因此,归纳推断法成为最主要的统计研究方法,使得我们能够从足够多的个体信息中归纳出关于总体的特征。当然,归纳推断的依据通常是样本数据,即在归纳出样本特征的基础上再推断总体。对于大数据,我们依然要从中去发现新的知识,依然要通过具体的个体信息去归纳出一般的总体特征,因此归纳法依然是大数据分析的主要方法。正如C.R.劳指出: “‘从数据中提取一切信息’或者‘归纳和揭示’作为统计分析的目的一直没有改变。”但是,大数据是一个信息宝库,光重视一般特征的归纳与概括是不够的,还需要分析研究子类信息乃至个体信息,以及某些特殊的、异常的信息———或许它(们)代表着一种新生事物或未来的发展方向,还需要通过已掌握的分布特征和相关知识与经验去推理分析其他更多、更具体的规律,去发现更深层次的关联关系,去对某些结论做出判断,这就需要运用演绎推理法。演绎法可以帮助我们充分利用已有的知识去认识更具体、细小的特征,形成更多有用的结论。只要归纳法与演绎法结合得好,我们就既可以从大数据的偶然性中发现必然性,又可以利用全面数据的必然性去观察偶然性、认识偶然性、甚至利用偶然性,从而提高驾驭偶然性的能力。

(七)需要相关分析与因果分析并重

《大数据时代》认为,我们只须从大数据中知道“是什么”就够了,没必要知道“为什么”,并且指出“通过给我们找到一个现象的良好的关联物,相关关系可以帮助我们捕捉现在和预测未来”以及“建立在相关关系分析法基础上的预测是大数据的核心”。毫无疑问,从超大量数据中发现各种真实存在的相关关系,是人们认识和掌控事物、继而做出预测判断的重要途径,而大数据时代新的分析工具和思路可以让我们发现很多以前难以发现或不曾注意的事物之间的联系,因此大力开展相关分析是大数据时代的重要任务。但是,我们仅仅停留于知道“是什么”是不够的,还必须知道“为什么”,正所谓“既要知其然,更要知其所以然”,只有这样才能更好地理解“是什么”——为什么需要把手电筒与蛋挞放在一起。只有知道原因、背景的数据才是真正的数据。因此探求“是什么”背后的原因始终是人类探索世界的动力,因果分析是人类永恒的使命。哲学家德谟克利特早就指出: “与其做波斯国王,还不如找到一种因果关系。”如果我们只知道相关关系而不知道因果关系,那么数据分析的深度只有一半,一旦出现问题或疑问就无从下手。而如果我们知道了因果关系,就可以更好地利用相关关系,就可以更好地掌握预测未来的主动权,就可以帮助我们更科学地进行决策。当然,因果分析是困难的,正因为困难,所以要以相关分析为基础,要更进一步利用好大数据。相关分析与因果分析不是互相对立的,而是互补的,两者必须并重。