大数据将改变人类解决问题的方式

大数据

哲学家康德在《纯粹理性批判》中提到,真理有分析真理和综合真理之分。简单而言,分析真理可以由逻辑论据推导出来,综合真理则需要经验证据和外部数据来证明。以往我们主要是通过分析方法来解决问题,首先建立模型和定律,然后通过逻辑推演出新的模型和定律。

Innovation Endeavors 的 Zavain Dar 提出,由于计算机系统和网络的发展,大数据崛起和 API 的蔓延将改变我们解决问题的方式。过去,我们是通过建立新颖的分析模型来推导出新发现,现在则变成了通过建设基础设施及能力,用综合化的手段去解决同样的问题。

他举例说,对于 web 排名这件事情,Google 的科学家的做法并不是通过页面和链接的关系推导出某种定理来用于更好地进行搜索,而是通过收集并综合之前的点击流和链接数据来预测未来用户希望看的东西。而 Amazon 也没有归纳出什么电子商务定律来指导了解谁将购买什么,而是通过历史的事件来优化未来的活动。

Google 和 Amazon 都是解决问题方式从分析向综合转移的早期例子,因为这两家公司的产品都是建立在数字化媒介当中的数据之上的。数据的创建、存储及用来与数据交互的接口都是数字化、自动化的。

但现在随着大数据的流行和 API 的普及,数据科学和基础设施方面的先驱已经通过建立高吞吐低时延的设施来获得渐进性、可预测的综合性创新和洞察,摒弃过去那种跃进式、但耗时长的分析性做法。

Dar 提出,要想把综合方法运用到新的领域,必须有两个基础:

1) 底层数据必须以数字化的形式存在

2) 从数据到科学家以及再从科学家返回到数据的过程必须自动化

也即整个输入输出的过程必须自动化。

从分析方法论转向综合方法论的转变其潜在意义将是巨大的。以往,这些方法局限在人工智能及信息获取等计算机科学子域,一切数字化以后,我们将不再需要预先设定的结构和公理这些知识性甚至哲学性的负担了,基础架构的普及就可以加速综合型问题解决的普及。

Marc Andreessen 曾提出过软件蚕食世界的观点,Dar 认为,这个观点应该修正为数字化数据集 + 输入输出自动化机制 + 软件将会以综合方法论的问题解决方式蚕食世界。详情请看 VB 的这篇文章。