大数据时代 人工智能创业入口何在?

中国IDC圈4月12日报道,在大数据时代下,大数据与人工智能在具体领域中的应用问题成为当今的焦点话题。那么,目前大数据和人工智能领域还存在着哪些技术挑战?如何找到大数据和人工智能的创业入口,利用数据挖掘和机器学习的能力创造出更大的商业价值?

大数据和人工智能领域的技术障碍

清华大学机算机系崔鹏教授表示不管是大数据还是人工智能,从学术研究的角度来讲不是新的概念,核心基本都是围绕在数据分析和挖掘、数据建模等工作。

目前在大数据的不同层面,都出现了一些提供标准化服务的公司。但大数据的核心部分,也就是数据的处理和分析,恰恰不容易用一个通用的框架来实现。

大数据有很多的数据来源,不同领域的数据也呈现出非常强的领域特性,我们不可能搞找到一个通用的数据模型,来解决所有的问题。

因此,大数据如果想真正地投入到产业应用的话,一定是需要把懂大数据技术的人,与某一领域背景很强的人结合起来,才能够使大数据的分析和处理层面实现比较大的突破。

其实硅谷现在有些公司正在试研发一些大数据的标准化工具,但是就我们了解到的情况来看,尽管能够获得投资,他们的存活状态并不是太好。

因为从企业的角度来讲,它并没有很好的应用场景。

规模比较大的企业完全有能力自己构建一个数据分析团队,不太可能把所有的数据都交给专门做数据分析的服务商

而小公司采用这些服务,还是会面临工具通用性上的问题。

另外,大数据技术本身的不可读性,使它目前存在着技术风险。目前几乎所有大数据的分析,都是基于关联算法进行预测。

但这些所谓的预测是存在精确度方面的限制的,并且整个过程是一个黑盒子,我们没有办法控制。

因此,目前的大数据分析还不能实际应用于某些领域的一些严肃决策之中。

2011年,Judea Pearl凭借因果推理模型拿到图灵奖,这也预示着计算机技术的发展将有可能打开黑盒子模型,使大数据分析变成一种可解释的行为。

这与目前的大数据完全是两条线。

今年我们也看到一个标志性的事件,就是2015年10月份《科学》杂志出现的文章

只需要非常少量的样本,只用了几百个样本的数据,加上人的推理能力在里边,它的性能比用数十万的样本得到的效果还是好。

这预示着我们尽管目前大数据很热,在很多领域已经实现了实际应用,但从技术的发展来讲,目前的大数据技术并不是一个进口

以前瞻性的投资视角来看,还是应该关注更前沿的技术发展。

(图自网络)

 

机器学习如何运用于数据治理

原英特尔中国研究院院长、驭势科技CEO吴甘沙认为,目前大数据与人工智能领域存在的技术障碍主要有以下两点:

一是大数据工具与特定领域的结合。过去几年大数据关注的是最底层的存储,去解决分布式运算的基础设施的问题。

现在是时候考虑如何进入到具体运用的问题。太计算机化的工具,绝大多数用户是不知道如何使用的。

从某种程度上来说,如何提供实际可用的工具给不同领域的用户,有针对性地提取数据中的价值,这是现在很多厂商都要试图解决的问题。

第二是数据治理问题。在传统的数据分析流程中,数据清洗花费的时间可能占到整个流程的60%-70%,消耗了大量精力和资源。

现在,已经有一些机器学习运用于数据治理方面的研究和产业化的尝试出现,机器学习可以从非结构化的结构中学习出结构化的数据,并通过不断的学习把一些歧义消除。

未来大数据和人工智能将出现一个交汇点,大数据解决通古晓今、见微知著的问题,人工智能则解决认知的问题,二者的结合会对一些重要领域的发展起到里程碑式的作用。

最近IBM提出了“认知商业”的概念,某种程度上我们可以将其理解为人工智能和大数据的结合,相信这两种技术的组合将会有非常好的发展前景。

深度学习很好地反映了技术上面的发展,但它未必是一种终极状态。

如何把深度学习和推理、逻辑这些模型、算法结合起来,把人工智能与现代应用的需求结合起来,对已有的技术进行重新组合,搭出一些独特的架构,将人工智能从传统的感知带入到拥有决策能力的阶段,来实现工程上的创新,是未来非常值得期待的。