1993年Lecun在贝尔实验室,它旁边的电脑能识别支票上的手写数字
语言学习
Facebook 的新办公地离Lecun教书的地方只有3分钟车程,在这里他和研究人员一道,尝试让神经网络能更好地理解语言。具体做法就是,神经网络来回检索文档,当遇到一个词时,预言该词前后的内容,再和实际情况进行判别。通过这样,软件把每一个词解构成了一组和其他词的关系向量。
例如,在神经网络看来,“国王”和“女王”这组词的向量关系,就和“丈夫”和“妻子”一样。对于一整句话来说,这种方法也可以奏效。一些研究成果表明,使用向量技术的机器在同义、反义词等理解测试上,甚至超过了人类。
而 Lecun的团队还走得更远,他们认为,语言本身其实并不复杂,真正复杂的是对语言要有一个深入的理解,并对其拥有常识般的认知。举个例子,“小明拿着瓶子走出了房间”,这句话隐含的意思就是,瓶子在小明身上。鉴于此,在他们开发的神经网络上搭载有一个记忆网络,用来存储一些它已经学会的事实,每次有新的数据输入时,它也不会被清除。
Facebook的AI研究人员开发出了一套可以回答简单问题的系统,哪怕其中有些内容是它之前没有遇到过的。例如,研究人员给记忆网络一篇魔戒的梗概,让它回答一些简单的问题,如“魔戒在哪?”,虽然它可能在之前并没有遇到过“魔戒”这个词,但还是能够回答上来。如果它能够理解一些更加复杂的句子的话,那么将会有很大的应用。
然而,打造一套能够完成有限对话的系统已经耗费巨大的精力,更何况神经网络的推理能力很差,更不论制定计划。尽管研究人员还没有找到更高效的解决方法,但Lecun等研究人员对此仍充满了信心。
不过并不是每个人都如此乐观,西雅图一家研究机构的CEO Oren Etzioni就认为,深度学习软件现在只是展现出了语言识别最简单的那部分能力,他们仍缺乏逻辑推理能力,这和现在神经网络做的图形分类以及声波解析都有着天壤之别。此外,掌握语言也不是那么简单的事,因为在文本中句子的意思可能会发生改变。要让软件拥有语言能力,则需要它们像婴儿那样,没有明确的指示也能掌握句子的意思。
深度的信仰
在Facebook的CTO Mike Schroepfer 看来,未来他们希望能看到Facebook的系统与你进行交流,就像和一个人类管家一样。这套系统能够在更高的层面上理解语言和概念:比如你可以要求它展示一张朋友的照片,而不是他的动态。随着Lecun的系统掌握更高的推理和规划能力,这在短期内还是很可能实现的。此外,Facebook可能还会提供一些他们觉得你会感兴趣的东西,并且询问你的看法,最终让这个超级管家沉浸于信息的海洋之中。
不仅如此,这种交流算法的改进也可以提高Facebook过滤信息和广告的能力,这对Facebook想要超越社交网络的定位至关重要。随着Faebook开始以媒体的身份发布信息,人们就需要更好的信息管理方式,这套虚拟助手可以帮助Facebook实现这一野心。
如果深度学习再重蹈以前人工智能的覆辙,那这些可能永远都不会发生了。但是Lecun对此充满了信心,他认为有足够多的证据站在他这边,表明深度学习终将会带来巨大的汇报。让机器处理语言需要新的想法,但是随着越来越多的公司和大学加入到这个领域,原来小小的一片天开始拥有无限可能,这将大大加快整个进程。
究竟深度学习能不能实现Facebook预想的管家还不得而知,就算是真正能实现,人们能获益多少现在也还难以想象。但可能我们并不需要等太久了,他坚信那些怀疑机器深度学习语言能力的人们终会后悔。这和2012年以前一样,虽然事情出现了一些改变,但用老方法的人仍然顽固不化。也许再过个几年,人们就不会这么看了。