Jürgen Schmidhuber为机器之心“2017 全球机器智能峰会”的重要演讲嘉宾。
演讲时间:5月27日,9:10-9:40 AM
演讲主题:True Artificial Intelligence Will Change Everything
Jürgen Schmidhuber 是瑞士人工智能实验室 IDSIA 的科学事务主管,同时任教于卢加诺大学和瑞士南部应用科学与艺术学院。他于 1987 年和 1991 年在慕尼黑工业大学先后获得计算机科学的学士和博士学位。从 1991 年开始,他成为深度学习神经网络领域的开拓者。随后,他在 IDSIA 和慕尼黑工业大学的研究团队开发了一种递归神经网络,并率先在正式的国际性比赛中获胜。他获得的其他奖项还包括2013年国际神经网络协会的亥姆霍兹奖,以及 2016 年电气与电子工程师协会的神经网络先锋奖等。
30 年前,Jürgen Schmidhuber 正在慕尼黑工业大学忙于完成计算机科学专业的毕业论文。在这篇论文的封面上,他设计了一个可以进行自我操控的机器人,内文详述了这类机器人背后一种可以自动修改代码的元程序(meta-program),它可以改善特定领域某些系统的性能,还可以自我改进学习算法及其学习方式等。
这完整表露了Jürgen Schmidhuber建立自我优化人工智能的目标,也开启了接下来一系列关于递归式自我改进算法的研究。其实,Schmidhuber 早在1970年代就已经萌生这一目标,为此他在大学期间选择学习数学及计算机科学。
“我最大的偶像是阿尔伯特·爱因斯坦。我在某个时候意识到,如果我打造出了比我自己乃至比爱因斯坦更聪明的东西,我会拥有更大的影响力。”Jürgen Schmidhuber 说,“从1987 年将这个问题作为学位论文选题以来,我一直在研究这个包罗万象的内容,但是现在我能看到这个主题正开始变成一个可能实现的现实。”
在实现自我优化人工智能的道路上,一个里程碑式的关键性突破是——1997 年,Jürgen Schmidhuber 和他的学生 Sepp Hochreiter 共同撰写论文提出长短时记忆 (Long Short-Term Memory,下简称“LSTM”),它是一种让人工神经网络通过记忆功能来获得提升的方式,即根据之前获得的信息增加解读字词或者图像的模式的闭环。
如今,最大的LSTM 网络有约 10 亿个连接。以一定的趋势推断,在 25 年内,也就是 Zues(创建首个计算机)后的 100 年,以与当时相同的价格,我们也许能买到一个与人脑差不多大小的、有 100 万亿个电子连接的 LSTM 网络,它远远快于生物连接。
LSTM 一开始并没有被行业重视,在近些年深度学习热潮的推动下,LSTM 被越来越多科技公司采用,其研究价值和意义被重新认识。据 SemanticScholar 的数据显示,在过去两年时间,《Long Short-Term Memory》一文的引用量从 2014 年近百次激增到超过 2000 次。
然而,作为最初的技术开发者,54 岁的 Jürgen Schmidhuber 似乎并不如其他深度学习领域的技术明星那般享负盛名。《纽约时报》称其“本应该是人工智能之父”,在一篇约翰·马尔科夫的采访报道中,则归因为他所开创的时代太早,即便是计算机硬件性能还不足以处理这些算法。
实现通用智能
自1987 年以来,Jürgen Schmidhuber 一直在开拓自我改进的一般问题解算器,直到 1991 年,他成为外界口中的深度学习神经网络领域开拓者。那时候的他,还是慕尼黑工业大学的一名博士生,发布了首个超级深度学习系统(Very Deep Learners),其层数远超过 1960 年代深度学习之父、乌克兰数学家 Ivakhnenko 的 8 层网络。
这也是他自己的第一个深度学习系统。
“我们称自己基于循环神经网络的方法是通用目的深度学习(general purpose deep learning)或通用深度学习(general deep learning),因为与 Ivakheneko(及其在 70、80 年代追随者)所研究的深度正向传播神经网络不同的是,我们的深度循环网络具有并行的、通用目的计算架构。在 90 年代初,我们的网络能够学习解决许多先前无法学习的问题。”