LSTM 还作为编剧的身份出现在大荧幕上——《Sunspring》这部微科幻小说电影的剧本完全由人工智能系统撰写,作者是 LSTM 循环神经网络,该人工智能系统名叫 Benjamin。为了训练 Benjamin,Goodwin 为人工智能系统提供了一个他在网上找到的包含很多科幻小说剧本的语料库——其中大部分来自于 1980 年到 90 年代的电影。Benjamin 实验最有趣的部分一直在于从科幻小说故事中学习模式(pattern)。Benjamin 的写作内容听起来很原创,甚至古怪,但是这一切仍然是基于人类实际写作内容的。
如今,LSTM 的变体很多。所有提及 LSTM 的论文都有着小小的改动,这些改进虽然并不明显。比如,最时尚的 LSTM 变体就是 Gers & Schmidhuber (2000) 提出的“猫眼连接”(peephole connections)的神经网络。另一个比较惹眼的变体为 GRU(Gated Recurrent),由 Cho, et al. (2014) 提出。
「在包括 Felix Gers 、Alex Graves、Santi Fernandez、Faustino Gomez、Daan Wierstra、Justin Bayer、Marijn Stollenga、Wonmin Byeon、Rupesh Srivastava、Klaus Greff 等人在内的我出色的学生及博士后的帮助下,该算法被逐步发展。LSTM,特别是在处理序列数据方面,已经变为了大多数如今被叫做深度学习算法的基矗」
在谈到今天深度学习研究取得的进展,他概括为「新瓶装旧酒」。计算能力的飞速发展彻底革新了过去的模式识别和机器学习。
Jürgen Schmidhuber 还提醒道,实验室有一项影响不那么深远但非常实用的贡献,那就是极大地加快了深度监督前馈神经网络在图像处理器上的速度,尤其是使用 Linnainmaa 的反向传播技巧训练的卷积神经网络架构。
Nnaisense,通往 AGI 之路
在追求通用人工智能的道路上,最为著名的公司当属 DeepMind。但是,不少人仍然不知道这公司的头四名成员中,有两位来自 Jürgen Schmidhuber 所在的 IDSIA,他们的第一位人工智能领域的博士雇员也来自 IDSIA,其中一个是联合创始人,另一个是公司的第一名员工;Jürgen Schmidhuber 的其他博士学生也稍后加入了 DeepMind,其中包括在 2010 年 Atari-Go 论文的联合作者。
Jürgen Schmidhuber 对机器人和通用人工智能的兴趣可以追溯到青少年时代。1963 年,Jürgen Schmidhuber 出生于慕尼黑。他在青年时代,从图书馆借阅了大量科普书籍和科幻小说——尤其喜欢奥拉夫·斯泰普尔顿(Olaf Stapleton)的《造星主》(Star Maker)、E·T·A·霍夫曼(ETA Hoffmann)的《沙人》(The Sandman),以及史坦尼斯劳·莱姆(Stanislaw Lem)的小说。
而现在,位于瑞士阿尔卑斯山卢加诺的实验室里,他的初创公司 Nnaisense 已经开发出一套婴儿般的系统,几乎可以不通过实验的方式了解世界的运转原理。Schmidhuber 认为,RNN 是打造通用人工智能的基础,与其借鉴脑科学发展人工智能,还不如深入研究数学和算法,尤其是机器学习和推荐程序。事实上,2000 年年初,在数学上最优的通用 AI 及问题解决器在 IDSIA 里 Schmidhuber 的实验室中已经被研发出来,如 Marcus Hutter's AIXI(tl) Model 或 self-referential G?del Machine。
建立一个基于神经网络的人工智能,它可以逐步学习,至少变得和小动物一样聪明、好奇、有创造性,不断学习去计划和理性,将非常广泛的问题分解成可快速解决(或者已经解决)的子问题。
一旦动物水平的人工智能被实现,下一步对于人类水平人工智能的实现会容易很多:发展演化出聪明的动物花费了几十亿年的时间,但是在这之上演化成人类只用了几百万年。技术进化要比生物进化快得多,因为死路消亡的也要快得多。Jürgen Schmidhuber 认为,一旦我们拥有了动物水平的人工智能,在几年或者几十年之后,我们或许就会拥有人类水平的人工智能,届时将拥有真正无限的应用,每一个业务将被改变,所有的文明也会被改变,一切都将改变。
在 20 世纪 60 年代,人工智能的研究更多处于理论阶段并不实用,随着近些年计算机算力极大增长,这一波技术浪潮会带来更多垂直产业得到应用的落地。Schmidhuber 也将目光瞄向了推动技术成果向商业化应用转化,继续投注他对通用人工智能目标的远大设想。