新年到来,也不要忘记和雷锋网一起温故而知新啊。
在刚刚落下尾声的 2016 年,许许多多的人工智能大神们站在台上分享他们的所见所感,雷锋网整理了十位人工智能领域的大牛们所做的最新演讲,一起与雷锋网来回顾这些充满智慧闪光的科研成果吧。
Yann LeCun:从小白科普到 AI 技术探讨,一个也没落下
Yann LeCun 堪比学术界的网红,今年频频露面于公众面前发表演讲,还录制了不少教学视频,圈粉无数。如果 Yann LeCun 想坐 2016 最活跃学界大神的宝座,雷锋网觉得没有人敢和他抢。
LeCun 在卡内基梅隆大学机器人研究所进行了一场关于 AI 技术核心问题与发展前景的演讲。雷锋网了解,他在演讲中提到了三点干货:
1. 无监督学习代表了 AI 技术的未来。
2. 当前 AI 应用的热点集中在卷积神经网络。
3. 用模拟器提高无监督学习的效率是大势所趋。
但不久后,在 NIPS 大会的演讲上,LeCun 又将预测学习代替无监督学习一词,认为预测学习不仅能在无监督情况下学习,还能学习世界的预测模型。而就在最近,他又把预测学习的落脚点放在了 GANs,称它为「20 年来机器学习领域最酷的想法」。
雷锋网对他的演讲做了不少覆盖,比如演讲 PPT 实录;演讲视频整理;教授人人都能懂的深度学习基本原理;甚至还有 Quora 问答集锦,亲授如何(像他一样)从小白到大牛,自觉深度学习技术。
啥也不说了,关注 AI 科技评论快上车吧!
Yoshua Bengio:从机器学习到人工智能,聚焦机制是核心
作为与 Yann LeCun、 Geoffrey Hinton 齐名的「深度学习三巨头」,Yoshua Bengio 同样是学界不可忽视的一名执牛耳者,他自 1993 年在蒙特利尔大学任教。谷歌于今年 11 月宣布建立蒙特利尔算法学习人工智能实验室(MILA),共计投资 340 万美元,资助蒙特利尔大学和麦吉尔大学旗下七名重量级教授及超过 150 名研究者的日常实验。而自然,Yoshua Bengio 也在其列。他领导下的深度学习实验室可谓是人工智能的研究前沿阵地,也是世界上最大的研究中心之一。http://www.leiphone.com/news/201611/u6HcoL3VhOxAbdjx.html
在今年 5 月的 Twitter Cortex 上,Bengio 应邀做了题为「自然语言词义下的深度学习」的演讲。在演讲中,Bengio 提及了从机器学习到人工智能的三个关键要素,主要包括:
1. 非常非常多的数据;
2. 极灵活的模型
3. 强大的先验知识,能打破维度魔咒。
此外,他还引申到了深度学习中的聚焦机制(Attention),首先它需要考虑一个输入(或中间的)序列或图像;但考虑到高层次指称,通过设置权重或每个输入位置概率,(如 MLP 所产生的),能够应用于每个位置。而这最主要的一个应用就在于机器翻译。在 2014 年,神经机器翻译获得了初步突破,并在端到端机器翻译取得了显著成果。雷锋网此前也做过报道,谷歌大脑团队执掌下的 Google Translate 目前已经完全应用了机器学习进行翻译学习。
Bengio 认为,聚焦机制能够让深度学习取得巨大进步,并让学习者模型更好地做选择。
Ian Goodfellow:我发明的生成式对抗网络怎么样?
既然说到了 Bengio,雷锋网怎么能不提他的得意门生、「GANs」之父 Ian Goodfellow 呢?他同样在 NIPS 2016 上发表演讲,分享了他对生成式对抗网络的研究成果。
生成对抗网络是一种生成模型(Generative Model),其背后最基本的思想就是从训练库里获取很多的训练样本(Training Examples),从而学习这些训练案例生成的概率分布。
而 GANs 所做的「对抗」,就是让生成器网络与判别器网络玩一个游戏,生成器网络不断通过输入的随机噪声转化为假数据;而判别器网络就需要判断数据的真伪。
「与传统神经网络训练不一样的且有趣的地方,就是我们训练生成器的方法不同。生成器一心想要「骗过」判别器。使用博弈理论分析技术,我们可以证明这里面存在一种均衡。」
不过训练 GANs 的一个难点,就在于会出现「模型崩溃」(Mode Collapse):生成的所有样本都在一个点上(样本相同),而主要的解决方式是开发能找到均衡状态的新算法,而非令误差最小化的成本函数。