田渊栋:这个项目是去年5月开始的,当时我刚加入Facebook
AI,开了七八个研究项目,这是其中不很起眼的一个。一开始我也不是很看好,只是为了实验一个想法而收集了下数据。后来这个想法没做出来,但是既然有数据有平台了,还不如继续做下去。当时第二作者朱岩在我们组实习,他手上的另一个项目刚结束,我就问他是不是有兴趣,他觉得挺有意思的就开始合作了。
到去年8月份左右,我们走子网络的性能已经超过了谷歌DeepMind在2014年底发表的文章的水平。于是我就把代码重新写了一遍(之前是用各种开源程序拼凑起来的),开始搭建我们自己的系统,同时把现有的走子网络放在KGS(世界上最大的围棋服务器之一,一般任何时刻同时有超过一千五百人在线)上开始和别人对战,DarkForest这个名字就是那时候起的。
去年9月份,我尝试了预测下3步而非下1步的方案,看到性能一直在提高,这时我觉得深度神经网络加上蒙特卡罗树搜索,可能会得到很不错的围棋程序。到10月份基本上蒙特卡罗树搜索的框架有了,但是还有很多bug,因为另一个项目(基于图片的问答系统)的时间吃紧,花在围棋上的时间不多。到11月份问答系统差不多了,我再回过头来做围棋,我们当时的计划是再慢慢做做准备投稿2016年2月份的ICML(国际机器学习大会),后来讨论了一下,决定还是试一试15年11月中旬的ICLR(国际机器人顶级会议)。这时候离ICLR的截稿日期还有三周。这三周加班加点,如期得到了一个还不错的系统,投了ICLR,文章放在arXiv(由美国国家科学基金会和美国能源部资助,在美国洛斯阿拉莫斯国家实验室建立的电子预印本文献库,始建于1991年8月)上公开了。
大家也知道了Facebook在做围棋。国外的ComputerGo(计算机围棋对战)论坛一开始不相信我们的程序不经盘面搜索到3段,后来因为我们在网上放久了,打定段战确实能到3段,才渐渐服众,各种媒体报道也纷至沓来。现在看起来,我们做的工作吹响了这一波围棋AI突破的号角。
之后就是继续改进蒙特卡罗树搜索,另外,组里一位工程师Tudor Bosman花了一周把我们的程序改成了分布式,到12月底,我们在KGS上到了5段的水平,很多人找我们下棋,包括最强大脑鲍云和一位韩国的职业选手,我们也在继续改进。当时已经有传言说谷歌战胜了职业选手,不过我们还是尽力而为。一月份KGS的比赛我们因为有个bug超时拿了第三名,不然是可以胜Zen拿第一的。最后一月底谷歌的文章出来,以20人一年半的团队和完美的公关,让全世界开始关注围棋,也确证了之前的传言。而我们投稿ICLR的文章也中稿了。总的来说,这个项目还是比较成功的。这次我们能两个人花半年时间,虎口拔牙抓到一些进展,已是十分不易,任何一个地方动作慢点,都不会有现在的成果。被小扎点名我是始料未及,我感到非常荣幸。
澎湃新闻:对于外界来说,关于Facebook的人工智能实验室,一直有非常多的期待,除了darkforest项目,图像识别项目也活跃在各个报纸的版面上,除此之外,Facebook人工智能实验室的研究方向还有哪些?
田渊栋:Facebook AI Research (简称FAIR) 目前在加州门洛帕克、纽约曼哈顿和法国巴黎有三个分部,巴黎分部刚刚公开。总的来说,学术氛围是非常浓厚,大家坐在Facebook新建的20楼中央做深度学习的研究,目标是发高质量的文章,做有影响力的前沿工作。研究方向相对自由宽松,研究所需的计算资源(如GPU)相对丰富,同时也没有近期的产品压力,可以着眼长远做困难和本质的研究问题。这样的学术氛围除了MSR之外,在各大公司是极其少见的。
扎克伯格之前提过Facebook将来的三大主要方向,其中之一就是人工智能,目前看来公司也确实非常看重我们这个组。我后面就是COO,斜后方是CEO,一开始有点小慌,不过时间长了也就习惯了。
FAIR正式成立是在前年12月至去年一月,然后陆续招人,时间还不长,重要的公开工作有DeepFace,运用深度学习将人脸识别(更准确说是人脸判定)提高到人类级别。记忆网络,在深度学习中加入长期记忆(Long-term memory)以构建自然语言问答系统,开源深度学习框架Torch的更新和推广,运用快速傅利叶变换加速卷积运算的CuFFT等等。目前还有许多非常有影响力的工作正在进行中,敬请期待。