Facebook AI “发展出人类无法理解的语言” 火了,但这实际上源自一些媒体的误读和炒作。研究计算机是否能(非监督地)独立产生自己的语言本身非常有意义,因为这是检验 AI 是否理解人类高级语义和抽象概念的好方法。但具体到这件事,Facebook 的 AI 并未发明自己的语言(Facebook 人工智能研究院也从未宣称 AI 发明了语言),这只是程序的 Bug。本文将全面回顾和分析这个事件,看一段跑崩了的对话,如何引出了这场众说纷纭的争论。
最近 Facebook 的一个 AI 项目火了,而且火得不要太好——稍微上网一搜就能看到:
AI 机器人发展出自己的语言,Facebook 的工程师们慌了
Facebook AI 发明出人类不能理解的语言,担心失控项目已被关闭
难道我们人类造出了一个怪物?
还有一家英国小报引用一位机器人学教授的话,说这一事件表明,如果类似的技术被用于军事机器人,将“非常危险,并且可能是致命的”。
更多的新闻延伸到未来的机器人革命、杀人机器人、恶意的人工智能,各种各样的有关人类灭绝的想象。所有这些,无不引用 Facebook 两个聊天机器人这样一段对话:
Bob: I can i i everything else ..............
Alice: balls have zero to me to me to me to me to me to me to me to me to
Bob: you i everything else .............
Alice:balls have a ball to me to me to me to me to me to me to me to me
有图有“真相”:
看上去恐怖吗?
一篇报道引发的惨案:AI 发明了自己的语言??
这一切的起因是,上月中,FastCo Design 网站针对 Facebook 利用“生成对抗网络”开发对话谈判软件的努力做了一篇报道。这篇报道引用的两个 bot,其设计的目的是证明:“具有不同目标(端到端训练神经网络实现)的对话智能体,能够从头到尾地与其他 bot 或人类进行谈判,并达成一个共同的决策或结果”。
两个 bot 针对给定的话题(例如书籍,帽子,球,都是一些无害的物体),讨论如何分割成双方都同意的部分,除此以外并不做其他事情。
这样做的目的,是开发一个可以从人类的互动中学会谈判交易的聊天机器人,它能够非常流畅地进行对话,终端用户甚至不会意识到他们在与机器人对话。
就这么简单。
然而,FASTCO 的报道写道,“FAIR 的谈判智能体利用强化学习和对话推演(dialog rollouts),表现与人类谈判相当……这证明 FAIR 的 bot 不仅能讲英语,并且对要讲什么也是有过思考的。”
更要命的是,文章引用了专业人士的评价——“智能体会脱离人类可以理解的语言,发明自己的代码语言。”那篇文章引用 FAIR 访问研究员 Dhruv Batra 的话说,“就好比我说 5 遍 ‘the’ 这个单词,你会理解为我想要 5 个这个东西。这与人类发明简略表达的方式并没有太大不同。”
于是事情一发不可收拾。
Facebook 研究人员亲自辟谣:我根本不是那个意思
在继续讨论前,我们先来看 FAIR 访问研究员 Dhruv Batra 自己的澄清。
Dhruv Batra 是 FAIR 研究员,也是对话模型那篇论文作者之一,他在自己的 Facebook 主页回应道:
我刚从 CVPR 回来,就发现我的 FB/Twitter 的时间流充满了这些说 Facebook 的研究员开发的 AI 智能体发展出自己的语言,描述各种世界末日景象的文章。
我不想针对某篇具体的报道,或者对某个断章取义的引用提出具体的回应,但我认为这样的报道只是为了赚眼球,非常不负责任。
AI 智能体发展出自己的语言这种说法可能令人震惊,或让这个领域之外的人感到意外,但这是发展了很多年的 AI 的一个子领域,相关研究文献可以追溯到几十年前。
简单地说,环境中的智能体试图解决一个任务时,通常会找到一种方式来最大限度地提高回报(reward)。分析这个回报函数并改变实验中的参数,与“关闭 AI 项目”完全不是一回事!如果这能一样的话,每个 AI 研究者在停止某个机器的工作时都在“关闭AI项目”。