如果AI能做科研同行评审,那它就什么都能做了

2月22日消息 据连线杂志网站报道,科研流程一般如下:你对大千世界中的一个细节产生好奇。你做出假设,进行试验,最终收集到足够的数据来支持或反驳你的假设。以上是科研中有趣的部分,接下来的工作就不那么轻松了:你要写一篇论文,提交到学术期刊,然后在同行评审环节中忍受一群同领域的匿名专家对你工作质量的百般刁难。

同行评审有其缺陷。人类(即便是科学家)会有偏向性,懒惰和自私。而且即使是科学工作者,有时候数学也会不很灵光。所以不可避免的,一些人想要将人工从同行评审中剔除,以人工智能取而代之。计算机以其公正、不知疲倦和无自我身份定位著称,而且它们在本质上精通算数。科学家并不只是干等着二进制大脑来参与科研同行评审,期刊出版商已经在着手将之建立。

最近,一个名为“ScienceIE”的竞赛为程序开发者设下挑战。参赛团队需要开发程序,要求这些程序能够从科学论文的句子中提取基本事实,并将其同其他论文所提取的基本事实进行比较。“我的项目的大目标是帮助科学家和从业者更快速地获得有关其研究领域的知识。”伦敦大学学院博士后AI研究员Isabelle Augenstein说,正是她设计了这个竞赛。

竞赛涉及到处理自然人类语言,这是诸多人工智能难题中的一个。参赛者设计程序来解决三个子任务:阅读每篇论文并确定其关键概念,按类型组织关键词,以及识别不同关键短语之间的关系。竞赛不仅仅是一场学术活动:Augenstein与世界最大的科学出版商之一的Elsevier签订了为期两年的合同,为后者的图书馆开发计算机工具。

Elsevier出版超过7500种不同期刊。每个期刊的编辑都必须为每份来稿找到合适的审稿人。(2015年,70万同行评审人员在Elsevier上评审了超过180万份稿件,其中40万份最终得到出版。)“能够评审稿件的人通常仅限于该领域的专家。”数字地图公司Descartes的CEO迈克·沃伦(Mike Warren)说。“你将这么一小群拥有博士学位的专家按学科和子学科进行细分,最后,全世界可能只有100人有资格审阅某份来稿。”Augenstein帮助Elsevier使用科技手段为每篇稿件自动寻找合适的审稿人。

Elsevier开发了一套名为“Evise”的自动化工具来帮助进行同行评审。该程序能够检查抄袭(这只是搜索和匹配功能,还谈不上AI),为审稿做最基础的把关。此外还有处理作者、编辑和审稿人之间的工作流程。另外几家主要的出版商也都有自动化软件来帮助进行同行评审。Springer-Nature当下正在测试一个名为“StatReviewer”的软件,确保每份来稿具有完整和准确的统计数据。

不过这些同行在能力和愿景上都无法同Elsevier相提并论。“我们正在调查更有抱负的任务,”Augenstein说。“当你对一篇论文有疑问,机器学习模型能够通读论文并回答你的问题。”

不过并非所有人都被“机器人博士”的前景所迷惑。上个月,芬兰赫尔辛基大学环境政策教授Janne Hukkinen和Elsevier杂志《生态经济学》的编辑为WIRED撰写了一篇文章,提醒人们对完全自动的AI同行评审保持警惕:

“通过查询出版商审阅着资料的数据库,分析过往评审中审稿人和编辑之间的交流,并识别从提交到最终编辑拍板这一整个流程中的变化模式——学习型算法完全可以接管从最初提交到最终决定的整个评审过程。更重要的是,将人工从同行评审之中剔除,能够减轻力求开放的学者与反对开放的商业出版商之间的紧张关系。”

按照Hukkinen的逻辑,一个能够胜任同行评审的AI同样也可以动笔写论文。最终,人类将成为科研中的遗留系统——冗余、低效又过时。他最终的观点是:“不经人类产生的新知将会动摇人类文化的基矗”

不过Hukkinen的警惕有点忧虑过早。“尽管AI在象棋、围棋和扑克这样的游戏中取得巨大成功,但仍然不能理解大多数普通的英文句子,更别说科学文本了。”艾伦人工智能研究所(Allen Institute for Artificial Intelligence)首席执行官Oren Etzioni说。ScienceIE竞赛团队的实例或可为其提供佐证:最终获胜的团队在三个子任务挑战中只达到43%的分数。