下一步,AI 要审你的论文了?
AI已在围棋上克服了人类,接下来还会进军医疗、驾驶、社会服务等领域。对科研人员来讲,还有1个值得关注的话题:你投出去的论文会交给AI来处理吗?
同行评审有其缺点。人类(即使是科学家也会)有偏向、怠惰和自私。而且即便是科学工作者,有时候数学也会不很灵光。所以不可避免的是,有人提议将人工从同行评审中剔除,以人工智能取而代之。计算机以其公正、不知疲倦和无自我身份定位著称,而且它们天生精通算数。科学家其实不只是干等着AI专家来参与科研同行评审,期刊出版商已在着手相干事宜。
最近,1个名为“Science IE”的比赛为程序开发者设下挑战。参赛团队需要开发程序,要求这些程序能够从科学论文的句子中提取基本事实,并将其同其他论文所提取的基本事实进行比较。“项目的大目标是帮助科学家和从业者更快速地取得有关其研究领域的知识。”伦敦大学学院博士后AI研究员、比赛设计者Isabelle Augenstein说。
比赛触及到处理自然人类语言,这是诸多人工智能困难之1。参赛者设计程序要解决3个子任务:浏览每篇论文并肯定其关键概念,按类型组织关键词,和辨认不同关键短语之间的关系。这次比赛不单单是1场学术活动:Augenstein与世界最大的科学出版商之1的Elsevier签订了为期两年的合同,为后者的图书馆开发计算机工具。
Elsevier出版超过2500种不同期刊。每一个期刊的编辑都必须为每篇论文找到适合的审稿人。(2015年,70万同行评审人员在Elsevier上评审了超过180万份稿件,其中40万份终究出版。)“能够评审论文的人通常仅限于该领域的专家。”数字地图公司Descartes的CEO迈克·沃伦(Mike Warren)说。“你将这么1小群具有博士学位的专家按学科和子学科进行细分,最后,全球可能只有100人有资历审阅某论文。”Augenstein帮助Elsevier使用科技手段为每篇论文自动寻觅适合的审稿人。
Elsevier开发了1套名为“Evise”的自动化工具来帮助进行同行评审。该程序能够检查抄袭(这只是搜索和匹配功能,还谈不上AI),为审稿做最基础的把关。另外还有处理作者、编辑和审稿人之间的工作流程。另外几家主要的出版商也都有辅助同行评审的自动化软件。Springer-Nature当下正在测试1个名为“Stat Reviewer”的软件,确保每份来稿具有完全、准确的统计数据。
不过这些同行在展现能力和愿景上其实不像Elsevier这么开放。“我们正在探索更雄伟的任务,”Augenstein说。“当你对1篇论文有疑问,机器学习模型能够通读论文并回答你的问题。”
不过并不是所有人都沉醉于“机器人博士”的前景。今年年初,芬兰赫尔辛基大学环境政策教授Janne Hukkinen和Elsevier杂志《生态经济学》的编辑为WIRED撰写了1篇警示性文章,文中假想未来可能会有完全自动化的AI同行评审:
“通过查询出版商的审稿人数据库,分析过往评审中审稿人和编辑之间的交换,并辨认从提交到终究编辑拍板这1全部流程中稿件的变化,学习型算法完全可以接收从最初提交到终究决定的全部评审进程。更重要的是,将人工从同行评审当中剔除,能够减轻力求开放的学者与反对开放的商业出版商之间的紧张关系。”
依照Hukkinen的逻辑,1个能够胜任同行评审的AI一样也能够动笔写论文。终究,人类将成为科研中的遗留系统——冗余、低效且过时。他终究的观点是:“不经人类产生的新知将会动摇人类文化的基础。”
不过Hukkinen的警惕有点忧愁过早。“虽然AI在象棋、围棋和扑克这样的游戏中获得巨大成功,但依然不能理解大多数普通的英文句子,更别说科学文本了。”艾伦人工智能研究所(Allen Institute for Artificial Intelligence)首席履行官Oren Etzioni说。Science IE比赛团队的实例或可为其提供左证:终究获胜的团队在3个子任务挑战中的得分只有43%。
充斥着被动句式的科学论文晦涩至极,即使是在人脑看来也很难理解。所描写的对象常常隐身于层层前述以后,被动句式在平常语言眼前显得深奥难懂。语言学家将任何人类所写的东西称为“自然语言”,而自然语言在计算机科学家看来实在是1团乱麻。
“自然语言给AI带来的1大困难是其模糊性。”纽约大学计算机科学家Ernest Davis说。斯坦福大学名誉计算机科学家Terry Winograd有1个经典的歧义例子:
市议会谢绝给示威者许可,由于他们(担心/主张)暴力。
The city councilmen refused the demonstrators a permit because they [feared/advocated] violence.
这句子你我都能看明白,动词“担心”暗示了“他们”指的是“市议会”而非示威者。我们轻而易举地明白:示威者“主张”暴力;市议会“担心”暴力。但是1个计算机大脑可是会在此花费经年累月的时间终究也还是弄不清楚到底哪一个动词指向哪一个代词。这类类型的歧义只是自然语言缠结的1个缩影,同形异义词和叙事逻辑将让AI更加困扰。
这还没触及科学论文中的具体问题,比如将文本论点同数据模式进行连接等。即使在纯数学论文中这1需求也很常见。“从英语到数学中的情势逻辑不是我们能自动化的。”Davis说。“这是最简单的工作之1。它是高度限制性的,而我们理解目标。”心理学同等数学比较远的学科更是如此。”在心理学论文中,我们几近没法检查其论证的公道性。”Davis说。“我们不知道如何以计算性能用的方式来表达1个实验。”
固然,1个完全自动的AI同行评审不但需要对人类有所了解,还必须对其进行深入思考。“说起AI问题,同行评审多是最难的1部份。由于同行评审最重要的职责是确保研究新颖,没有重复前人老路。”沃伦说。计算机程序能够查阅文献,找出那些问题仍悬而未决。但它可能无力辨认颠覆性的科学新发现。
俄勒冈州立大学AI研究员Tom Dietterich说:“或许我么只是需要改变科学出版的方式。别把我们的研究用英语写成1个故事,应当把我们的意见和论据套入1个类似数据库的正规架构中,比如1个涵盖人类在某主题下所有知识的数据库。”换句话说,同行评审AI化是途径而非解决方案。在这1点上,人们所要重新编程的不是计算机,而是人类行动。
标签: