AI协助避免陷入文献泥潭

当Iosif Gidiotis今年开始他的教育技术博士研究时，他被一些报道所吸引，这些报道称由人工智能（AI）驱动的新工具可以帮助他消化他所在学科的文献。随着论文数量的激增——去年，整个科学领域发表了近300万篇论文——一个AI研究助手“听起来很棒”，正在瑞典皇家理工学院学习的Gidiotis说。他希望AI能找到比其他搜索工具更多相关的论文，并总结它们的要点。

然而，他感到有些失望。当他尝试使用名为Elicit的AI工具时，他发现返回的论文中只有一部分是相关的，而且Elicit的总结不够准确，无法赢得他的青睐。“你的直觉是阅读实际的论文来验证摘要是否正确，所以它并没有节省时间，”他说。（Elicit表示，它正在为其25万名常规用户提供算法改进，一项调查显示，他们平均每周在阅读和搜索方面节省了90分钟。）

Elicit是由一家非营利研究机构于2021年创建的，它是帮助科学家浏览文献的一系列日益增长的AI工具的一部分。“这些平台正在爆炸式增长，”Research Consulting公司的Andrea Chiarelli说，他在出版业跟踪AI工具的发展。但是，它们的开发人员面临着挑战。其中包括：为这些工具提供动力的生成系统容易产生“幻觉”，产生虚假内容，而且许多被搜索的论文都有付费墙。开发人员还在寻找可持续的商业模式；目前，许多工具都提供免费入门访问。“很难预测哪些AI工具会胜出，而且存在一定程度的炒作，但它们显示出巨大的潜力，”Chiarelli说。

与ChatGPT和其他大型语言模型（LLMs）一样，新工具是在大量文本样本上进行“训练”的，学习识别单词之间的关系。这些关联使得算法能够对搜索结果进行总结。它们还根据论文中的上下文确定相关内容，从而产生比仅使用关键词的查询更广泛的结果。世界上最大的开放获取论文库CORE的负责人Petr Knoth表示，对于除最富有的组织以外的所有组织来说，从头开始构建和训练LLM的成本太高了。因此，Elicit和其他工具使用现有的开源LLM进行训练，这些LLM基于各种各样的文本，其中许多是非科学性的。

一些工具更进一步。例如，Elicit按概念组织论文。关于摄入过多咖啡因的查询会产生分别关于减少困倦和损害运动表现的一组论文。每月收费10美元的高级版本使用额外的内部编程来提高准确性。

另一个名为Scim的工具帮助读者将注意力集中在论文的最相关部分上。这是非营利机构艾伦人工智能研究所（Allen Institute for AI）创建的语义阅读器（Semantic Reader）的一个功能，它的工作原理类似于自动墨水高亮器，用户可以自定义它以对新颖性、目标和其他主题的不同陈述应用不同的颜色。密歇根大学的信息科学家Eytan Adar说，它提供了“关于[一篇论文]是否值得研究的快速诊断和分类”，“非常有价值”，他在上个月一个扩展版本发布之前试用了一个早期版本。几个工具还在摘要中用基于其的论文摘录对其进行注释，允许用户自己判断准确性。

为了尽量避免产生虚假回应，艾伦研究所使用了一系列LLMs来运行语义阅读器，包括那些在科学论文上进行过训练的LLMs。但是这种方法的效果很难衡量。“这些都是我们理解边缘的困难技术问题，”麻省理工学院（Massachusetts Institute of Technology）计算机科学家Michael Carbin说，他帮助开发了一种用于总结医学文献的算法。据艾伦研究所语义学者（Semantic Scholar）论文库首席科学家Dan Weld称：“目前，我们最好的标准是让一个受过良好教育的人查看[AI输出]并仔细分析。”该研究所从300多名付费研究生和数千名志愿者测试人员那里收集了反馈意见。质量检查发现，将Scim应用于非计算机科学论文会产生故障，因此该研究所目前仅将其应用于约55万篇计算机科学论文。

尽管存在这些挑战，计算机科学家已经在寻找开发更复杂的人工智能，能够从文献中收集到更丰富的信息。他们希望收集线索来增强药物的发现，并不断更新系统的评论。由美国国防高级研究计划局支持的研究探索了能够自动生成科学假设的系统，通过识别已发表的论文所揭示的现有知识的缺口。 但目前，来自阿默斯特分校的马萨诸塞大学的哈米德·扎马尼说，使用人工智能工具的科学家需要保持一种健康的怀疑水平。LLM“肯定会变得更好”。但现在，它们有很多局限性。他们提供错误的信息。所以科学家们应该非常意识到这一点，并仔细检查他们的输出。”