有报道称人工智能（AI）提供的新工具可以帮助科研人员处理文献，这让在KTH皇家理工工学院学习的Iosif Gidiotis非常感兴趣。随着论文数量的迅速增长，去年所有科学领域共发表了近300万篇论文，人工智能研究助理“听起来很棒”。 Gidiotis希望人工智能能找到比其他搜索工具更多的相关论文，并总结它们的亮点。
但结果令他有点失望。当他尝试使用像Elicit这样的人工智能工具时，他发现返回的论文只有一部分是相关的，而Elicit的摘要不足以准确到令他满意。“你本能地会去阅读实际的论文以验证总结是否正确，因而并不会节省时间。”Elicit表示正在为其25万名普通用户继续改进算法，在一项调查中，Elicit的用户认为它平均每周为他们节省了90分钟的阅读和搜索时间。
Elicit由一家非营利研究组织于2021年创建，是一款日益稳定的人工智能工具，旨在帮助科学家浏览文献。Andrea Chiarelli说：“这些平台正在爆炸式增长。此类工具提供内容的生成系统容易因为虚假内容“产生幻觉”，而且搜索到的许多论文都在付费墙后面。开发商也在寻找可持续的商业模式。目前，许多网站提供入门级的免费服务。很难预测哪些人工智能工具会占上风，虽然有一定程度的炒作，但它们显示出了巨大的前景。”
与ChatGPT和其他大型语言模型（LLM）一样，新工具在大量文本样本上进行“训练”，学习识别单词关系。这些关联使算法能够对搜索结果进行总结。它们还根据论文中的上下文识别相关内容，产生比仅使用关键词查询更广泛的结果。世界上最大的开放获取论文库CORE的主管Petr Knoth表示，除了最富有的组织之外，从头开始建立和培训LLM的成本太高。因此，Elicit使用现有的开源LLM，这些LLM经过了广泛的文本培训，其中许多文本是非科学的。
另一个名为Scim的工具有助于吸引读者关注论文中最相关的部分。非营利组织艾伦人工智能研究所创建的语义阅读器工具具有的一个功能，其工作原理就像一个自动墨水荧光笔，用户可以自定义它，将不同的颜色应用于关于新颖性、目标和其他主题的陈述。密歇根大学的信息科学家Eytan Adar表示，它提供了“一种关于（论文）是否值得参与的快速诊断和分诊”，这“非常有价值”，他在上个月推出扩展版之前尝试了早期版本。一些工具还用摘要所依据的论文摘录来注释摘要，允许用户自己判断其准确性。
为了避免产生错误的回答，艾伦研究所使用一套LLM来操作语义阅读器，其中包括经过科学论文培训的LLM。但这种方法的有效性很难衡量。麻省理工学院的计算机科学家Michael Carbin说：“这些都是我们理解的核心技术难题。”他帮助开发了一种总结医学文献的算法。艾伦研究所语义学者论文库的首席科学家Dan Weld表示，“当前我们最佳的标准是让受过良好教育的人进行检查（人工智能的输出）并仔细分析。”该研究所已经收集了300多名付费研究生和数千名志愿测试人员的反馈。质量检查显示，将Scim应用于非计算机科学论文会出现差错，因此该研究所目前仅为约55万篇计算机科学论文提供Scim。
其他研究人员强调，只有在开发者和用户能够基于访问论文全文来为搜索结果和内容分析提供信息的情况下，人工智能工具才能发挥其潜力。皇家墨尔本理工大学的计算语言学家Karin Verspoor说：“如果我们不能访问文本，那么我们对这些文本中所包含的知识的看法是有限的。”
即使是世界上最大的科学出版商爱思唯尔，也将其人工智能工具限制在论文摘要上。2023年8月，这家商业公司在其Scopus数据库中首次推出了人工智能辅助搜索功能，该数据库列出了9300万份研究出版物，使其成为科学家中最大的数据库之一。作为对查询的响应，其算法识别最相关的摘要，并使用ChatGPT的一个版本来提供总体摘要。Scopus AI还按概念对摘要进行分组。爱思唯尔负责分析产品和数据平台的高级副总裁Maxim Khan表示，仅使用摘要的方法与爱思唯尔与其他出版商的许可协议条款一致，这些协议允许他们的论文摘要在Scopus中列出。这种方法足以帮助跨学科领域的研究人员快速了解特定主题。
艾伦研究所采取了不同的方法：它与50多家出版商谈判达成协议，允许其开发者对付费论文的全文进行数据挖掘。Weld表示，几乎所有的出版商都提供免费访问服务，因为人工智能为他们带来了流量。即便如此，许可限制限制了Semantic Reader用户只能访问Semantic Scholar 6000万篇全文论文中的800万篇全文。Knoth表示这样的谈判对他的组织来说非常耗时。Knoth说：“这很难被视为一个公平、公平的竞争环境。”他的大学资助知识库致力于开发工具，帮助科学家探索其内容。
实现大规模的数据挖掘还需要让更多的作者和出版商采用非PDF格式，帮助机器有效地消化论文内容。美国白宫2022年的一项指令要求，由联邦资金资助撰写的论文必须是机器可读的，但各机构尚未提出细节。
尽管面临挑战，计算机科学家已经在寻求开发更复杂的人工智能，能够从文献中收集更丰富的信息。他们希望获得线索以加强药物发现并不断更新系统综述。美国国防部高级研究计划局支持的研究探索了能够通过识别已发表论文中揭示的现有知识空白来自动生成科学假设的系统。
但马萨诸塞大学阿默斯特分校研究交互式信息访问系统的Hamed Zamani表示，目前，使用人工智能工具的科学家需要保持适当的怀疑态度。LLM肯定会变得更好。但现在，它们有很多局限性。它们会提供错误的信息。因此科学家应该非常清楚这一点，并仔细检查它们的输出结果。”
