《人工智能辅助同行评审:在完整性和评审速度之间保持平衡》

  • 来源专题:科技期刊发展智库
  • 编译者: 郭林林
  • 发布时间:2023-10-08
  • 在当今快速发展的学术环境中,人工智能(AI)辅助的同行评审已成为一种很有前途的解决方案,可以提高评审过程的效率和质量。然而,在保持完整性和加快审查时间之间取得微妙的平衡是一个重大挑战。在这篇文章中,我们深入研究了人工智能辅助同行评审的复杂性,并探讨了它如何在坚持最高诚信标准的同时彻底改变学术出版。

    人工智能辅助的同行评审需要将人工智能技术融入传统的同行评审过程。其主要目的是简化和优化学术论文的评估。利用人工智能算法的方法旨在加快审查过程,减少偏见,并最终提高已发表研究的整体质量。它的另一个主要优势是,人工智能辅助的同行评审能够快速分析和评估论文,节省作者和审稿人的时间。它最大限度地减少了偏见,建立了客观的评估标准,并提高了可靠性。人工智能算法可以有效地检测错误、剽窃和不一致的情况,保持完整性和学术严谨性。

    (1)AI辅助同行评审的完整性

    在人工智能辅助的同行评审中,保持完整性需要采取具体措施来应对挑战和减轻偏见。审查人员需要了解决策过程,避免依赖黑匣子算法,因此算法的透明度至关重要。必须通过定期监测和改进来解决算法偏见,特别是与性别、种族或机构隶属关系有关的偏见。人类专业知识对于专家监督、识别细微错误、评估研究意义和提供上下文见解至关重要。用高质量的数据和经验丰富的评审员的反馈来训练人工智能模型,可以优化同行评审过程,而持续的校准可以确保与科学标准保持一致,从而实现可靠的结果。

    (2)在完整性和审查速度之间保持平衡

    为了在完整性和审查速度之间取得平衡,应该考虑几个因素。首先,期刊必须针对这两方面制定明确的审查指南。这些指南应概述对人类评审员和人工智能系统的期望,确保一致性并保持道德标准。其次,认识到不同研究领域的不同复杂性和重要性,审查时间表的灵活性至关重要。通过采用分级方法,可以在紧急情况下进行快速审查,同时仍然保持对重大贡献的严格标准,在及时公布和全面评估之间实现平衡。最后,人工智能辅助同行评审系统的开发和实施应被视为一个持续的评估和改进过程。研究人员、开发人员和利益相关者之间的合作在促进创新、应对新出现的挑战以及完善人工智能算法以优化速度和完整性方面发挥着至关重要的作用。

    (3)结论

    人工智能辅助的同行评审为学术出版提供了一个令人兴奋的前沿领域。通过利用人工智能算法,研究人员可以从更快的评估时间、增强的客观性和提高的可靠性中受益。然而,要深思熟虑地驾驭这一局面并在完整性和速度之间取得微妙的平衡至关重要。通过透明的算法、人类专业知识和AI的持续改进,科学界可以利用人工智能辅助同行评审的潜力,同时维护最高标准的学术诚信。通过接受这些进步,我们可以加快知识的传播,推动创新,追求卓越的科学。

相关报告
  • 《Elsevier关于人工智能和人工智能辅助技术在科研写作中的应用政策》

    • 来源专题:科技期刊发展智库
    • 编译者:孟美任
    • 发布时间:2023-03-31
    • 生成式人工智能和人工智能辅助技术已被内容创作者广泛使用。爱思唯尔制定《关于人工智能和人工智能辅助技术在科研写作中的应用政策》,旨在为给予作者、审稿人、编辑和投稿人更加透明的指导。爱思唯尔将继续跟踪该领域的发展,并在适当的时候调整或完善这一政策。 如果作者在写作过程中使用人工智能和人工智能辅助技术,这些技术只能用于语言润色和提高作品的可读性,而不能取代关键的研究任务,如产生科学见解、分析和解释数据或得出科学结论。应用该技术应该在人为监督和控制下进行,作者应该仔细审查和编辑结果,因为人工智能可以生成看上去很权威的输出,但这些输出可能不正确、不完整或有偏见。作者对作品的内容负最终责任和义务。 作者应在手稿中披露对人工智能和人工智能辅助技术的使用,并在已发表的作品中增加声明,以增强作者、读者、审稿人、编辑和贡献者之间的透明度和信任,并遵守相关工具或技术的使用条款。 作者不应将人工智能和人工智能辅助技术列为作者或合作者,也不应引用人工智能作为作者的内容。作者身份只能属于人类并由人类承担的责任和执行的任务。每个(共同)作者都有责任对与研究内容任何部分的准确性或完整性有关的问题进行调查和解决,并且所有作者都需确定并同意提交最终版本。作者还应确保作品是原创的、声明的作者有资格获得作者身份、作品不侵犯第三方权利,并且在提交之前应充分了解爱思唯尔的出版道德政策。
  • 《科学资助机构拒绝使用人工智能进行同行评审》

    • 来源专题:科技期刊发展智库
    • 编译者:唐果媛
    • 发布时间:2023-10-08
    • 2023年7月19日,神经科学家格雷格·西格尔(Greg Siegle)在2023年4月初的一次会议上听到了一件他认为“非常可怕”的事情。另一位科学家表示,人工智能(AI)工具ChatGPT(于2022年11月发布)已成为他作为国家卫生研究院(NIH)同行评审专家不可或缺的工具,用来辅助翻阅厚厚的研究提案和起草评审意见。其他听众表示认可,他们认为ChatGPT是一个重要的时间节省工具:起草一份评审意见可能只需要将提案的部分内容(例如摘要、目标和研究战略)粘贴到AI中,并要求其评估信息。 然而,NIH和其他资助机构正在禁止这种方法。6月23日,NIH禁止使用像ChatGPT这样的在线生成式人工智能工具“进行同行评审评论的分析和制定” - 这可能在一定程度上受到了匹兹堡大学的西格尔及其同事的一封信的影响。会后,他们警告该机构,允许ChatGPT撰写资助评审意见是“危险的先例”。类似地,澳大利亚研究委员会(ARC)在得知评审意见似乎是由ChatGPT撰写后,于7月7日禁止使用生成式人工智能进行同行评审。 其他机构也在制定应对措施。一位发言人表示,美国国家科学基金会已经成立了一个内部工作组,研究AI是否可以作为论文价值审查过程的一部分,并且是否需要“防范措施”。欧洲研究委员会也预计将讨论关于AI用于撰写和评估提案的问题。 ChatGPT和其他大型语言模型在庞大的信息数据库上进行训练,以生成看似由人类编写的文本。这些机器人已经促使关注伦理和事实准确性的科学出版商限制其用于撰写论文。包括《科学》杂志在内的一些出版商和期刊也禁止评审员使用它们。 对于资助机构来说,保密是最令人担忧的问题。当提案的部分内容被输入在线AI工具时,这些信息将成为其训练数据的一部分。NIH在其通知中表示,其担心“数据将来会被发送、保存、查看或用于何处”。 批评者还担心,由AI撰写的评论可能会出现错误(众做周知,这些机器人会编造虚假信息),由于它们来源于现有信息,可能会对非主流观点有偏见,并且缺乏推动科学创新的创造力。NIH官员在博客上写道:“NIH重视的思维独创性在这一过程中丧失并被同质化,甚至可能构成抄袭。”对于期刊来说,评审员的责任也是一个令人担忧的问题。IOP 出版社的同行评审负责人金·埃格尔顿(Kim Eggleton)表示:“无法保证(评审员)理解或同意他们所提供的内容。”在澳大利亚,一名研究人员运营的匿名Twitter账号(ARC_Tracker)报告称,一些科学家收到了似乎是由ChatGPT撰写的评论,一周后,ARC禁止评审员使用生成式人工智能工具。该账号表示,当他们将提案的部分内容粘贴到ChatGPT中时得到了类似的评价,并且有一个评审甚至包含一个线索,即出现在ChatGPT回应的末尾的“重新生成回应”字样。ScienceInsider确认了账号ARC_Tracker运营人员的身份,但同意其匿名,以便这位科学家和其他人可以自由地批评ARC和政府政策,而无需担心后果。 ARC_Tracker运营人员表示,科学家可能认为ChatGPT提供了有意义的反馈,但它实质上只是重复了提案内容。不可否认,一些人类评论员也会这样做。但是,该科学家在给ScienceInsider的电子邮件中写道:“适当的评论与仅仅对提案中已有内容进行概述之间有很大的区别,适当的评论应该提供深刻见解、批判、明确的意见和专业评估。” 然而,一些研究人员表示,AI提供了改进同行评审过程的机会。爱荷华大学的精神遗传学家杰克·迈克尔森(Jake Michaelson)表示,NIH的禁令是对“技术恐惧症对积极变革机会的退缩”。评审员可以使用这些工具检查他们的评论,看看他们是否忽略了提案中的某些内容,帮助他们评估自己领域之外的工作,并修正他们没有意识到的“琐碎甚至是恶意”的语言。迈克尔森补充道:“最终,我认为AI将成为同行评审过程的第一线,人类专家将对第一线的AI评审进行补充...我宁愿让ChatGPT-4审查我的提案,而不是一个懒惰的人类评审员。” 这个领域可能会随着时间的推移而发生变化。一些科学家在NIH的博客上指出,一些生成式AI模型可以离线工作,不会违反保密性 - 至少消除了这种担忧。NIH回应称,它希望为将“迅速发展的领域”“提供额外的指导”。西北大学的伦理博士后研究员穆罕默德·侯赛因(Mohammad Hosseini)曾撰文讨论过AI在手稿审查中的应用,他认为NIH的禁令是合理的:“考虑到NIH所处理问题和项目的敏感性,以及AI工具的新颖性,采用谨慎和审慎的方法是绝对必要的。”