同行评审，学术界的基石，竟然被AI入侵了！生态学家Timothée Poisot在审阅稿件时发现，一份评审报告疑似由AI炮制，这就像一颗炸弹，在学术圈炸开了锅。机器评审，是进步还是灾难？
实际上，早在 ChatGPT 等基于 LLMs 的 AI 工具出现前，出版商就已使用多种 AI 应用来简化同行评审流程。如今，AI 系统正改变着同行评审，有的是在出版商鼓励下，有的则违反规则。一项针对 2023 年和 2024 年提交给 AI 会议论文的同行评审报告研究发现，7% - 17% 的报告有被 LLMs “大幅修改” 的迹象。许多资助者和出版商目前禁止评审人员使用 AI，担心信息泄露。但哥本哈根大学的塞巴斯蒂安?波尔斯丹?曼恩表示，若使用离线 LLMs 则不会有此问题。
不同研究者对 AI 在同行评审中的作用看法不一。葡萄牙天主教大学的德里特乔恩?格鲁达认为使用离线 LLMs 改写笔记可加快和优化评审撰写过程；但西雅图华盛顿大学的进化生物学家卡尔?伯格斯特龙反驳称，依赖 AI 可能导致评审分析肤浅。波尔斯丹?曼恩指出，LLMs 能改善部分评审风格，但也存在错误。
斯坦福大学的计算生物学家詹姆斯?邹团队正在开发一种评审 “反馈代理”，可评估人类评审报告并提出改进建议。去年 12 月在伦敦的出版商创新展上，许多 AI 开发者展示了用于改善同行评审的产品，如荷兰世界大脑学者公司的 Eliza 和跨国出版服务公司 Enago 与 Charlesworth 开发的 Review Assistant 等。英国初创公司 Grounded AI 开发的 Veracity 可检查引用论文是否存在及相关内容是否对应。
美国物理联合会的出版部门 AIP Publishing 正在两家期刊试用 Grounded AI 和 Hum 公司开发的 Alchemist Review 软件，主要用于人类评审前辅助工作。2024 年 12 月一项对顶级医学期刊指南的研究发现，大型出版商中，爱思唯尔目前禁止评审人员使用生成式 AI 或 AI 辅助评审，而威利和施普林格?自然允许 “有限使用”，且要求披露 AI 使用情况并禁止上传手稿。在 78 份顶级医学期刊中，59% 禁止在同行评审中使用 AI，其余则有不同程度允许。最激进的 AI 应用是直接提供自动评审手稿的工具，如澳大利亚的 Paper - Wizard，其共同创造者称这是帮助作者的 “预同行评审” 产品。
