2023年9月25-29日,美国物理学会和众多机构及研究人员参加了同行评议周活动,这是一项全球性活动,旨在庆祝同行评议对科学事业的价值,并讨论同行评议的未来。APS News 采访了美国新闻学会首席出版官Rachel Burley,探讨了科学出版业不断变化的格局及其对同行评议的影响。
学术出版业正在以惊人的速度发生变化,人工智能等新兴技术正在颠覆学术界和产业界,科学家们正在撰写比以往更多的论文。但从本质上讲,学术同行评议——研究人员向其他专家征求建议并获得对其论文的反馈——已经存在多年,其目的以及初衷并没有改变。同行评议一直都是为了确保研究文章在发表前的质量、有效性和可靠性。
(1)如今,科学家面临着“要么发表,要么毁灭”的强大压力,而在过去几十年中,发表的研究成果数量也大幅增长,这是为什么呢?这些变化对同行评议专家有何影响?
同行评议危机在某些学科比较严重,但您所描述的研究成果如雨后春笋般增长是其背后的原因。在我看来,这始于21世纪初巨型期刊的出现。这些刊物摒弃了选择性和新颖性。他们并不一定要求审稿人寻找新颖和与众不同的东西,他们只是强调:如果技术上合理,我们就发表。
我认为这并不一定是坏事,但产生了一系列以前未发表的新研究。而且,由于在开放获取模式下,每发表一篇论文都有可能带来收入,因此新的出版商进入了这一领域。因此,出版压力和送审论文数量的增加(期刊数量增加,选择性降低),使整个生态系统给同行评议专家带来了更大的压力,他们需要审阅更多的稿件,却没有更多的时间。
(2)出版商如何解决这个问题?
出版商最初的工作重点是简化流程,想方设法缩短同行评议的时间。例如,首先为论文找到合适的审稿人。他们还试图通过自动化或接管同行评议专家无法合理完成的部分工作(如投稿检查)来提高效率,以确保稿件对评审专家来说处于最佳状态,因此他们只需关注科学性。
许多出版商还对审稿人培训进行了投资。一般来说,没有正规的审稿人培训,也许能够很幸运能找到人指导你完成整个流程,但很多审稿专家并不知道他们需要什么样的反馈。
但由于研究数量如此之大,即使所有这些努力加在一起,也不一定能解决问题。
(3)很多人认为,多元化的同行评议专家队伍可以提高研究水平,减少偏见,包括影响论文发表的偏见。期刊出版商如何提高同行评议人员的多样性?
越来越多的人认识到,出版商在这方面可以发挥重要作用。一些出版商正在创建审稿人数据库,不仅收集研究人员的专业知识和背景,还收集人口统计信息,以提高包容性,他们正在与资源匮乏群体组织合作。
出版商也在尝试双盲同行评议,据说这样可以消除一些偏见,或者完全公开透明的同行评议,即评审人评审意见与论文一起发表。其理由是,如果一切都公开记录在案,就很难产生偏见。但这两种方法都没有被证明是完美的。在物理学领域,这尤其困难,因为我们有 arXiv。如果人们真的想知道谁写了一篇论文,他们几乎肯定能找到。
(4)在你看来,公开同行评议的局限是什么?
如果你要为你所在领域比你资深的知名专家评审一篇论文,那么你几乎肯定不想以负面的方式批评这篇论文,因为这会损害你的职业发展。至少,有些人会这么认为。
还有时间投入。很多人觉得时间投入是一个很大的限制,所以他们宁愿不做公开评审。
(5)同行评议面临的另一个挑战是跨学科研究的兴起。期刊如何确保跨越传统学科界限的研究得到严格评估?
首先,期刊可以努力组建多学科审稿专家团队。并非每个人都具备所有学科领域的专业知识,但作为一个团队,他们更有可能覆盖多学科研究。其次,透明度也会有所帮助。如果能将跨学科研究的评审方式透明化,那么就能提高评审过程的可信度。这可能意味着,作为出版商或期刊,需要提供信息,说明所使用的审稿专家的专业知识,以及如何采纳他们的反馈意见的。最后,期刊编辑也可以发挥一定作用,他们可以指导同行评议过程,确保跨学科研究得到正确的反馈。编辑还可以帮助作者更清晰地解释论文中涉及的概念(领域术语),或帮助审稿人理解论文中的概念。同行评议在跨学科研究中尤为重要,因为读者并不是什么都懂。
(6)由于预印本(arXiv.org)的上传速度很快,同行评议在物理学界可能显得尤为缓慢。出版商是如何考虑同行评议效率的?
在物理学领域,在发表和投稿前或过程中时,将原稿发布到arXiv上征求反馈意见是司空见惯的事。对出版速度的关注让出版商开始发挥创意——创建自动化系统、外包稿件评审的某些环节、监控并缩短每个阶段的周转时间。
但是,快速同行评议和出版的弊端在于:一些不该发表的东西被发表了,而且科研造假的风险也在增加,可能会出现漏网之鱼。
(7)您认为出版会太快吗?
速度与严谨之间需要平衡。如何让出版速度更快,同时确保可以信任它,并确保同行评议的严谨性?这也正是期刊的职责,专家团队为值得信赖的期刊工作。这样的方案并不完美,但是并没有找到可替代的方案。
(8)白宫去年宣布,联邦政府资助的研究成果必须在2025年底前向公众开放,这在一定程度上推动了开放获取的发展。这些转变对同行评议有何影响?
大多数出版商都在向开放获取过渡,包括美国物理学会。我们在《物理评论》期刊中提供开放获取和混合选项,并参与粒子物理学开放获取出版赞助联盟。
虽然开放获取提高了文章的可获得性,但也需要合适的资助模式。在美国,白宫和相关机构并没有倡导任何一种商业模式。但很明显,开放获取的“绿色通道”(在出版后立即缴存稿件,而没有12个月的封闭期)依赖于订阅模式。随着越来越多的内容开放,这种模式将难以持续。
这让学术出版商陷入了目前行业所处的困境,我们正在努力寻找一种可持续的资助模式,以确保我们能在开放获取的世界里继续进行严格的同行评议。
(9)人工智能如何影响同行评议?它有哪些好处和风险?
在谨慎操作的前提下,人工智能也有其益处,比如实现自动化流程——匹配合适的审稿人、识别潜在的伦理问题、评估语言质量和写作。目前,所有这些事情都可以通过人工智能可靠地完成,并提高效率,分担编辑和审稿专家的工作,让他们能够专注于科学研究。
还有一种可能是,人工智能变得如此优秀,以至于它真的可以进行同行评议。当然,现在没人相信这一点,但我们也曾不相信开放式人工智能会发展到今天这个阶段。ChatGPT已经通过了大学考试。但挑战在于,人工智能算法可能会从它们所训练的数据中继承偏见。这可能会导致更多的偏见,比如有偏见的审稿人推荐。我们必须努力确保消除这种情况,减少意外偏见。
此外,我们还需要考虑隐私、数据安全和透明度等方面的道德问题。作者和审稿专家需要了解他们的数据是如何被使用的,以及谁可以访问这些数据。
有些方面人工智能工具还无法做到,需要人工判断。人工智能算法还不能确定什么是新颖的或突破性的。它们是在现有研究基础上训练出来的,而我们要找的是新发现。
原文标题:Scholarly Peer Review is an Age-Old Practice, But Publishing is Changing
原文链接:https://www.aps.org/publications/apsnews/202310/peer-review.cfm