新冠疫情和其他全球危机扩大了同行评审保证研究质量的作用,同时在许多方面检验了对同行评审的信任。期刊编辑团队和审稿人面临压力,要求以创纪录的速度对大量论文进行同行评议,这引发了学术界内外的担忧,即在固有的不完善过程中,可能会出现更高程度的人为错误。
自从同行评议成为学术出版的一部分,对有缺陷的同行评审过程、负担过重的评审员和评审员偏见的担忧,便使同行评审站不住脚。2010年代早期的研究揭示了许多学科正在发生的抄袭危机,这在同行评议的历史上是一个特别令人担忧的时期。然而,尽管对同行评议的现状有些不满,但近年来进行的调查,包括Publons的2018年《全球同行评议状况》报告,显示出大多数研究人员都想努力改进同行评议,而不是取代或绕过同行评议。在学术界,学术期刊出版的利益相关者都做出了回应,更加重视评审和改进同行评议实践,2019年同行评议周的主题“同行评议的质量”就体现了这一点。当利益相关者努力加强同行评议时,现在的问题是,可以做些什么来建立并在许多情况下重建评审过程中的信任?
可以说,解决同行评议过程局限性的最佳方法就是努力使同行评议实践更加透明。SCHOLASTICA总结了五种提高同行评审透明度的方法,将有助于增强对评审过程的信任。
1、将研究问题和方法置于结果之前
近年来,人们对同行评议有效性的主要担忧之一是,占主导地位的同行评议模式——即学者设计研究、进行研究、撰写报告,然后接受反馈——可能会阻碍无效和负面结果的发布,从而导致再现性危机。在2019年国际管理与技术编辑协会大会(ISMTE)的主题演讲中,开放科学中心执行主任Brian Nosek讨论了在期刊影响因子和其他基于引文的激励系统主导的“出版或毁灭”研究文化中,与负面或非决定性的研究成果相比,积极研究成果往往更受期刊青睐。因此,学者们可能被迫,有意或无意地,在他们的工作中对研究进行歪曲性解释。
为了解决人们对研究歪曲的可能性以及对零结果和负面结果偏见的担忧,近年来,注册报告的出版格式得到了发展。在注册报告格式中,同行评审分为两部分:①对研究概念和设计的初步同行评审,用于确定接受或拒绝;②完成论文的同行评审,此评审阶段仅评估研究内容的质量,而不是研究结果的性质。
2、采用更开放的同行评审做法
一旦研究完成并正在进行同行评审,许多人的另一个信任担忧是,期刊同行评审的稳健性、出版决策背后的理由以及评审者的身份缺乏透明度。期刊可以通过在其出版网站上提供详细的同行评审政策,解决同行评审过程性质的高度不确定性。至于使同行评议人的建议和/或身份更加透明,一些期刊目前正在试验更开放的同行评议做法。开放同行评议的定义和级别可能有很大差异,但该术语通常指以下一种或多种做法:
(1)与期刊文章一起发布评论报告,以公开评论建议;
(2)使作者和审阅者身份对双方和读者开放;
(3)除受邀评审外,征求公众同行评审意见或代替受邀评审。
开放同行评议做法的支持者认为,它们促进了问责制,并允许评审人员得到认可。当然,也有相反的观点支持盲目的同行评议,以防止歪曲的评审报告。例如,一些人认为,当评审人知道作者的身份时,他们就有可能根据隐含的偏见提出建议。正如开放式同行评审的各种定义所表明的那样,没有一刀切的方法。因此,在这个领域,期刊应该权衡不同模式的利弊,并根据自己的学科和特定出版物确定最佳的行动方案。
3、制定共同的同行评审标准和分类法
提高同行评审透明度并最终信任该过程的另一个基本方法是制定更普遍的同行评审标准和术语(以帮助消除同行评审政策的障碍,如“开放同行评议”的许多定义)。STM最近成立了一个“同行评议分类学工作组”,以解决期刊出版商应关注的同行评议标准的定义部分。最近开发共享发布定义的另一个例子是CRediT–参与者角色分类学倡议,它为不同类型的作者角色引入了命名约定,有助于提高研究透明度,从而提高同行评审的信任度。
除努力开发共享同行评议分类法外,学术出版利益相关者还一直在探索规范和表达期刊出版标准的新方法,例如TOP因子。TOP因子由开放科学中心于2020年2月推出,是一个基于透明度和开放性促进(Transparency and Openness Promotion,TOP)指南的新期刊评估系统,该指南由8个出版标准组成,以提高研究透明度和再现性。TOP因子有潜力建立一个统一的共享框架,以实施和证明对期刊出版最佳实践的遵守,这将提高同行评审的透明度,并使出版商流程和规范间的比较变得更容易。TOP指南还促进了公平数据原则和开放数据,这可能有助于培养一个更加自我纠正的研究环境。
4、促进期刊间评审报告的共享
最后,需要解决的一个日益严重的信任问题是许多学者面临的同行评审负担日益增加。随着跨学科发表文章的速度继续增加,许多人担心评审人将很难跟上,这可能会产生更多的研究纰漏。另一个问题是,事实上,许多学者的评审工作是多余的,因为他们被要求评审已经在其他地方进行同行评审的论文。
帮助缓解学者面临的同行评审压力的一个可能的解决方案是稿件交换通用方法(MECA),这是由国家信息标准组织(NISO)于2018年5月发起的一项倡议。MECA旨在制定一个框架,用于在不同同行评审系统之间传递稿件和评审报告。根据MECA网站,期刊之间共享评审报告有助于节省“每年因重复评审而浪费的约1500万小时的研究时间”。同样,C19快速评审倡议是20家出版商之间的大规模合作,旨在提高冠状病毒相关研究处理的效率,其正在试验一种评审报告共享版本,要求评审人同意在参与的出版商和期刊之间共享他们的身份和评审报告。
SCHOLASTICA表示,努力使同行评议过程的所有方面更加透明,有助于防止不可避免的人为错误。同时,它可以扩大对同行评议方法和结果进行更广泛评估的潜力,学者们认为这是改善和增加同行评议信任所必需的事情。