《提高同行评审透明度的4种方法,以增强对流程的信任》

  • 来源专题:科技期刊发展智库
  • 编译者: 李涵霄
  • 发布时间:2022-10-18
  •   新冠疫情和其他全球危机扩大了同行评审保证研究质量的作用,同时在许多方面检验了对同行评审的信任。期刊编辑团队和审稿人面临压力,要求以创纪录的速度对大量论文进行同行评议,这引发了学术界内外的担忧,即在固有的不完善过程中,可能会出现更高程度的人为错误。

      自从同行评议成为学术出版的一部分,对有缺陷的同行评审过程、负担过重的评审员和评审员偏见的担忧,便使同行评审站不住脚。2010年代早期的研究揭示了许多学科正在发生的抄袭危机,这在同行评议的历史上是一个特别令人担忧的时期。然而,尽管对同行评议的现状有些不满,但近年来进行的调查,包括Publons的2018年《全球同行评议状况》报告,显示出大多数研究人员都想努力改进同行评议,而不是取代或绕过同行评议。在学术界,学术期刊出版的利益相关者都做出了回应,更加重视评审和改进同行评议实践,2019年同行评议周的主题“同行评议的质量”就体现了这一点。当利益相关者努力加强同行评议时,现在的问题是,可以做些什么来建立并在许多情况下重建评审过程中的信任?

      可以说,解决同行评议过程局限性的最佳方法就是努力使同行评议实践更加透明。SCHOLASTICA总结了五种提高同行评审透明度的方法,将有助于增强对评审过程的信任。

    1、将研究问题和方法置于结果之前

      近年来,人们对同行评议有效性的主要担忧之一是,占主导地位的同行评议模式——即学者设计研究、进行研究、撰写报告,然后接受反馈——可能会阻碍无效和负面结果的发布,从而导致再现性危机。在2019年国际管理与技术编辑协会大会(ISMTE)的主题演讲中,开放科学中心执行主任Brian Nosek讨论了在期刊影响因子和其他基于引文的激励系统主导的“出版或毁灭”研究文化中,与负面或非决定性的研究成果相比,积极研究成果往往更受期刊青睐。因此,学者们可能被迫,有意或无意地,在他们的工作中对研究进行歪曲性解释。

      为了解决人们对研究歪曲的可能性以及对零结果和负面结果偏见的担忧,近年来,注册报告的出版格式得到了发展。在注册报告格式中,同行评审分为两部分:①对研究概念和设计的初步同行评审,用于确定接受或拒绝;②完成论文的同行评审,此评审阶段仅评估研究内容的质量,而不是研究结果的性质。

    2、采用更开放的同行评审做法

      一旦研究完成并正在进行同行评审,许多人的另一个信任担忧是,期刊同行评审的稳健性、出版决策背后的理由以及评审者的身份缺乏透明度。期刊可以通过在其出版网站上提供详细的同行评审政策,解决同行评审过程性质的高度不确定性。至于使同行评议人的建议和/或身份更加透明,一些期刊目前正在试验更开放的同行评议做法。开放同行评议的定义和级别可能有很大差异,但该术语通常指以下一种或多种做法:

    (1)与期刊文章一起发布评论报告,以公开评论建议;

    (2)使作者和审阅者身份对双方和读者开放;

    (3)除受邀评审外,征求公众同行评审意见或代替受邀评审。

      开放同行评议做法的支持者认为,它们促进了问责制,并允许评审人员得到认可。当然,也有相反的观点支持盲目的同行评议,以防止歪曲的评审报告。例如,一些人认为,当评审人知道作者的身份时,他们就有可能根据隐含的偏见提出建议。正如开放式同行评审的各种定义所表明的那样,没有一刀切的方法。因此,在这个领域,期刊应该权衡不同模式的利弊,并根据自己的学科和特定出版物确定最佳的行动方案。

    3、制定共同的同行评审标准和分类法

      提高同行评审透明度并最终信任该过程的另一个基本方法是制定更普遍的同行评审标准和术语(以帮助消除同行评审政策的障碍,如“开放同行评议”的许多定义)。STM最近成立了一个“同行评议分类学工作组”,以解决期刊出版商应关注的同行评议标准的定义部分。最近开发共享发布定义的另一个例子是CRediT–参与者角色分类学倡议,它为不同类型的作者角色引入了命名约定,有助于提高研究透明度,从而提高同行评审的信任度。

      除努力开发共享同行评议分类法外,学术出版利益相关者还一直在探索规范和表达期刊出版标准的新方法,例如TOP因子。TOP因子由开放科学中心于2020年2月推出,是一个基于透明度和开放性促进(Transparency and Openness Promotion,TOP)指南的新期刊评估系统,该指南由8个出版标准组成,以提高研究透明度和再现性。TOP因子有潜力建立一个统一的共享框架,以实施和证明对期刊出版最佳实践的遵守,这将提高同行评审的透明度,并使出版商流程和规范间的比较变得更容易。TOP指南还促进了公平数据原则和开放数据,这可能有助于培养一个更加自我纠正的研究环境。

    4、促进期刊间评审报告的共享

      最后,需要解决的一个日益严重的信任问题是许多学者面临的同行评审负担日益增加。随着跨学科发表文章的速度继续增加,许多人担心评审人将很难跟上,这可能会产生更多的研究纰漏。另一个问题是,事实上,许多学者的评审工作是多余的,因为他们被要求评审已经在其他地方进行同行评审的论文。

      帮助缓解学者面临的同行评审压力的一个可能的解决方案是稿件交换通用方法(MECA),这是由国家信息标准组织(NISO)于2018年5月发起的一项倡议。MECA旨在制定一个框架,用于在不同同行评审系统之间传递稿件和评审报告。根据MECA网站,期刊之间共享评审报告有助于节省“每年因重复评审而浪费的约1500万小时的研究时间”。同样,C19快速评审倡议是20家出版商之间的大规模合作,旨在提高冠状病毒相关研究处理的效率,其正在试验一种评审报告共享版本,要求评审人同意在参与的出版商和期刊之间共享他们的身份和评审报告。

      SCHOLASTICA表示,努力使同行评议过程的所有方面更加透明,有助于防止不可避免的人为错误。同时,它可以扩大对同行评议方法和结果进行更广泛评估的潜力,学者们认为这是改善和增加同行评议信任所必需的事情。

相关报告
  • 《走向透明可信同行评审的12个步骤》

    • 来源专题:科技期刊发展智库
    • 编译者:曹珂瑞
    • 发布时间:2024-02-22
    •   作为科学知识的守护者和学术交流的管理者,同行评审员在推进研究和创新方面发挥着至关重要的作用。透明的同行评审不仅培养了研究界的信心,也巩固了突破性发现的基石。因此,各种期刊和出版商,如欧洲高等教育杂志、Wiley和ACS出版物,已经推出了让同行评议过程更加透明的具体倡议。下面列出了一些可行的建议,期刊和出版商可以实施这些建议来提高现有同行评审模式和流程的透明度和可信度。通过接受这些倡议,可以营造一个透明和协作的环境,使作者、审稿人和读者都受益。 1、在期刊网站上清楚地概述同行评议过程,以便作者和读者了解所涉及的步骤。 2、为了读者的利益,将同行评议报告与接收的手稿一起发布。 3、实施公开的同行评审(例如,公开评审人的身份),培养责任感和开放意识。 4、促进出版后的评论和审查,支持正在进行的讨论和其他观点。 5、鼓励审阅者使用预定义的模板进行评论,使评估更加透明。 6、鼓励审稿人使用ORCID标识符,以提高其贡献的透明度和认可度。 7、采用“注册报告”模式,允许研究人员在收集数据之前提交他们的研究方案供审查。 8、培养评审人员的多样性,使评审意见中含有不同的观点。 9、在评审过程中强调道德行为的重要性,鼓励评审人员披露任何潜在的利益冲突。 10、为审稿人提供培训和指导,以增强其评估的一致性和公平性。 11、为稿件的接受和拒绝建立明确的标准,包括供审稿人参考的评分标准。 12、通过征求作者和审稿人对同行评审过程的反馈意见,不断改进工作。
  • 《开放同行评议:让科学研究更加透明》

    • 来源专题:科技期刊发展智库
    • 编译者:李涵霄
    • 发布时间:2022-10-19
    •   开放科学是开放获取(OA)出版的核心。根据联合国教科文组织的定义,“开放科学是一项让所有人都可以访问科学研究和数据的运动。它包括出版开放科学研究、开展开放获取运动,以及通常使科学知识更容易发布和交流等实践。此外,它还包括其他使科学在研究过程中更透明和更容易访问的方法。这包括开放电子书科学、公民科学、开源软件和众筹研究项目。” 联合国教科文组织接着定义了这一运动的4个主要优势:①公共资助科学研究产出的可用性和可获得性更高;②严格同行评审流程的可能性;③提高科学作品的再现性和透明度;④科学研究的影响更大。开放式同行评审旨在促进此处规定的“严格同行评审流程”,它确保通过开放获取发布的科学在被共享之前经过彻底审查和科学判断是有效的。   作为开放科学运动的支持者,MDPI鼓励开放同行评审过程,并认为,开放同行评审为整个科学界带来了实质性的好处,因为它有助于以透明的方式将科学研究纳入背景,并鼓励公开讨论新的发现。对于一个已经存在了至少30年的概念来说,“开放式同行评审”一词并没有一个普遍接受的定义。Tony Ross Hellauer指出,“虽然对一些人来说,这个词是指作者和审稿人的身份相互公开的同行评议,但对其他人来说,它表示审稿人报告与文章一起发布。” MDPI主要使用这个广泛定义的一个变体,即从传统的同行评审流程开始(封闭式),然后发布评审报告(在某些情况下,包括评审员的身份),以及作者的回复和文章。   MDPI认为,在同行评议过程中赋予更多开放性的一个好处是可以带来更大的透明度和信任,为科学界提供了了解编辑决策过程的窗口。透明度是科学的基本支柱之一。开放式同行评审为研究人员提供了一个机会,让他们有一个完全透明的过程来指导他们的工作评估。将评论员的报告与文章一起发表,也有助于将研究纳入背景,并让读者从其他专家意见中受益。同行评议过程的透明度提高也会导致更具建设性的同行评议。它鼓励高质量的评论,总体上提高了评论和文章本身的整体质量。评审人的信誉是另一个主要好处。审查提交的论文既费时又费力,而开放式同行评审可以让评审人员为他们的工作赢得信任。它还以反馈的形式向作者提供见解。   2014年,《生活》(Life)杂志率先为其作者提供了这一机会。第一篇公开发表的同行评议报告是诺贝尔奖获得者沃纳·阿伯的评议,评审报告作为评审的补充材料出版。同年,这项倡议扩展到了14种期刊。到2018年,在整个MDPI组合中,提交的论文均可以选择开放式同行评审。在MDPI期刊上发表的作者可以选择发表评审报告和作者对已发表论文的回应(公开报告)。审阅者可以选择将其姓名列在其发布的报告中(公开身份)。2020年,MDPI以开放式同行评议的方式发表了34,293篇文章,占当年发表文章总数的21%。然而,只有14,880份评审报告公开发表。这表明作者对完全透明的接受程度因学科而异。生物学和医学等特定领域的作者更可能欢迎这种开放性。2022年,《生物技术》(BioTech)、《欧洲烧伤杂志》(European Burn Journal )、《发育生物学杂志》(Journal of Developmental Biology)、《肝脏》(Livers )、《表观基因组》(Epigenomes)、《老年医学》(Geriatrics )、《糖尿病学》(Diabetology)、《传染病报告》(Infectious Disease Reports)、《国际新生儿筛查杂志》(International Journal of Neonatal Screening)等期刊中有40%以上的文章以开放式同行评议的形式发表。然而,在物理科学等学科中,开放同行评审的比例要低得多。2021年MDPI在这一主题上的一些领先期刊,如《能源》(Energies)、《对称性》(Symmetry)、《数学》(Mathematics)等选择将文章与评审报告一起发表的不到5%。   未来,MDPI将继续鼓励作者选择开放式同行评审,也将对作者和评审人的偏好保持灵活性。MDPI的目标是提供尽可能最好的科学出版服务,并确保同行评审过程严格、透明,有利于整个科学界。