《提高同行评审透明度的4种方法,以增强对流程的信任》

  • 来源专题:科技期刊发展智库
  • 编译者: 李涵霄
  • 发布时间:2022-10-18
  •   新冠疫情和其他全球危机扩大了同行评审保证研究质量的作用,同时在许多方面检验了对同行评审的信任。期刊编辑团队和审稿人面临压力,要求以创纪录的速度对大量论文进行同行评议,这引发了学术界内外的担忧,即在固有的不完善过程中,可能会出现更高程度的人为错误。

      自从同行评议成为学术出版的一部分,对有缺陷的同行评审过程、负担过重的评审员和评审员偏见的担忧,便使同行评审站不住脚。2010年代早期的研究揭示了许多学科正在发生的抄袭危机,这在同行评议的历史上是一个特别令人担忧的时期。然而,尽管对同行评议的现状有些不满,但近年来进行的调查,包括Publons的2018年《全球同行评议状况》报告,显示出大多数研究人员都想努力改进同行评议,而不是取代或绕过同行评议。在学术界,学术期刊出版的利益相关者都做出了回应,更加重视评审和改进同行评议实践,2019年同行评议周的主题“同行评议的质量”就体现了这一点。当利益相关者努力加强同行评议时,现在的问题是,可以做些什么来建立并在许多情况下重建评审过程中的信任?

      可以说,解决同行评议过程局限性的最佳方法就是努力使同行评议实践更加透明。SCHOLASTICA总结了五种提高同行评审透明度的方法,将有助于增强对评审过程的信任。

    1、将研究问题和方法置于结果之前

      近年来,人们对同行评议有效性的主要担忧之一是,占主导地位的同行评议模式——即学者设计研究、进行研究、撰写报告,然后接受反馈——可能会阻碍无效和负面结果的发布,从而导致再现性危机。在2019年国际管理与技术编辑协会大会(ISMTE)的主题演讲中,开放科学中心执行主任Brian Nosek讨论了在期刊影响因子和其他基于引文的激励系统主导的“出版或毁灭”研究文化中,与负面或非决定性的研究成果相比,积极研究成果往往更受期刊青睐。因此,学者们可能被迫,有意或无意地,在他们的工作中对研究进行歪曲性解释。

      为了解决人们对研究歪曲的可能性以及对零结果和负面结果偏见的担忧,近年来,注册报告的出版格式得到了发展。在注册报告格式中,同行评审分为两部分:①对研究概念和设计的初步同行评审,用于确定接受或拒绝;②完成论文的同行评审,此评审阶段仅评估研究内容的质量,而不是研究结果的性质。

    2、采用更开放的同行评审做法

      一旦研究完成并正在进行同行评审,许多人的另一个信任担忧是,期刊同行评审的稳健性、出版决策背后的理由以及评审者的身份缺乏透明度。期刊可以通过在其出版网站上提供详细的同行评审政策,解决同行评审过程性质的高度不确定性。至于使同行评议人的建议和/或身份更加透明,一些期刊目前正在试验更开放的同行评议做法。开放同行评议的定义和级别可能有很大差异,但该术语通常指以下一种或多种做法:

    (1)与期刊文章一起发布评论报告,以公开评论建议;

    (2)使作者和审阅者身份对双方和读者开放;

    (3)除受邀评审外,征求公众同行评审意见或代替受邀评审。

      开放同行评议做法的支持者认为,它们促进了问责制,并允许评审人员得到认可。当然,也有相反的观点支持盲目的同行评议,以防止歪曲的评审报告。例如,一些人认为,当评审人知道作者的身份时,他们就有可能根据隐含的偏见提出建议。正如开放式同行评审的各种定义所表明的那样,没有一刀切的方法。因此,在这个领域,期刊应该权衡不同模式的利弊,并根据自己的学科和特定出版物确定最佳的行动方案。

    3、制定共同的同行评审标准和分类法

      提高同行评审透明度并最终信任该过程的另一个基本方法是制定更普遍的同行评审标准和术语(以帮助消除同行评审政策的障碍,如“开放同行评议”的许多定义)。STM最近成立了一个“同行评议分类学工作组”,以解决期刊出版商应关注的同行评议标准的定义部分。最近开发共享发布定义的另一个例子是CRediT–参与者角色分类学倡议,它为不同类型的作者角色引入了命名约定,有助于提高研究透明度,从而提高同行评审的信任度。

      除努力开发共享同行评议分类法外,学术出版利益相关者还一直在探索规范和表达期刊出版标准的新方法,例如TOP因子。TOP因子由开放科学中心于2020年2月推出,是一个基于透明度和开放性促进(Transparency and Openness Promotion,TOP)指南的新期刊评估系统,该指南由8个出版标准组成,以提高研究透明度和再现性。TOP因子有潜力建立一个统一的共享框架,以实施和证明对期刊出版最佳实践的遵守,这将提高同行评审的透明度,并使出版商流程和规范间的比较变得更容易。TOP指南还促进了公平数据原则和开放数据,这可能有助于培养一个更加自我纠正的研究环境。

    4、促进期刊间评审报告的共享

      最后,需要解决的一个日益严重的信任问题是许多学者面临的同行评审负担日益增加。随着跨学科发表文章的速度继续增加,许多人担心评审人将很难跟上,这可能会产生更多的研究纰漏。另一个问题是,事实上,许多学者的评审工作是多余的,因为他们被要求评审已经在其他地方进行同行评审的论文。

      帮助缓解学者面临的同行评审压力的一个可能的解决方案是稿件交换通用方法(MECA),这是由国家信息标准组织(NISO)于2018年5月发起的一项倡议。MECA旨在制定一个框架,用于在不同同行评审系统之间传递稿件和评审报告。根据MECA网站,期刊之间共享评审报告有助于节省“每年因重复评审而浪费的约1500万小时的研究时间”。同样,C19快速评审倡议是20家出版商之间的大规模合作,旨在提高冠状病毒相关研究处理的效率,其正在试验一种评审报告共享版本,要求评审人同意在参与的出版商和期刊之间共享他们的身份和评审报告。

      SCHOLASTICA表示,努力使同行评议过程的所有方面更加透明,有助于防止不可避免的人为错误。同时,它可以扩大对同行评议方法和结果进行更广泛评估的潜力,学者们认为这是改善和增加同行评议信任所必需的事情。

相关报告
  • 《走向透明可信同行评审的12个步骤》

    • 来源专题:科技期刊发展智库
    • 编译者:曹珂瑞
    • 发布时间:2024-02-22
    •   作为科学知识的守护者和学术交流的管理者,同行评审员在推进研究和创新方面发挥着至关重要的作用。透明的同行评审不仅培养了研究界的信心,也巩固了突破性发现的基石。因此,各种期刊和出版商,如欧洲高等教育杂志、Wiley和ACS出版物,已经推出了让同行评议过程更加透明的具体倡议。下面列出了一些可行的建议,期刊和出版商可以实施这些建议来提高现有同行评审模式和流程的透明度和可信度。通过接受这些倡议,可以营造一个透明和协作的环境,使作者、审稿人和读者都受益。 1、在期刊网站上清楚地概述同行评议过程,以便作者和读者了解所涉及的步骤。 2、为了读者的利益,将同行评议报告与接收的手稿一起发布。 3、实施公开的同行评审(例如,公开评审人的身份),培养责任感和开放意识。 4、促进出版后的评论和审查,支持正在进行的讨论和其他观点。 5、鼓励审阅者使用预定义的模板进行评论,使评估更加透明。 6、鼓励审稿人使用ORCID标识符,以提高其贡献的透明度和认可度。 7、采用“注册报告”模式,允许研究人员在收集数据之前提交他们的研究方案供审查。 8、培养评审人员的多样性,使评审意见中含有不同的观点。 9、在评审过程中强调道德行为的重要性,鼓励评审人员披露任何潜在的利益冲突。 10、为审稿人提供培训和指导,以增强其评估的一致性和公平性。 11、为稿件的接受和拒绝建立明确的标准,包括供审稿人参考的评分标准。 12、通过征求作者和审稿人对同行评审过程的反馈意见,不断改进工作。
  • 《促进卓越性和透明度:亚洲开放获取期刊索引标准》

    • 来源专题:科技期刊发展智库
    • 编译者:李善麟
    • 发布时间:2023-11-07
    •   《亚洲开放获取》(OAA)已成为一个重要的全球资源,为研究人员和学者提供了一个广泛的一流开放存取期刊库。OAA 使命的一个基本支柱是坚持严格的期刊选择标准,确保收录的期刊都能遵守模范出版标准并促进开放性。本文探讨了 OAA 严谨的期刊遴选过程,强调了其对促进高质量研究和提高学术出版透明度的奉献精神。   质量保证   《亚洲开放获取》(OAA)优先考虑了所收藏的期刊实施强有力的质量保证机制。质量在确保学术出版物的可信度和可靠性方面发挥着至关重要的作用。通过严格的评估程序,OAA对同行评审实践、编辑标准、道德准则和出版透明度等各个方面进行评估。通过坚持这些严格的质量保证措施,OAA 旨在培养研究人员、学者和读者对其资源库中期刊的信任和信心。   开放存取政策   OAA 期刊选择的基本标准之一是对开放存取的承诺。列入 OAA 的期刊必须提供即时和不受限制的免费内容访问。开放存取可促进知识传播、促进合作,并确保全球受众都能获取研究成果。OAA 鼓励期刊采用 “知识共享”(Creative Commons)等开放式许可证,以促进出版内容的再利用和再混合。   财务透明   OAA 重视财务透明度,鼓励期刊公开其资金来源以及向作者收取的任何文章处理费 (APC) 或出版费。期刊必须明确说明其财务政策,包括向可能面临财务障碍的作者提供的任何减免或补贴。这种透明度可确保作者充分了解在特定期刊上发表论文的财务影响,促进出版过程的公平和诚信。   编辑流程和政策   OAA 严格评估期刊的编辑流程和政策,以确保其符合公平、透明和一致的原则。特别强调期刊处理主要道德问题的方法,包括剽窃、利益冲突、数据完整性以及撤稿或更正的处理。OAA 希望期刊有明确的作者指南,以促进负责任的研究实践并维护道德行为。通过严格的评估,目标是在OAA索引期刊上发表的研究成果中坚持最高的诚信标准,建立一个值得信赖和可靠的学术出版生态系统。   数字存档和保存   OAA 认识到长期保存和访问学术内容的重要性。列入 OAA 的期刊应该采用数字存档和保存实践,确保其内容的持续可访问性和可发现性。这种保存承诺有助于防止有价值的研究成果丢失,并支持学术界回溯早期出版物的能力。   出版频率和一致性   为了保持索引内容的时效性和相关性,OAA对期刊的出版频率和一致性进行评估。定期和及时的出版计划表明期刊致力于为学术界提供最新的研究成果。坚持一贯出版周期的期刊有助于知识的增长,并能保持研究人员的兴趣。   索引和摘要服务   OAA 会考虑期刊是否被知名数据库和文摘服务编入索引。被收录到公认的索引服务中可提高期刊内容的可见度和可发现性,从而扩大其在学术界的影响。OAA 致力于推广在各自学科内获得广泛认可的期刊。   结论   《亚洲开放获取》(OAA)采用的期刊选择标准体现了其对促进高质量研究和提高学术出版透明度的坚定承诺。通过全面的评估过程,OAA 优先考虑质量保证、开放获取政策、财务透明度、编辑流程、数字存档和索引服务等关键方面。通过坚持严格的卓越标准,OAA 数据库中列出的期刊为建立一个声誉良好、可靠的研究机构做出了贡献。这一承诺使研究人员、机构和更广泛的学术界能够获得有价值的开放存取出版物,促进了知识的传播,推动了学术研究的进步。