关于同行评审报告:规模重要吗?
本研究试图实证分析同行评审在多大程度上提高了出版物的质量。为此,研究者使用了 Publons (#57,482) 中的数据,其结构调整为 WoS 数据库的结构(对照组为 12,326,712 篇出版物)。用于同行评审的代理是以字数表示的评审报告的长度(由 Publons 提供)。在出版物方面,用于衡量出版物质量(在科学界引起的兴趣)的指标是收到的引用。建立了几个回归模型,每次都将引文分数作为被解释变量,审稿人报告的长度作为解释变量(同时添加一定数量的控制变量)。除了关于开放获取重要性的“经典”结果之外,
研究者对同行评审报告的长度与出版物随后的引用影响之间错综复杂的关系的探索揭示了学术交流的有趣方面。研究结果显示,审稿人报告的长度(尤其是超过 947 个字的审稿人报告)与已发表作品的引用量大幅增加之间存在统计学上的显着关联。这与最初的假设一致,表明更广泛的报告可能会发出建设性的反馈和提高文章整体质量的承诺,从而扩大其可见性和影响力。
这些发现的意义超出了回归分析的统计复杂性。他们强调了及时、全面的审稿人评估在塑造学术格局方面的关键作用。观察到的更长的报告和更高的引用之间的相关性意味着,为审稿人提供足够的时间进行彻底的评估可能有助于提高学术出版物的质量和影响力。
此外,研究结果主张提高同行评审过程的透明度,例如开放获取评审报告等举措。这种透明度可能会影响评审者的行为,从而促进更详细和更有洞察力的评估。这与(Radzvilas 等人, 2022 )等研究结果产生共鸣,强调了开放同行评审实践对审稿人参与度和勤勉度的潜在连锁效应。
审稿人的作用成为焦点。该研究强调必须承认并激励审稿人在机构评估中经常发挥的艰巨且未被充分认识的作用。作为学术诚信的守门人,审稿人在防止可能损害已发表研究质量的可疑做法和错误方面发挥着至关重要的作用。然而,同行评审面临的挑战,以及提交数量和审稿人要求激增而加剧的挑战,值得仔细考虑。审稿人评估大量文章的负担不断增加,这引起了人们对评估过程有效性的担忧。它促使人们反思如何在面对增加的工作量和时间限制时保持警惕并坚持严格的标准。在此背景下,出版后同行评审(PPPR)的兴起是一个值得注意的发展。PPPR 的日益普及表明传统同行评审范式发生了微妙的转变,表明了一种不断变化的格局,即出版后持续进行评估和审查。这一趋势引发了这样的疑问:PPPR 的强劲出现是否是传统同行评审在先发制人地发现问题方面的局限性的结果。
这项研究不仅仅是对同行评审实践与出版影响之间错综复杂的相互作用的一瞥。它提倡对同行评审过程有全面的理解,认识到其在塑造学术叙事方面的多方面作用。冗长的审稿人报告与增加的引用之间的相关性要求审稿人参与采取细致入微的方法、透明的做法和持续的警惕,以在不断发展的学术环境中保持学术交流的稳健性。