《关于同行评审报告:规模重要吗?》

  • 来源专题:数智化图书情报
  • 编译者: 徐宏帅
  • 发布时间:2024-03-19
  • 关于同行评审报告:规模重要吗?

    本研究试图实证分析同行评审在多大程度上提高了出版物的质量。为此,研究者使用了 Publons (#57,482) 中的数据,其结构调整为 WoS 数据库的结构(对照组为 12,326,712 篇出版物)。用于同行评审的代理是以字数表示的评审报告的长度(由 Publons 提供)。在出版物方面,用于衡量出版物质量(在科学界引起的兴趣)的指标是收到的引用。建立了几个回归模型,每次都将引文分数作为被解释变量,审稿人报告的长度作为解释变量(同时添加一定数量的控制变量)。除了关于开放获取重要性的“经典”结果之外,


    研究者对同行评审报告的长度与出版物随后的引用影响之间错综复杂的关系的探索揭示了学术交流的有趣方面。研究结果显示,审稿人报告的长度(尤其是超过 947 个字的审稿人报告)与已发表作品的引用量大幅增加之间存在统计学上的显着关联。这与最初的假设一致,表明更广泛的报告可能会发出建设性的反馈和提高文章整体质量的承诺,从而扩大其可见性和影响力。


    这些发现的意义超出了回归分析的统计复杂性。他们强调了及时、全面的审稿人评估在塑造学术格局方面的关键作用。观察到的更长的报告和更高的引用之间的相关性意味着,为审稿人提供足够的时间进行彻底的评估可能有助于提高学术出版物的质量和影响力。


    此外,研究结果主张提高同行评审过程的透明度,例如开放获取评审报告等举措。这种透明度可能会影响评审者的行为,从而促进更详细和更有洞察力的评估。这与(Radzvilas 等人, 2022 )等研究结果产生共鸣,强调了开放同行评审实践对审稿人参与度和勤勉度的潜在连锁效应。


    审稿人的作用成为焦点。该研究强调必须承认并激励审稿人在机构评估中经常发挥的艰巨且未被充分认识的作用。作为学术诚信的守门人,审稿人在防止可能损害已发表研究质量的可疑做法和错误方面发挥着至关重要的作用。然而,同行评审面临的挑战,以及提交数量和审稿人要求激增而加剧的挑战,值得仔细考虑。审稿人评估大量文章的负担不断增加,这引起了人们对评估过程有效性的担忧。它促使人们反思如何在面对增加的工作量和时间限制时保持警惕并坚持严格的标准。在此背景下,出版后同行评审(PPPR)的兴起是一个值得注意的发展。PPPR 的日益普及表明传统同行评审范式发生了微妙的转变,表明了一种不断变化的格局,即出版后持续进行评估和审查。这一趋势引发了这样的疑问:PPPR 的强劲出现是否是传统同行评审在先发制人地发现问题方面的局限性的结果。


    这项研究不仅仅是对同行评审实践与出版影响之间错综复杂的相互作用的一瞥。它提倡对同行评审过程有全面的理解,认识到其在塑造学术叙事方面的多方面作用。冗长的审稿人报告与增加的引用之间的相关性要求审稿人参与采取细致入微的方法、透明的做法和持续的警惕,以在不断发展的学术环境中保持学术交流的稳健性。


  • 原文来源:https://link.springer.com/article/10.1007/s11192-024-04977-6
相关报告
  • 《迄今最大规模全球同行评议报告发布》

    • 来源专题:中国科学院文献情报制造与材料知识资源中心 | 领域情报网
    • 编译者:冯瑞华
    • 发布时间:2018-09-11
    • 科睿唯安旗下学术同行评议平台Publons日前发布了《全球同行评议现状报告》,这是有史以来规模最大的同行评议研究报告。报告认为,来自美国、英国和日本的成熟地区研究人员审稿量远远多于以中国、印度、韩国等为代表的新兴地区,但后者审稿量呈较快增长趋势。 研究针对当今科技界面临的主要挑战,提出“谁在进行同行评议”“同行评议过程的效率如何”“对同行评议的质量了解多少”“未来会怎样”四个方面问题,并对成熟地区(美国、德国、意大利、西班牙、法国、荷兰、瑞典、加拿大、英国和日本)与新兴地区(中国、巴西、土耳其、印度、伊朗、韩国、马来西亚和波兰)的调查结果进行了比较。 调查结果发现,同行评议过程中存在“新兴地区研究人员代表性不足”这一严重问题——美国、英国和日本研究人员所审阅的稿件数量远远多于新兴地区。 报告指出,编辑们对本地区审稿人的青睐程度远远超出人们的预期,而大多数编辑均来自成熟地区,这意味着他们偏向于从成熟地区选择审稿人。此外,来自伊朗等新兴地区的审稿人所撰写的审稿报告长度(250字)不到成熟地区审稿人的一半(528字)。虽然审稿质量并非由审稿报告的长短所决定,但字数上的差异可以在一定程度上解释这两个地区在审稿邀请率方面的差异。 Publons联合创始人安德鲁·普瑞思顿表示:“同行审议的地区差异妨碍了非西方研究人员的发展,审稿邀请数量的减少意味着,他们了解最新研究趋势、洞悉期刊在优质稿件中寻找哪些内容、与期刊编辑建立职业联系以及培养批判性分析技能的机会都将随之减少。” 尽管存在这些差异,但报告发现,新兴地区(尤其是中国)的审稿量增长速度却远远高于成熟地区,暗示这两个不同的区域在审稿量上有朝一日将会趋于平等。 谁在进行同行评议?这份报告给出了一个意料之中的结论:来自美国、英国和日本等“成熟地区”的研究人员占绝对主导。放眼学术界,发达国家还是掌握了话语权:他们有更悠久的学术传统,更深厚的学术积累,更高质量的论文产出,以及更广的关系网。是的,权力不平等在学术界同样存在。但审稿人地区分布不均,确实有负面作用——西方以外视角的研究偏少,也妨碍新兴地区研究人员的发展。不过,这一不平衡的状况也正在好转,这不,来自中国的审稿量正在“噌噌”往上涨呢!
  • 《同行评审评估报告中新出现的抄袭行为:冰山一角?》

    • 来源专题:数智化图书情报
    • 编译者:徐宏帅
    • 发布时间:2024-03-19
    • 同行评审评估报告中新出现的抄袭行为:冰山一角? 发现同行评审抄袭案例 为了更好地了解新近注意到的同行评审抄袭现象,我们进行了两种类型的分析。首先,我们研究了我们最初分析标记为抄袭的五份同行评审报告之一(估计相似度指数为 59%)的整个长度,将其分成更小的部分(每部分一到三个句子)并搜索谷歌搜索引擎的完整引用(也尝试过其他搜索引擎,但结果较差)。在第二次尝试中,我们对单个引用进行了深入分析,包括谷歌搜索该引用的不同变体、提取搜索数据和进一步分析。对于这两种类型的分析,Google 搜索引擎默认忽略了一些与前几个显示的条目非常相似的条目。不过,这是可能的。 审稿人为什么要审稿,为什么要抄袭? 从审稿人的角度来看,自愿撰写审稿可能是一件耗时且不受欢迎的事情。许多潜在的审稿人可能会觉得效益成本比很低,即写审稿是一种牺牲。 那么,为什么有些人不简单地拒绝审稿邀请,而是着手准备抄袭审稿呢?一些期刊试图通过提供文章处理费 (APC) 折扣券或其他福利来吸引审稿人。对于一些国家的一些研究人员来说,这可能是一个重要因素。另一种可能性是希望通过报告 Publons 网络平台(现已由 Clarivate 并入Web of Science 的“我的同行评审记录”选项卡下)中的注册评论数量来提升个人简历,该平台跟踪学术期刊的评论和编辑贡献。另一种可能的情况是,一些掠夺性出版商和期刊可能会实行同行评审抄袭,这种抄袭不是由审稿人而是由编辑产生的,目的是掩盖严格同行评审过程的实际缺失。 无论动机如何,抄袭评论都是一种严重的不当行为,正如我们的分析所证明的那样,这种行为近年来可能迅速增长,因此需要所有受影响方(编辑、出版商和作者)紧急关注并采取行动。自我剽窃可能是可以容忍的一个可能的例外是使用陈词滥调,这些短语可能是由有组织的个人编写的,供个人在评论有问题的论文时使用。很可能在某些稿件提交门户上,审稿人可以从期刊编辑汇编的常见批评陈词滥调中进行选择。这类似于陈词滥调的编辑信,他们对不同类别的提交稿件使用特定的模板,例如宣布直接拒绝。 同行评审剽窃的后果 除了本身是一种科学不端行为之外,作为一种抄袭,此类抄袭评论的一个关键问题是它们肯定会毫无意义、含糊不清且与实际手稿无关。因此,它们将对同行评审过程和审稿稿件的质量产生负面影响,从而也损害已发表科学的质量。它们还可能导致公众对同行评审过程的信任度下降。出版商、编辑和其他相关方应紧急评估同行评审剽窃行为的存在和普遍性,以了解此类案件的发生频率。我们呼吁采取紧急措施,监测、控制和防止此类事件发生。 如何防止同行评审抄袭? 防止评论抄袭的最有意义的解决方案是使用抄袭检测软件对所有提交的评论进行常规处理。事实上,令人惊讶的是,据我们所知,这一点尚未完成。当然,抄袭检测软件不应该盲目使用,因为有一些陷阱应该被忽略。审稿出版物有一些共同的方面(例如格式、语言规范、文章结构),审稿人可能会因为他们的写作习惯而提供类似的修改建议。编辑的职责是仔细考虑这种“重复”是否构成潜在的抄袭情况,以避免对审稿人造成伤害。此外,如果审稿人发现某期刊对其审稿报告进行抄袭检查,他们可能会采取改写句子、颠倒句序或用同义词替换单词等措施,从而可能导致报告中的陈述出现尴尬或不清楚的情况。另一个值得考虑的解决方案是在期刊之间建立一个共享数据库,将收到的所有同行评审报告提交到该数据库,以便与过去的评审进行比较,并保留以供将来比较。 AI聊天机器人介入 为了减少材料与源的相似性而手动引入对字符串的改变(例如通过重新措辞)可能是作者的常见做法,例如由意识到与源文本的高度相似性而触发。这样做的目的是使反剽窃软件更难以检测到剽窃行为。这种活动可以称为“剽窃洗钱”或“白领剽窃”。然而,即将出现并且可能很难补救的一类新的评论抄袭问题与人工智能聊天机器人的输出有关。