《关于同行评审报告:规模重要吗?》

  • 来源专题:数智化图书情报
  • 编译者: 徐宏帅
  • 发布时间:2024-03-19
  • 关于同行评审报告:规模重要吗?

    本研究试图实证分析同行评审在多大程度上提高了出版物的质量。为此,研究者使用了 Publons (#57,482) 中的数据,其结构调整为 WoS 数据库的结构(对照组为 12,326,712 篇出版物)。用于同行评审的代理是以字数表示的评审报告的长度(由 Publons 提供)。在出版物方面,用于衡量出版物质量(在科学界引起的兴趣)的指标是收到的引用。建立了几个回归模型,每次都将引文分数作为被解释变量,审稿人报告的长度作为解释变量(同时添加一定数量的控制变量)。除了关于开放获取重要性的“经典”结果之外,


    研究者对同行评审报告的长度与出版物随后的引用影响之间错综复杂的关系的探索揭示了学术交流的有趣方面。研究结果显示,审稿人报告的长度(尤其是超过 947 个字的审稿人报告)与已发表作品的引用量大幅增加之间存在统计学上的显着关联。这与最初的假设一致,表明更广泛的报告可能会发出建设性的反馈和提高文章整体质量的承诺,从而扩大其可见性和影响力。


    这些发现的意义超出了回归分析的统计复杂性。他们强调了及时、全面的审稿人评估在塑造学术格局方面的关键作用。观察到的更长的报告和更高的引用之间的相关性意味着,为审稿人提供足够的时间进行彻底的评估可能有助于提高学术出版物的质量和影响力。


    此外,研究结果主张提高同行评审过程的透明度,例如开放获取评审报告等举措。这种透明度可能会影响评审者的行为,从而促进更详细和更有洞察力的评估。这与(Radzvilas 等人, 2022 )等研究结果产生共鸣,强调了开放同行评审实践对审稿人参与度和勤勉度的潜在连锁效应。


    审稿人的作用成为焦点。该研究强调必须承认并激励审稿人在机构评估中经常发挥的艰巨且未被充分认识的作用。作为学术诚信的守门人,审稿人在防止可能损害已发表研究质量的可疑做法和错误方面发挥着至关重要的作用。然而,同行评审面临的挑战,以及提交数量和审稿人要求激增而加剧的挑战,值得仔细考虑。审稿人评估大量文章的负担不断增加,这引起了人们对评估过程有效性的担忧。它促使人们反思如何在面对增加的工作量和时间限制时保持警惕并坚持严格的标准。在此背景下,出版后同行评审(PPPR)的兴起是一个值得注意的发展。PPPR 的日益普及表明传统同行评审范式发生了微妙的转变,表明了一种不断变化的格局,即出版后持续进行评估和审查。这一趋势引发了这样的疑问:PPPR 的强劲出现是否是传统同行评审在先发制人地发现问题方面的局限性的结果。


    这项研究不仅仅是对同行评审实践与出版影响之间错综复杂的相互作用的一瞥。它提倡对同行评审过程有全面的理解,认识到其在塑造学术叙事方面的多方面作用。冗长的审稿人报告与增加的引用之间的相关性要求审稿人参与采取细致入微的方法、透明的做法和持续的警惕,以在不断发展的学术环境中保持学术交流的稳健性。


  • 原文来源:https://link.springer.com/article/10.1007/s11192-024-04977-6
相关报告
  • 《迄今最大规模全球同行评议报告发布》

    • 来源专题:中国科学院文献情报制造与材料知识资源中心 | 领域情报网
    • 编译者:冯瑞华
    • 发布时间:2018-09-11
    • 科睿唯安旗下学术同行评议平台Publons日前发布了《全球同行评议现状报告》,这是有史以来规模最大的同行评议研究报告。报告认为,来自美国、英国和日本的成熟地区研究人员审稿量远远多于以中国、印度、韩国等为代表的新兴地区,但后者审稿量呈较快增长趋势。 研究针对当今科技界面临的主要挑战,提出“谁在进行同行评议”“同行评议过程的效率如何”“对同行评议的质量了解多少”“未来会怎样”四个方面问题,并对成熟地区(美国、德国、意大利、西班牙、法国、荷兰、瑞典、加拿大、英国和日本)与新兴地区(中国、巴西、土耳其、印度、伊朗、韩国、马来西亚和波兰)的调查结果进行了比较。 调查结果发现,同行评议过程中存在“新兴地区研究人员代表性不足”这一严重问题——美国、英国和日本研究人员所审阅的稿件数量远远多于新兴地区。 报告指出,编辑们对本地区审稿人的青睐程度远远超出人们的预期,而大多数编辑均来自成熟地区,这意味着他们偏向于从成熟地区选择审稿人。此外,来自伊朗等新兴地区的审稿人所撰写的审稿报告长度(250字)不到成熟地区审稿人的一半(528字)。虽然审稿质量并非由审稿报告的长短所决定,但字数上的差异可以在一定程度上解释这两个地区在审稿邀请率方面的差异。 Publons联合创始人安德鲁·普瑞思顿表示:“同行审议的地区差异妨碍了非西方研究人员的发展,审稿邀请数量的减少意味着,他们了解最新研究趋势、洞悉期刊在优质稿件中寻找哪些内容、与期刊编辑建立职业联系以及培养批判性分析技能的机会都将随之减少。” 尽管存在这些差异,但报告发现,新兴地区(尤其是中国)的审稿量增长速度却远远高于成熟地区,暗示这两个不同的区域在审稿量上有朝一日将会趋于平等。 谁在进行同行评议?这份报告给出了一个意料之中的结论:来自美国、英国和日本等“成熟地区”的研究人员占绝对主导。放眼学术界,发达国家还是掌握了话语权:他们有更悠久的学术传统,更深厚的学术积累,更高质量的论文产出,以及更广的关系网。是的,权力不平等在学术界同样存在。但审稿人地区分布不均,确实有负面作用——西方以外视角的研究偏少,也妨碍新兴地区研究人员的发展。不过,这一不平衡的状况也正在好转,这不,来自中国的审稿量正在“噌噌”往上涨呢!
  • 《美国能源部报告确定大规模清洁能源部署的变革机遇》

    • 来源专题:工程机械与高端装备
    • 编译者:张欣
    • 发布时间:2024-07-05
    • 美国能源部(DOE)发布新的Liftoff报告,重点关注实现工业脱碳和实施虚拟发电厂(VPP)的机遇和挑战。Liftoff系列于2023年3月首次推出,旨在为私营部门和其他行业合作伙伴提供一个宝贵的、以参与为导向的资源,了解技术如何实现全面部署。工业脱碳和VPP对于减少碳排放、提高能源系统的弹性以及实现到2035年实现100%清洁电力,到2050年实现净零排放经济目标很重要。 美国能源部长Jennifer M.Granholm表示:“新报告提供了对新兴技术的深入分析和明确的基准,有助于指导有针对性的投资,推动美国走向清洁能源的未来。”最新的Liftoff报告深入探讨了工业脱碳,强调了化工和炼油等行业大幅减少碳足迹的潜力。对VPP的关注表明,不断发展的能源解决方案可以和谐地平衡需求和供应,减少开支,并提高可靠性。 工业脱碳启动报告 工业脱碳为改造工业系统以提高能源和环境正义提供了一个重要机会。本系列的三份工业脱碳启动报告概述了八个重点工业部门的脱碳途径:化工、炼油、钢铁、食品和饮料加工、纸浆和纸张、水泥、铝和玻璃。工业脱碳启动报告的主要发现包括: 碳密集型工业部门正面临关键拐点,社会正专注于加快深度脱碳;这是一个独特的时刻,无论是美国工业还是能源部都不能允许它过去。 美国工业参与者有落后于净零目标的风险,专注于短期、易于实施的解决方案;然而,部署工业脱碳解决方案的势头正在增强。 两党基础设施法和《通胀削减法》创造了前所未有的工具来支持工业脱碳,客户要求低碳产品(如汽车用钢),早期私营部门的推动者正在出现。 要实现有意义的削减,可能需要高达11000亿美元的资本支出,以及各部门领导层和技术采用的大胆转变。 为了更深入地了解选定的行业,能源部还发布了关于脱碳化学品和炼油以及低碳水泥的行业深入研究报告,讨论了这些行业保持脱碳目标所需的具体杠杆和部署目标。 虚拟发电厂启动报告 美国能源部还发布了一份虚拟发电厂启动报告。VPP是分布式能源(DER)的集合,如智能电器、带电池的屋顶太阳能、电动汽车和充电器,以及能够平衡电力需求和供应并像传统发电厂一样提供电网服务的商业和工业负载。随着传统资产的退役,VPP正达到一个关键的转折点,准备平衡不断增长的电力需求,提高电网可靠性。 虚拟发电厂启动报告的主要包括: 随着电力需求的增长和煤炭和天然气等传统能源的逐步淘汰,VPP正处于关键时刻。随着电动汽车充电器和屋顶太阳能等分布式能源的迅速采用,VPP有潜力利用这一激增,但各州迫切需要可扩展和可重复的模型。 为了充分发挥其潜力,VPP需要可扩展的模型、监管支持以及参与其开发和部署的广泛利益相关者联盟。 到2030年,将VPP的现有规模扩大三倍,可以扩大美国电网的容量,以可靠地支持快速电气化,同时每年将电网总成本降低100亿美元。 Liftoff报告是正在进行的系列报告的一部分,旨在促进公共和私营部门的参与,以加快重要清洁能源技术的商业化。这些报告深入了解了关键清洁能源技术成功商业部署所需解决的当前形势、未来潜力和挑战。