《2023年同行评审周探索出版业的未来》

  • 来源专题:科技期刊发展智库
  • 编译者: 刘晶晶
  • 发布时间:2023-10-08
  • 2023年的同行评审周(PRW)是一项庆祝同行评审价值的年度活动,汇集了包括学术出版商、协会、机构和研究人员在内的学术交流利益相关者,其主题是“同行评审与未来出版”。在 2023 年 9 月 25 日至 29 日这一周期间,参与组织将举办活动,以突出不断变化的出版格局以及同行评审在塑造学术交流方面持续发挥的重要作用。该主题是通过学术界的公开全球民意调查选出的。

    学术出版正处于一个快速、变革时期,受到新政策、新商业模式、新技术以及提高透明度和可重复性的推动。在美国,科学技术政策办公室 (OSTP) 的备忘录呼吁到 2026 年免费、立即和公平地获得受联邦资助的研究,政府机构正在决定如何遵守该备忘录。明年,S 计划将全面生效,终止对转型协议的财政支持。

    像 ChatGPT 这样易于使用的大规模自然语言处理工具的出现正在开启道德和实践考虑的新领域。数据、方法和代码等非论文类研究成果正日益受到重视,从可有可无的支持文档演变为可引用的已发表文献,并正式保存在科学记录中。对同行评审专家的时间和专业知识的要求越来越高,这使得确保审稿人的安全更加具有挑战性。

    尽管发生了这些巨大的变化,但同行评审本身无论是对学术界的价值还是期刊的日常实践,在很大程度上都保持不变。同行评审是期刊评估提交发表研究成果的严谨性、可信度和潜在兴趣的主要方式。

    不断变化的出版格局对于同行评审实践以及同行评审专家本身意味着什么?同行评审周委员会联合主席 Roohi Ghosh 说道,“这是一个非常及时的时刻,让我们停下来思考一下期刊出版的未来会是什么样子,以及同行评审在其中的作用。是否有机会精简、提高效率并减少冗余?作为一个行业,要如何减少孤立性并提高协作性?以一种服务于公正评估并减轻审稿专家负担的方式来应用技术?”。

    委员会联合主席 Lindsay Morton 表示同意,并补充道:“同行评审是科研界自我监管的方式。作为出版商、图书馆、资助者和其他利益相关者,我们无法自己承担这一角色,但我们可以创造方法,使其变得更容易、更有效、更充实,并在整个科研界更公平地分配同行评审的奖励和责任。”

相关报告
  • 《美国新闻学会首席出版官谈科学出版业不断变化的格局及其对同行评议的影响》

    • 来源专题:科技期刊发展智库
    • 编译者:孟美任
    • 发布时间:2023-11-27
    •   2023年9月25-29日,美国物理学会和众多机构及研究人员参加了同行评议周活动,这是一项全球性活动,旨在庆祝同行评议对科学事业的价值,并讨论同行评议的未来。APS News 采访了美国新闻学会首席出版官Rachel Burley,探讨了科学出版业不断变化的格局及其对同行评议的影响。   学术出版业正在以惊人的速度发生变化,人工智能等新兴技术正在颠覆学术界和产业界,科学家们正在撰写比以往更多的论文。但从本质上讲,学术同行评议——研究人员向其他专家征求建议并获得对其论文的反馈——已经存在多年,其目的以及初衷并没有改变。同行评议一直都是为了确保研究文章在发表前的质量、有效性和可靠性。   (1)如今,科学家面临着“要么发表,要么毁灭”的强大压力,而在过去几十年中,发表的研究成果数量也大幅增长,这是为什么呢?这些变化对同行评议专家有何影响?   同行评议危机在某些学科比较严重,但您所描述的研究成果如雨后春笋般增长是其背后的原因。在我看来,这始于21世纪初巨型期刊的出现。这些刊物摒弃了选择性和新颖性。他们并不一定要求审稿人寻找新颖和与众不同的东西,他们只是强调:如果技术上合理,我们就发表。   我认为这并不一定是坏事,但产生了一系列以前未发表的新研究。而且,由于在开放获取模式下,每发表一篇论文都有可能带来收入,因此新的出版商进入了这一领域。因此,出版压力和送审论文数量的增加(期刊数量增加,选择性降低),使整个生态系统给同行评议专家带来了更大的压力,他们需要审阅更多的稿件,却没有更多的时间。   (2)出版商如何解决这个问题?   出版商最初的工作重点是简化流程,想方设法缩短同行评议的时间。例如,首先为论文找到合适的审稿人。他们还试图通过自动化或接管同行评议专家无法合理完成的部分工作(如投稿检查)来提高效率,以确保稿件对评审专家来说处于最佳状态,因此他们只需关注科学性。   许多出版商还对审稿人培训进行了投资。一般来说,没有正规的审稿人培训,也许能够很幸运能找到人指导你完成整个流程,但很多审稿专家并不知道他们需要什么样的反馈。   但由于研究数量如此之大,即使所有这些努力加在一起,也不一定能解决问题。   (3)很多人认为,多元化的同行评议专家队伍可以提高研究水平,减少偏见,包括影响论文发表的偏见。期刊出版商如何提高同行评议人员的多样性?   越来越多的人认识到,出版商在这方面可以发挥重要作用。一些出版商正在创建审稿人数据库,不仅收集研究人员的专业知识和背景,还收集人口统计信息,以提高包容性,他们正在与资源匮乏群体组织合作。   出版商也在尝试双盲同行评议,据说这样可以消除一些偏见,或者完全公开透明的同行评议,即评审人评审意见与论文一起发表。其理由是,如果一切都公开记录在案,就很难产生偏见。但这两种方法都没有被证明是完美的。在物理学领域,这尤其困难,因为我们有 arXiv。如果人们真的想知道谁写了一篇论文,他们几乎肯定能找到。   (4)在你看来,公开同行评议的局限是什么?   如果你要为你所在领域比你资深的知名专家评审一篇论文,那么你几乎肯定不想以负面的方式批评这篇论文,因为这会损害你的职业发展。至少,有些人会这么认为。   还有时间投入。很多人觉得时间投入是一个很大的限制,所以他们宁愿不做公开评审。   (5)同行评议面临的另一个挑战是跨学科研究的兴起。期刊如何确保跨越传统学科界限的研究得到严格评估?   首先,期刊可以努力组建多学科审稿专家团队。并非每个人都具备所有学科领域的专业知识,但作为一个团队,他们更有可能覆盖多学科研究。其次,透明度也会有所帮助。如果能将跨学科研究的评审方式透明化,那么就能提高评审过程的可信度。这可能意味着,作为出版商或期刊,需要提供信息,说明所使用的审稿专家的专业知识,以及如何采纳他们的反馈意见的。最后,期刊编辑也可以发挥一定作用,他们可以指导同行评议过程,确保跨学科研究得到正确的反馈。编辑还可以帮助作者更清晰地解释论文中涉及的概念(领域术语),或帮助审稿人理解论文中的概念。同行评议在跨学科研究中尤为重要,因为读者并不是什么都懂。   (6)由于预印本(arXiv.org)的上传速度很快,同行评议在物理学界可能显得尤为缓慢。出版商是如何考虑同行评议效率的?   在物理学领域,在发表和投稿前或过程中时,将原稿发布到arXiv上征求反馈意见是司空见惯的事。对出版速度的关注让出版商开始发挥创意——创建自动化系统、外包稿件评审的某些环节、监控并缩短每个阶段的周转时间。   但是,快速同行评议和出版的弊端在于:一些不该发表的东西被发表了,而且科研造假的风险也在增加,可能会出现漏网之鱼。   (7)您认为出版会太快吗?   速度与严谨之间需要平衡。如何让出版速度更快,同时确保可以信任它,并确保同行评议的严谨性?这也正是期刊的职责,专家团队为值得信赖的期刊工作。这样的方案并不完美,但是并没有找到可替代的方案。   (8)白宫去年宣布,联邦政府资助的研究成果必须在2025年底前向公众开放,这在一定程度上推动了开放获取的发展。这些转变对同行评议有何影响?   大多数出版商都在向开放获取过渡,包括美国物理学会。我们在《物理评论》期刊中提供开放获取和混合选项,并参与粒子物理学开放获取出版赞助联盟。   虽然开放获取提高了文章的可获得性,但也需要合适的资助模式。在美国,白宫和相关机构并没有倡导任何一种商业模式。但很明显,开放获取的“绿色通道”(在出版后立即缴存稿件,而没有12个月的封闭期)依赖于订阅模式。随着越来越多的内容开放,这种模式将难以持续。   这让学术出版商陷入了目前行业所处的困境,我们正在努力寻找一种可持续的资助模式,以确保我们能在开放获取的世界里继续进行严格的同行评议。   (9)人工智能如何影响同行评议?它有哪些好处和风险?   在谨慎操作的前提下,人工智能也有其益处,比如实现自动化流程——匹配合适的审稿人、识别潜在的伦理问题、评估语言质量和写作。目前,所有这些事情都可以通过人工智能可靠地完成,并提高效率,分担编辑和审稿专家的工作,让他们能够专注于科学研究。   还有一种可能是,人工智能变得如此优秀,以至于它真的可以进行同行评议。当然,现在没人相信这一点,但我们也曾不相信开放式人工智能会发展到今天这个阶段。ChatGPT已经通过了大学考试。但挑战在于,人工智能算法可能会从它们所训练的数据中继承偏见。这可能会导致更多的偏见,比如有偏见的审稿人推荐。我们必须努力确保消除这种情况,减少意外偏见。   此外,我们还需要考虑隐私、数据安全和透明度等方面的道德问题。作者和审稿专家需要了解他们的数据是如何被使用的,以及谁可以访问这些数据。   有些方面人工智能工具还无法做到,需要人工判断。人工智能算法还不能确定什么是新颖的或突破性的。它们是在现有研究基础上训练出来的,而我们要找的是新发现。 原文标题:Scholarly Peer Review is an Age-Old Practice, But Publishing is Changing 原文链接:https://www.aps.org/publications/apsnews/202310/peer-review.cfm
  • 《人工智能如何彻底改变出版业的学术稿件评审:Nishchay Shah 访谈》

    • 来源专题:科技期刊发展智库
    • 编译者:杨恒
    • 发布时间:2024-01-11
    •   人工智能 (AI) 为学术期刊和出版商开辟了新的前景。2023年9月25日,impact science对 Cactus Communications 首席技术官 (Chief Technology Officer, CTO) Nishchay Shah 进行了访谈。Nishchay 分享了有关人工智能工具如何彻底改变稿件评审的见解。还探讨了人工智能如何增强同行评审流程、简化编辑工作流程,并最终塑造学术出版的未来。 1. 目前用于补充稿件评估流程的人工智能工具有多受欢迎,采用这些工具的主要动机是什么?   回应:人工智能驱动的稿件审阅工具正处于早期到中期阶段,但在提交前(面向作者)和提交后(面向出版商)的阶段中都获得了快速关注。主要动力是通过节省时间和成本为出版商带来效率效益。不同期刊和出版商的采用水平各不相同,许多期刊和出版商都在出版前看到了有意义的影响。 2. 人工智能如何补充人类评审员的专业知识,以及如何在自动评估和人类判断之间取得适当的平衡?   回应:通过提供初步筛选和建议,人工智能可以减少人类审阅者花费的时间和精力。人工智能和人类判断的正确、平衡取决于期刊的具体需求和资源——人工智能可以过滤掉质量明显较差或“有风险”的手稿,但在模糊情况下的最终接受/拒绝决定将需要人类对细微差别和上下文的判断。 3. 期刊或出版商在将人工智能融入稿件评估系统时可能会遇到哪些典型挑战,以及如何解决这些挑战?   回应:将先进的人工智能工具集成到稿件评估系统中,有望简化编辑流程并提高出版作品的质量、周转时间和速度。尽管许多出版商已经将这些工具集成到他们的工作流程中,但要采用人工智能成为整个行业的基础辅助层,还有很长的路要走。   出版商面临的一些典型挑战是:   数据质量和对行业的深刻理解:人工智能系统需要高质量、公正的训练数据来进行准确的评估。任何人工智能系统的完整性和有效性在很大程度上取决于训练中使用的数据的质量。“垃圾进,垃圾出”这句格言对于机器学习模型尤其适用。低于标准或有偏差的训练数据可能会导致模型不准确,或者产生偏差。在稿件评估的背景下,数据质量成为一个更加敏感的问题,因为出版决策对学术生涯和知识进步具有深远的影响。   对人工智能的期望:出版商通常希望有一个近乎完美的系统,误报率最小到零。重要的是要了解人工智能工具是辅助性的,它们可以在一定程度上发挥作用,虽然期望工具的速度和效率很重要,但期望人工智能完全接管所有出版流程还为时过早。   系统兼容性:像Editorial Manager和ScholarOne这样的稿件提交系统通常不属于出版商所有,因此集成人工智能成为一项涉及多个利益相关者的复杂任务。   解决上述所有挑战的一种解决方案是使用专为行业构建且经过多次迭代并已完善的工具。Paperpal Preflight 就是由 CACTUS 开发的一款此类工具,CACTUS 已在学术界工作超过 21 年,是人工智能和机器学习驱动产品的领跑者。 4. 可以采取哪些措施来保护稿件评审过程的完整性,确保人工智能不会引入任何偏见或扭曲评审结果?   回应: 减少偏见的措施包括使用多样化的培训数据、审计技术和定期的人员质量评估,这些都有助于保持流程的完整性。尽管在人工智能高置信度的情况下,一些简单的决策可以自动化,但需要细微差别和背景的关键决策应该由人类来处理。 5. 您认为人工智能在未来同行评审领域扮演什么角色?您预计人工智能将如何发展以应对学术出版中新出现的挑战?   回应:人工智能在科学文章的同行评审过程中具有很大的帮助作用,但这并非一帆风顺。一个大问题是人工智能可能会传播虚假或不正确的信息。由于我们依靠良好的科学来建立新的发现,因此确保人工智能的正确性至关重要。人们普遍对在这一领域信任人工智能持怀疑态度,特别是如果它犯了错误。   随着人工智能变得更好,它将做更多的事情,比如对提交的文章进行初步检查、粗略地标记提交内容、建议外审专家以及发现人类编辑可能忽视的错误。然而,人工智能越好,它在创建虚假或欺诈性文章方面也就越擅长。所以这就像一场猫捉老鼠的游戏,人工智能必须不断改进才能发现这些问题。   展望未来,人工智能工具需要不断变得更好、更智能,才能应对新的挑战。即使拥有所有这些技术,人类对于在出版内容中做出公平和道德的选择仍然至关重要。最好的方法是让人工智能做它擅长的事情,但始终让人类参与做出最终决策并捕捉机器错过的任何东西。这意味着要乐于尝试新事物,但要小心、负责。