同行评议可以追溯到17世纪早期的科学院和学会,在那里,学者们聚在一起评估彼此的工作。Scholarly Review, Old and New这篇论文表明,某种形式的同行评议甚至更早就存在了。然而,我们今天所知的“同行评议”一词及其评审过程的发展晚得多,直到20世纪末才被视为科学的核心部分。
学术环境也发生了重大变化,论文总数呈指数级增长。是否有足够的审稿人来满足这一需求?同行评议过程是否足够有效,足以处理发表的大量论文?
国际研究合作也在稳步增加,2015年至2019年间从22%增长到24%,跨学科合作也在增加。同行评议员是否善于把握评审此类研究所涉及的文化微妙之处?此外,他们是否具备评估跨学科研究领域的专业知识?
像eLife和F1000这样的平台的出现,更不用说预印本了,引发了关于同行评议基本性质的讨论。一些人对研究的完整性表示担忧,而另一些人则对加快出版进程表示赞赏。
因此,对于同行评议为出版过程增加的价值,有许多不同的看法。一方面,有人认为同行评议是失败的,尤其是在做它应该做的事情时,即保持研究的质量和完整性;另一方面,也有证据表明同行评议不仅有助于提高稿件的质量,而且有助于选择高引用的论文。
批评者
“如果同行评议是一种药物,它就永远不会被允许上市,”《美国医学会杂志》副主编、1989年以来举行的国际同行评议大会的关键人物Drummond Rennie说。据他所言,同行评议将无法确保进入市场,因为缺乏令人信服的证据支持其好处,也没有大量证据表明其缺点。
除此之外,Adam Mastroianni在他的文章The Rise and Fall of Peer Review中质疑,为什么审稿人经常忽视根本错误和公然的欺诈行为。其中一个原因是,他们可能从未查看过支撑他们评估的论文的数据,而这正是错误和欺诈行为最有可能出现的地方。事实上,在他看来,同行评议制度的引入可能无意中鼓励了有问题的研究实践。在研究环境中,当你努力发表一项研究,而审稿人要求修改或额外调查时,这可能会带来巨大的压力。这种压力可能会导致对研究的调整,例如数据处理、遗漏不利的发现,或对各种方面或条件进行广泛的探索,直到达到预期的结果,通常是以忽视不太有利的结果为代价的。
特伦托大学计算机科学教授法Fabio Casati拥有20项专利,是一种“流动期刊”的创始人,该期刊取消了出版前的同行评议,他对同行评议过程的这些观点表示赞同,他也认为他们的研究揭示了传统同行评议系统的缺陷。根据Casati的说法,许多论文得到了同行评议的好评,但最终对各自领域的影响有限。相反,许多评级一般的论文都能产生重大影响。
除此之外,同行评议还因评审和发表论文所需的时间而受到批评,有时甚至超过一年。所涉及的成本也非常高。很难获得同行评议实际成本的数据,主要是因为审稿人经常无偿工作。然而,机会成本很高,即花在审查上的大量时间本可以更有效地用于进行原始研究等活动。
此外,同行评议意见并不总是一致的。尽管人们普遍认为同行评议是对他人作品进行评论的一个高度客观的过程,但它最终取决于评审者的主观观点,而主观观点很少能达到完全一致。正如人们在评价或评论一部电影时可能有不同的意见,一个人喜欢它,另一个人不喜欢它一样,同行评议在这方面也没有什么不同。这些反馈中的不一致往往会让作者感到困惑。
同行评议也容易受到地位偏见的影响,与不太知名的作者相比,知名作者的作品得到了更多的认可,无论他们对研究的实际贡献如何。既然我们在讨论偏见,我们就不应该忽视非英语母语者的经历,因为他们努力在自己选择的国际期刊上发表文章。批评者还指责同行评议员根据作者的姓名或单位对论文质量进行假设。
最后,有一种观点认为,同行评议不鼓励公布负面结果。然而,如果研究问题是有效的,并且答案是存在的,那么研究结果的重要性不应取决于它是积极的还是消极的。
同行评议程序已经过时了吗?
因此,鉴于所有这些批评,让我们来解决“同行评议过程已经过时了吗?”这个问题的答案是否定的。考虑到其不可或缺的作用——保持研究的质量和完整性,同行评议是不可能过时的。
同行评议的重要性在于它作为知识传播的质量控制机制的作用。它就像一个滤茶器。想象一下,有一杯茶没有喝过。在一个信息匮乏且往往不可靠的时代,同行评议成为确保科学发现准确性和可信度的一种手段。就像滤茶器一样,它过滤掉错误、偏见和未经证实的说法,给你留下一篇可以易于被阅读的论文。然而,正如滤茶器可能无法捕捉到你杯子里的每一片落叶一样,同行评议也可能无法识别出研究论文中的每一个小错误或潜在缺陷。尽管如此,它大大降低了遇到充满不准确或道德问题的论文的可能性。
虽然所使用的工具或方法可能会随着时间的推移而过时,但同行评议的基本目标或目的保持不变。是的,随着技术进步、社会期望的变化以及研究实践适应新挑战,学术格局将进一步发展。因此,同行评议过程也需要随着时代的变化而发展。
这种演变需要适应、创新和从经验中学习的承诺。通过拥抱变革,我们可以确保同行评议在未来几代人的学术和科学事业中仍然是一个强大和值得信赖的支柱。无论以何种形式存在,它都需要继续为保持研究质量和完整性的目的服务。这种同行评议的转变需要刻意为之,这样影响才会很大。
同行评议的复兴——我们应该朝着什么方向努力
为了使同行评议更加透明,我们正在做很多工作。但我们需要的是一个包容性、多样性和协作性的过程。
重新设想的同行评议过程
理想状态是每个研究人员都有平等的机会进行同行评议。我们会看到全球每个国家的同行评议人数都一样多。也许人工智能审查匹配系统可以实现这一点?
此外,西方国家的研究人员发现自己作为研究论文的审稿人的需求异常多。IOP出版公司对全球1200多名研究人员进行的一项调查显示,即使是西方国家经验最丰富的评论家也会因为大量的审查请求而感到疲劳。值得注意的是,调查显示,德国、美国和英国有40%的审稿人认为他们被评审邀请淹没了。与此形成鲜明对比的是,只有12%的中国审稿人表示对评审请求感到不知所措,而28%的印度审稿人表示他们有更多的时间参与同行评议活动。这些统计数据反映出审稿人选择缺乏多样性。我们如何努力实现期刊编辑委员会采用全球和性别包容性方法的未来?
这不仅会提供平等的机会,还会允许不同的视角,将有助于提高论文质量。
一个重要的考虑因素是了解学术界如何打破传统的专业知识概念。目标是促进地理和性别包容性,从而扩大人才库,使个人能够参与科学领域的审查并做出贡献。
人类专业知识和人工智能的结合如何使同行评议过程更加高效?我设想未来人工智能不是一种威胁或担忧,而是一种提高效率的工具。
出版后的同行评议呢?它会取代传统形式的同行评议吗?Is expert peer review obsolete? A model suggests that post-publication reader review may exceed the accuracy of traditional peer review一文作者提出,如果出版后有足够多的读者提供反馈,评论的准确性可能会超过传统的同行评论。对于这些模式来说,显而易见的问题是如何确保审查真正进行,而不是让志愿服务和机会来完成。
最后,作者和审稿人如何团结一致,作为一个团队共同工作,而不是站在对立的一边?审稿人如何在评审过程中与作者进行持续的讨论和对话?作者和审稿人可以采取什么措施来协调他们的努力,以使论文得到完善?
这种同行评议的复兴不仅是一个目标,也是一次不断改进的旅程。随着这个过程的发展,将会有很多失败的实验。但每一次实验都将使我们离使过程更加稳健、高效、多样化和协作的目标更近一步。