一、引言
2020年3月，我们对物理科学领域的同行评议专家进行了一次大型调查，并将调查结果与学术界共享。
四年过去，许多事情已经发生了变化：COVID-19大流行及其相关的封锁措施改变了研究人员的工作和协作方式；接受同行评议并发表的科学论文总数持续增加；公开可访问的生成式人工智能的出现为学术写作带来了新的机遇和挑战。
此外，越来越多的论文被撤回，学术不端行为的商业化正威胁着一个多年来建立在信任基础之上的体系。
2024年3月，我们再次开展了与2020年相同的调查，并增加了一些额外的问题。目标是直接比较2020年向学术界提出的问题的答案，以了解发生了哪些变化，并衡量物理科学界对生成式人工智能、同行评议中的偏见以及双重匿名同行评议等议题的看法。
二、调研方法
2024年3月，我们邀请94,884名研究人员完成同行评议现状调查，并收到了3,046名研究人员的回复。
我们联系了上述用户，无论他们之前是否为IOP出版社进行过同行评议。因为我们预计大多数研究人员都曾为其他出版商进行过同行评议，并且那些尚未开始同行评议职业生涯的早期职业研究人员的意见也非常具有价值。
为了鼓励收件人完成调查，我们向随机挑选的一名受访者提供了一笔现金奖励，并承诺为前500名受访者通过注册慈善机构种植一棵树。为了防止人们提交多个或虚假的回复，我们在完整的条款和条件中声明，每个电子邮件地址仅考虑一个回复，且电子邮件地址必须在2024年3月11日之前在我们的系统中注册。
调查开放了两周时间，我们向用户发送了两封电子邮件提醒，以鼓励他们完成调查。最终收到了来自105个国家的个人的回复。
图1 受访者的地理分布
图2 受访者的经验水平
受访者在物理和环境科学的广泛领域工作，代表了IOP 出版社发表研究的学科范围。
三、结论
主要发现：
·偏见：自2020年以来，报告在同行评议过程中遇到偏见的受访者比例有所下降（2024年为16%，而2020年为24%）；
·审稿动机：与2020年相同，对论文的兴趣仍然是接受审稿邀请的首要动机；
·AI的使用：关于生成式AI对同行评议的影响的看法两极分化。
50%的受访者表示，他们收到的同行评议请求数量在过去三年中有所增加；
47%的受访者每月收到的同行评议邀请少于1次；
54%的受访者认为他们收到了正确数量的同行评议请求，与2020年的数字相似；
35%的职业生涯早期研究人员表示，与他们收到的请求数量相比，他们有更多的时间进行同行评议；
52%的受访者表示，与单一匿名或公开手稿相比，他们更愿意审阅双重匿名的手稿。
（一）同行评议的可用时间
我们询问了受访者收到的同行评议请求的数量以及他们可用于同行评议的时间。
在回答“您平均每个月收到多少份同行评议单稿的请求？这包括来自所有出版商的请求”中，46.9%的受访者表示他们每月收到的请求少于1个。报告每月收到超过11次同行评议邀请的受访者比例较低，约为3%，见图3。
图3 对“您平均每个月收到多少份同行评议单稿的请求”的回答，这包括来自所有发布商的请求的回答
男性和女性受访者收到的同行评议请求量似乎没有显著差异。然而，根据职业阶段，同行评议请求的数量存在差异。在工业界工作的受访者更有可能报告每月收到的同行评议邀请少于一次，并且与其他群体相比，收到的总体请求要少得多。教职员工、副教授和教授（中高级职业研究人员）报告平均收到最多的同行评议请求；然而，该组中41%的研究人员仍然报告每月收到的邀请少于1次。
当按国家和地理位置分析对这个问题的回答时，最显着的差异是欧洲和世界其他地区之间的差异，欧洲国家/地区24%的受访者每月收到3个或更多请求，而世界其他地区的受访者为19%。同样，来自中国和印度的受访者每月收到3次或更多请求的比例较低（分别为15%和16%）。
当按世界银行国家收入组分析回复时，来自高收入、中高收入和中低收入国家的受访者收到邀请的频率没有重大差异；然而，来自低收入国家的受访者报告说，平均收到的同行评议请求比其他群体多。低收入国家受访者占所收到回复的1.7%（53人）。
受访者还被问及“在过去三年中，您认为您收到的同行评议请求数量是否有所增加、下降或大致保持不变？”，见图4。
图4 对“在过去三年中，您觉得您收到的同行评议请求数量是上升、下降还是大致保持不变”的问题的回答
近50%的受访者表示，他们收到的请求数量有所增加，只有11.5%的受访者表示有所减少。性别或职业阶段没有显著差异，尽管在工业界工作的受访者报告请求增加的可能性明显较低（32%），而报告请求减少的可能性更大（26%）。当按世界银行国家收入组分析结果时，中低收入国家、中高收入国家或高收入国家之间没有差异，但低收入国家的受访者更有可能报告请求增加（77%），而不太可能报告请求减少（6%）。
来自中国、印度和美国的受访者的回复分布相似。来自欧洲的受访者报告邀请数量减少的可能性最小，并且比中国、印度和美国的受访者更有可能报告邀请数量增加。
在回答“什么最能描述您可用于同行评议的时间”这个问题时，30%的受访者表示，与他们收到的请求数量相比，他们有更多的时间可用于同行评议，而16%的受访者表示收到太多请求，见图5。
图5 2020年和2024年对“什么最能描述您可用于同行评议的时间”问题的回答
这与2020年IOP 出版社同行评议调查的结果形成鲜明对比，在调查中，只有18%的受访者表示，与他们收到的请求数量相比，他们有更多的可用时间，26%的受访者指出他们收到了太多请求。报告他们收到了正确数量的请求的受访者的总体比例为54%，这与2020年报告中的56%相当。
性别没有显著差异。当对这个问题的回答按职业阶段细分时，与博士生（7%） 或博士后（9%）等其他群体相比，副教授或更高级别的副教授或教授更有可能报告收到太多请求（28%的受访者）。
当按国家和地区分析受访者时，印度或中国的受访者与世界其他地区的受访者之间存在明显差异。与其他国家的受访者（23%）相比，中国或印度的受访者报告收到过多请求的可能性明显较低（分别为6%和7%）。当按世界银行国家收入组分析结果时，与低收入和中等收入国家的受访者相比，高收入国家的受访者报告收到过多请求的可能性明显更高（分别为30%对10%）。
（二）同行评议中的偏倚
对“偏见被定义为对个人或群体的偏见或偏见，尤其是以被认为不公平的方式。”
图6 对“你有没有经历过你认为的同行评议过程中的偏见？”问题的回答
大多数受访者（84%）认为他们在同行评议过程中从未经历过偏见。这比2020年调查的76%有所上升。在那些确实报告在同行评议中遇到偏见的人中，报告的最常见偏见类型是地理偏见（2024年为6%，2020年为8%），其次是学科领域偏见和机构偏见。报告的最常见偏倚类型是性别、性取向和残疾。0.6%的受访者表示存在性别偏见，而2020年的调查中这一比例为2%。
当世界银行收入组对这个问题的回答进行分析时，来自低收入国家的受访者报告经历过偏差的可能性最小，并且报告的偏差率与收入组别一致。高收入国家的受访者最有可能报告经历过偏见。
图7 对（可选）问题“如果您在同行评议过程中遇到过偏见，那么偏见与什么有关”问题的回答
认为自己在同行评议过程中遇到偏见的受访者被邀请回答一个可选的自由文本问题，以提供他们经历的更多细节。收到了150多份免费文本回复。
评论中的一个强烈主题是审稿人对来自全球特定地区或国家的作者的地理偏见。许多受访者指出，他们认为自己受到了某些地区的作者的歧视，或者目睹了针对某些地区的作者的歧视。其他受访者指出，他们自己对某些地区存在偏见，从而为这些担忧提供了可信度。
自由文本回复中另一个反复出现的主题是编辑人员对来自特定国家的审稿人的偏见。许多受访者认为，由于他们的国籍，他们的审稿人报告和建议被编辑忽视或给予较少的权重。有一种声音是，与高收入国家相比，编辑较少听取低收入和中等收入国家审稿人的声音。还有一种声音是，主要位于高收入国家的编辑团队偏向于来自同一国家的作者。
受访者强调的其他形式的偏见包括对早期职业研究人员作者的偏见（由审稿人和编辑提供）、对某些机构的偏见，以及对特定方法或科学概念的偏见。
一些受访者还声称，他们的手稿被在同一领域工作的审稿人故意搁置或延迟，这些审稿人希望先发表自己的研究。
（三）同行评议的模式
双重匿名同行评议是一种同行评议模式，在这种模式下，审稿人在手稿审查期间不知道手稿作者的身份。物理科学中同行评议的主要模式仍然是单一匿名的同行评议，其中审稿人知道手稿作者的身份。公开评审是一种同行评议模式，在这种模式下，所有各方在整个同行评议过程中都了解彼此的身份。我们向受访者询问了一系列问题，这些问题与他们对不同同行评议模式的看法有关。
图8 对“您是否曾经参加过双重匿名手稿的同行评议（作为审稿人或作者）”问题的回答
图9 对“作为手稿的作者，您更喜欢以下哪种同行评议模式”和“作为手稿的同行评议者，您更喜欢以下哪种同行评议模式”问题的回答。
当受访者被问及当他们是作者和同行评议时他们更喜欢哪种同行评议模式时，双重匿名是两种情况下最受欢迎的回答（超过50%）。两个回答之间存在细微差异，双重匿名和开放综述在作者问题上的得分较高，而单一匿名在审稿人问题中的得分较高。
（四）审核的动机
我们想更好地了解是什么促使审稿人接受审稿邀请，以及自2020年上次调查以来这些动机可能发生了怎样的变化，见图10。
图10 对“当您收到审稿邀请时，这些因素在促使您接受邀请方面有多重要？”问题的回答
与2020年的调查一样，最大的激励因素与对论文的兴趣和期刊的声誉有关。对受访者来说，激励性最低的因素是实物福利或现金，尽管自2020年以来该因素的平均得分有所提高。
受访者被问及哪些因素使他们更有可能拒绝审阅邀请，并被邀请以自由文本形式提交他们的回答。最常见的答案是：
·没有空/太忙
·专业领域以外的手稿
·摘要或标题中的摘要质量差/印刷或语法错误
·对期刊/出版商的看法
·利益冲突
该调查包括一个选项，让受访者告诉我们期刊或出版商是否曾经为他们提供过负面的审稿体验，使他们将来不愿意审稿。对这个问题的回答是自由文本的，收到了500多份回复。
大多数受访者表示，他们没有负面经历使他们将来不再进行审查。其他受访者详细介绍了他们的负面经历，其中包括：
·花费大量时间和精力为期刊撰写高质量的审稿，却没有收到该期刊的任何其他审稿人邀请。
·对双匿名模式下的审稿不满意（不知道手稿作者的身份）。
·他们为期刊提供了同行评议报告，但同一期刊没有将自己的工作发送给同行评议，这让他们感到沮丧。
·作为期刊的作者，他们的经历很差（例如，由于同行评议时间长），这导致他们不再为该期刊进行评审。
到目前为止，最常见的抱怨是感觉他们的报告和建议被编辑人员忽视了，手稿被接受发表，违背了审稿人的建议。
对这个问题的回答包含对特定出版商的大量引用，受访者认为他们不想对这些出版商进行审查，因为人们认为现有的同行评议制度的公平性和严谨性。
我们询问了受访者在同行评议方面看重什么奖励或认可。在反馈方面，受访者指出，对稿件最终决定的反馈对他们来说很有价值，对他们审稿质量的反馈也很有价值。这些结果与2020年的调查结果非常相似，见图11。
图11 对“您看重审稿件的哪些奖励或认可？请以1到5的等级评估以下每一点，其中1=没有价值，5=非常有价值”问题的反馈
当被问及他们看重审稿时看重什么奖励或认可时，得分最高的回答都与反馈有关，首先是关于论文排名最终决定的反馈，然后是关于审稿质量的反馈，以及获得其他审稿人评论的机会。
得分最低的回答被指定为已发表文章的审稿人。
图12 对问题“请说明以下每项举措将对您参加同行评议过程的体验产生什么样的积极影响，其中1=没有积极影响，5=压倒性的积极影响”问题的反馈
受访者被要求根据创新和举措可能对同行评议过程产生的影响来评估其类型。排名最高的回答是“改进在线手稿和审稿提交系统”，其次是“作者、审稿人和编辑之间有更多的交流”和“更好、更容易获得的同行评议培训”。排名最低的回答是“在同行评议之前在预印服务器上发表手稿”。
在比较2024年和2020年的回答时，最显着的变化是“更好、更容易获得的同行评议培训”的排名显着上升，所有其他回答都大致相似。
(五）生成式AI和同行评议
图13 对“在您看来，ChatGPT等开源生成式AI工具将对同行评议过程产生什么影响”的问题的回答
大约35%的受访者认为生成式AI工具会对同行评议过程产生负面影响。36%的人持中立态度或认为生成式AI不会产生影响，而29%的人认为它会产生积极影响。
受访者可以选择在自由文本回复中详细说明他们认为生成式AI对同行评议过程的影响。回答非常多样化。例如，一位受访者声称：“AI可用于审查论文，但其态度必须由审查员单独检查”，而其他几位受访者则对生成式AI被用于撰写同行评议报告表示担忧，并指出当前的开源生成式AI模型无法进行准确的科学批评。
一些受访者建议，AI可以帮助检查手稿是否存在抄袭和英语语言质量，从而在手稿进行同行评议之前过滤掉有问题或低质量的手稿。还有一些其他受访者对AI持完全否定的态度。
对这个问题最常见的回答是生成式AI工具可以提供一些有用的输出，但在同行评议过程中使用任何AI生成的文本之前，始终需要专家人工验证和编辑。
四、讨论
3,046名物理科学研究人员参与了调查，其中包含有关他们对同行评议的看法和经验的问题。样本地理分布广泛，男女性别比例约为80%对20%。虽然这并不代表性别平等，但它广泛反映了物理科学中的性别分裂。
我们询问了受访者，他们认为在截至2024年3月的三年中，他们收到的同行评议邀请数量发生了怎样的变化。近一半的受访者表示，他们收到的审稿人请求数量有所增加。不同职业阶段或地理位置没有重大差异，但世界银行低收入国家受访者除外，他们更有可能报告他们收到的申请数量有所增加。近年来，出版商和编辑越来越认识到将低收入和中等收入国家的研究人员纳入同行评议过程的必要性。据报道，对低收入国家受访者的邀请有所增加，这表明这些包容性努力可能正在发挥作用。然而，出版商应该警惕不要让任何研究人员群体负担过重。
当受访者被问及他们可用于同行评议的时间与他们收到的请求数量相比时，2024年的回复与2020年的回复之间存在明显差异。2024年调查的受访者更有可能表示，他们收到的请求少于可供审核的时间，或者他们收到的请求数量正确（84%，2020年为74%）。近年来，IOP 出版社（以及许多其他出版商）齐心协力，使审稿人库多样化和丰富，以确保同行评议员代表整个物理科学界。因此，虽然这一结果可能代表同行评议负担的总体减轻，但它也可能表明受邀为我们审查的研究人员发生了变化，因此两项调查之间的调查对象构成存在差异。
受访者可用于同行评议的时间存在显著的地理差异，高收入国家的受访者更有可能报告说他们收到的同行评议请求多于他们有时间的时间。鉴于同行评议请求的总量没有重大的地理差异，这很可能反映了高收入国家研究人员的不同竞争性负担和责任，这使他们无法进行同行评议。
在按职业阶段划分的子分析中，与学术界的受访者相比，在工业界工作的受访者一致表示收到的审稿请求较少，可用于审稿的时间更多。当出版商试图丰富他们的评论者库时，他们可能会考虑邀请更多的行业专家进行评论。
与同行评议中的偏见相关的调查回答强调了这样一个事实，即许多评议者仍然认为同行评议过程中存在固有的偏见，尽管在2020年至2024年期间，报告经历过偏见的受访者比例有所下降。支持和反对某些地区和国家的地理偏见是一个普遍的问题，对机构的偏见以及对早期职业研究人员作者的偏见也是如此。
2021年，IOP出版社对其拥有的所有期刊推出了双重匿名同行评议选项。向这些期刊投稿的作者现在可以选择匿名提交手稿，目的是让审稿人不知道作者的身份。双重匿名同行评议的目标是减少同行评议过程中的偏见，并确保仅根据自身价值而不是作者的身份来评判科学手稿。虽然由于各种原因（包括预印本服务器、开放数据共享以及作者显然建立在自己以前发表的作品之上）并不总是能够完全匿名，但研究发现，IOP出版社的双重匿名同行评议减少了同行评议过程中的偏见。
虽然单一匿名同行评议仍然是物理科学中的主要模式，但这项调查的结果表明，大多数受访者都乐于评审双重匿名论文，也很乐意在双重匿名模式下提交自己的研究。看来双重匿名在物理科学中越来越被广泛接受。
就接受同行评议邀请的动机而言，结果表明，2020年至2024年期间没有太大变化。对论文的兴趣和期刊的声誉仍然是审稿人最重要的因素，这表明出版商最好根据审稿人的专业知识和兴趣仔细匹配审稿人与论文，并应致力于保持高标准的同行评议，以维持一个敬业的审稿专家库。与2020年一样，对受访者来说，激励因素最少的是现金或实物福利，尽管这在2024年的平均得分高于2020年。
与2020年类似，受访者热衷于在同行评议过程中收到反馈。对手稿最终决定的反馈是最受欢迎的选项，但受访者也认为对审稿质量的反馈是一个潜在的激励因素。2023年，IOP出版社成为第一家直接从编辑团队向审稿人提供审稿质量反馈的主要出版商。在这个系统中，审阅者可以选择加入或不接受反馈，这些反馈以1-5分制的评估形式与评估矩阵一起发送。很大一部分审阅者（大约60%）选择接收对其审阅的反馈，并且来自社区的评论绝大多数是积极的。
我们还要求受访者评估不同的举措和创新，了解它们如何对同行评议过程产生积极影响。排名最高的回答是“改进在线手稿和审稿提交系统”，其次是“作者、审稿人和编辑之间有更多的交流”和“更好、更容易获得的同行评议培训”。自2020年上次进行调查以来，后一种回答在排名中急剧上升。
在2020年调查之后，我们试图通过启动同行评议卓越计划来解决同行评议培训方面的差距，该计划包括一个完全可访问的培训元素。全球都可以访问和完成我们的培训课程，自2021年以来已有6,000多人报名参加，这表明对高质量培训的需求强劲。
自2020年上次调查以来，一个重大进展是开源生成式AI的发布。我们向受访者询问了两个问题，内容是关于生成式AI未来可能对同行评议产生的影响。调查结果显示，研究界对生成式AI的看法存在两极分化，35%的受访者预测生成式AI会产生负面影响，29%的受访者预测生成式AI会产生积极或非常积极的影响，36%的受访者预测中性或没有影响。关于生成式AI对同行评议影响的自由文本回答反映了这种观点的两极分化。
学术出版商一直在努力制定生成式AI政策，以保护同行评议的完整性，同时保持务实。一些研究人员在撰写手稿时会在一定程度上使用生成式AI，我们还看到一些审稿人使用生成式AI来撰写或增强他们的同行评议报告。目前，出版商无法准确检测文本是否由AI生成。在IOP出版社，我们进行了广泛的测试和研究，以在手稿和同行评议报告中发现生成式AI的标志。
使用生成式AI编写或增强同行评议报告会引发许多道德问题，包括数据保护和违反机密性，以及对评审员报告的真实性和准确性的担忧。
鉴于形势瞬息万变，围绕生成式AI的发行商政策需要具有适应性和公平性。目前，IOP出版社不允许使用生成式AI来编写或增强同行评议报告。我们也不会接受将生成式AI工具命名为手稿作者，尽管我们理解一些研究人员会在起草手稿时使用这些工具，我们鼓励作者公开透明地使用生成式AI来创作他们的作品。
