本连载分为两期内容发布。第二期报告要点如下:
1、通过公共获取政策和开放科学实践促进研究诚信
联邦政府制定了一系列政策,旨在促进研究诚信文化的建立,并预防学术不端行为。这些政策强调公共获取的开放性,包括对科学数据管理和共享的明确规定。公共获取和开放科学政策,以及出版界的相关政策,都旨在通过增加对研究成果背后的数据和工具的获取,使社区能够更容易地发现和纠正错误,从而促进研究诚信。
尽管整个研究界都在努力促进研究诚信和防止学术不端行为,但违规行为仍然发生。OSTP分析2024年5月撤稿观察数据库中的数据,结果显示:
1)投诉和撤回往往存在滞后性;
2)2023年撤稿数量的激增主要与开放获取出版商Hindawi有关;
3)撤稿的绝对数量随时间在增长,但撤稿率的增长也反映出全球研究论文总产出的增加;
4)联邦公共访问政策并未导致撤稿数量的增加。
此外,推动研究诚信的其他手段包括:增加与出版物相关的数据集共享、通过数据论文和数据期刊进行学术交流、预印本的日益普及、改革研究的评估方式和研究人员的奖励机制等。
2、同行评审的发展趋势。高质量的同行评审是研究诚信的推动力量,也是出版商提供的重要服务。主要内容包括同行评审存在不完善的地方以及为推动同行评审做出的努力。
以下是报告详细内容:
第一部分:通过公共获取政策和开放科学实践促进研究诚信
联邦政府制定了一系列政策,旨在促进研究诚信文化的建立,并预防学术不端行为。这些政策特别强调了公共获取的开放性,包括对科学数据管理和共享的明确规定。
尽管整个研究界都在努力促进研究诚信和防止学术不端行为,但违规行为仍然发生。为了说明学术出版生态系统中研究诚信的某些趋势,OSTP分析了2024年5月从撤稿观察数据库检索的数据。
OSTP在数据库中筛选结果,只留下编码为“研究文章”的结果,图1和图2显示了1990-2023年按撤稿年份和出版年份划分的撤稿数量。这些数字的比较表明,投诉和撤回往往存在滞后性。OSTP根据被撤回的文章是否有美国作者来划分数据,结果表明美国研究人员撰写文章被撤回比例明显低于非美国作者。但数据集中没有指出撤回的文章是否有得到联邦政府的支持,因此OSTP无法解析特定于联邦资助研究的撤稿趋势。
图1. 1990-2023年,美国作者和非美国作者的研究文章撤稿数量变化
图2. 1990-2023年,美国作者和非美国作者的研究文章撤稿数量变化
2023年撤稿数量的激增主要与开放获取出版商Hindawi有关。该出版商因所谓的“论文工厂”问题撤回了8,000多篇文章。
尽管撤稿的绝对数量随时间在增长,但撤稿率的增长也反映全球研究论文总产出的增加。为了提供一个随时间变化的撤稿率的粗略视图,OSTP利用美国国家科学委员会(National Science Board)的科学与工程指标(Science & Engineering Indicators)的数据,比较了在特定年份内发表并随后被撤回的文章与当年发表的文章总数的比例。
OSTP指出,由于从问题被标记到文章最终被撤回存在时间差,近年来发表的文章的撤回率可能会有所上升。这意味着,近期发表的文章在被标记后,可能需要一段时间才会进行撤回处理,因此这些文章的撤回率可能会暂时较高。
图3 2003-2022年间发表的研究文章随后被撤回的比例
在美国公共访问政策开始生效之前,学术出版界就已经发布了撤稿通知,联邦公共访问政策似乎并未导致撤回文章的增加。相对罕见的撤稿情况可能归因于研究和出版界为促进强有力的同行评审和维护研究诚信而采取的措施,此外还有自动化工具在手稿进入同行评审之前就检测出剽窃等因素。
OSTP分析了至少一位美国作者发表的撤回研究文章,并确定了撤回的最常见原因,其中前10个原因如表1所示。
表1. 至少有一位美国作者参与撰写的撤回文章的10大撤稿原因
公共获取和开放科学政策,以及出版界的相关政策,都旨在通过增加对研究成果背后的数据和工具的获取,使社区能够更容易地发现和纠正错误。
OSTP利用了公共科学图书馆(PLOS)的开放科学指标(OSI)数据集的第6次发布,来展示在PLOS期刊上发表的、其相关数据集已在数据存储库中公开的出版物的增长情况(见图4)。虽然OSI数据集主要关注PLOS期刊,但数据共享的广泛增长也归功于资助者和期刊的政策,以及学术界和社区在将政策指导转化为实践方面的努力。
这些努力包括:
(1)建设有效数据管理和共享的一般能力;
(2)为选择支持长期和高质量数据保存的数据存储库提供指导;
(3)促进数据共享政策的一致性;
(4)建设基础设施,通过元数据和数字持久标识符更好地连接数据和其他研究对象,以促进数据指标的采用。
目前,在美国,通讯作者在PLOS出版物中提供数据的比率较高。OSTP预计,随着更新的联邦公共获取政策在2025年12月31日生效,这一趋势将会进一步增长。
2023年,美国国家卫生研究院(NIH)的数据管理和共享政策以及美国国家航空航天局(NASA)的科学任务局政策SPD-41a65开始生效。这两项政策都要求在考虑隐私、安全、伦理和知识产权的基础上,将支持出版物的数据公开。
图4. 2018-2023年在PLOS期刊上发表的文章以及数据存储库中可用相关数据的百分比
虽然与出版物相关的数据集共享有所增加,但鉴于对数据集进行有意义和有力的同行评审可能具有复杂性,许多期刊仍然不需要对数据进行同行评审。尽管如此,一些期刊和出版商在将数据同行评审付诸实践和在研究界建立有效评审数据集所需的能力方面取得了进展。
除了共享与出版物相关的数据外,还出现了通过数据论文和数据期刊进行学术交流的新形式。数据论文是在同行评审的期刊上发表的文章,描述了特定的数据集以及数据的收集方式。数据期刊专注于发表数据论文,详细说明“用于创建或收集数据的方法,描述数据的验证,并促进其他研究人员共享和重用数据。”这些沟通形式特别强调精选和高质量的数据集,为研究社区更广泛地重用这些数据创造了激励机制。
预印本的日益普及也可能为提高研究诚信提供另一种手段。通过预印本,研究人员得以分享他们的中期研究成果,并邀请学术界对这些初步成果提出反馈,从而帮助他们完善分析,并在已有成果的基础上进一步发展研究。此外,预印本对年轻职业研究人员尤其有益,它提供了一个平台,让他们可以更早地获得同行的反馈和认可。尽管同行评审过程和期刊上的出版物给人一种权威感和社区的认可感,但预印本的开放讨论机制为研究社区提供了一个机会,以评估和提高研究工作的质量。这种机制允许作者在正式提交同行评审之前,接受社区的反馈,甚至可能探索不同的研究方向。
虽然公共访问政策仅适用于同行评审的学术出版物,但美国国立卫生研究院(NIH)等一些机构鼓励研究人员使用预印本等临时研究产品来加快传播并提高工作质量。
除了数据共享和预印本之外,推广研究诚信的更广泛文化努力也在进行中。2022年,COPE和STM联合发布的一份关于论文工厂的报告中指出,研究人员职业晋升的发表压力是其使用“论文工厂”的一个主要因素。OSTP在2023年11月的报告的也讨论了这种“发表或灭亡”的压力,这种压力将同行评审出版物的数量置于其他贡献之上。OSTP在2023年11月的报告中也讨论了这一问题,并在同年夏季与早期职业研究人员社区举办的一系列会议中将其作为一个主要主题。
这种文化可能会激励研究人员不仅使用论文工厂,还可能急于完成发表过程,或者在“掠夺性期刊”上发表文章。(根据COPE的定义:掠夺性期刊是“以欺骗性或欺诈性的方式系统地以营利为目的发表所谓的学术内容,而不考虑质量保证”的期刊)。为了帮助研究界应对不断变化的出版环境,并防范掠夺性期刊的使用,各组织已经建立了开放获取出版的最佳实践。同时,资助机构(如美国国立卫生研究院)也向其资助者发布了指导,以帮助他们在不断发展和演变的出版行业中识别和选择可信的期刊。这些举措旨在维护研究的诚信和质量,确保研究人员能够在合适的平台上发表他们的研究成果。
目前,正在进行的努力是改革研究的评估方式和研究人员的奖励机制。
美国政府继续参与这些努力,因为联邦资助者是推进和采用负责任和有意义的研究评估实践并促进研究诚信文化发展的关键利益相关者。
通过这些举措,创造一个更加健康、公正和高质量的研究环境,使研究人员能够专注于他们的研究,而不必受到不适当的发表压力的影响。
第二部分:同行评审的持续趋势
高质量的同行评审是研究诚信的推动力量,也是出版商提供的重要服务。
OSTP承认同行评审制度并不完善,并注意到在联邦公共访问政策发生任何变化之前就存在的长期趋势,例如:
? 同行评审系统中记录在案的偏见。OSTP 在2023年11月的报告中讨论了由同行评审和编辑系统中的偏见(无论是明示还是隐含)引起的长期不平等。偏见包括:
(1)地位偏见,即杰出的研究人员比相对不知名的作者更有可能获得好评;
(2)内容偏见,即审稿人可能对特定主题或结果持有的偏见,而与方法或结果的质量无关;
(3)对作者特征的偏见,例如机构隶属关系、感知的性别,或感知的种族或民族;
(4)发表偏见,即更倾向于发表积极或具有统计学意义的结果,而不是消极或非确认性的结果。
? 文章产出的增长使审稿人群体紧张。正如OSTP在其2023年11月的报告中所讨论的那样,多年来,全球和美国发表的文章数量都大幅增长。从1996年到2020年,文章数量增加了两倍多,从每年发表的不到100万篇增加到290万篇。这种增长是由于多种因素造成的,包括学术出版的数字化以及为提升职业发展而增加出版量等文化因素。随着这种增长,需要更多的同行评审者,对同行评审的请求也随之增加。
Publon's在2018年发布的一份同行评审状况报告指出:“75%的期刊编辑表示,'找到审稿人并让他们接受审稿邀请'是他们工作中最困难的部分。”该报告还指出,审稿人最常拒绝审稿的原因是,他们觉得自己的专业知识与文章不匹配,或者他们已经没有多余的时间。出版商为增加同行评审人员多样性所做的努力,也可能给女性和代表性不足的学者带来额外的压力,这些人在他们的机构中已经不成比例地承担了额外的服务角色,这些工作通常被归类为‘不利于晋升’的工作。
? 缺乏同行评审的信用或激励措施。担任同行评审的研究人员通常不会因其对学术交流生态系统的贡献而受到认可。一项2021年的研究估计,美国研究人员在评审工作上投入的时间和薪金超过了15亿美元。虽然围绕向同行评审员支付服务费用的道德问题存在争议,但出版商、研究机构和资助者仍然可以采取措施将同行评审工作归功于同行评审员,并确保对他们职业生涯有益。
? 从提交到完成同行评审过程之间的拖延。出版物数量的不断增长和对同行评审库的需求也导致了从提交手稿到决定是否接受或拒绝论文之间的延迟。不同的研究领域在提交手稿和完成同行评议过程之间也存在不同程度的延迟。
众多出版商、期刊以及学术传播领域内由研究者推动的计划已经在应对这些令人关切的趋势方面做出了努力,这些努力包括:
? 努力使审稿人和编辑委员会队伍多样化。OSTP观察到,整个出版业在使其同行评审员名单和编辑委员会成员多样化方面做出了值得称赞的努力,包括按职业水平和地域划分。COPE 2021年进行的一项调查发现,69%的期刊和出版商正在积极努力增加审稿人数量,而29%的期刊和出版商表示他们的期刊和出版商已达到理想的多样性水平。
? 尝试提高同行评审过程的透明度。公开同行评审是提高同行评审过程中的透明度和问责制的各种策略的总称,包括“公开审稿人和作者身份,发布审稿报告,并使同行评审过程有更多参与”。
? 努力为同行评审提供激励。出版商和学术界正致力于认可并表彰同行评审者的贡献。一些出版商引入了审稿人识别服务,允许审稿人选择将自己的审稿评论发布在审稿人资料中,从而增强他们学术贡献的透明度和可信度。此外,为了鼓励审稿人的参与,一些出版商提供折扣的文章处理费(APC),而其他出版商则提供继续医学教育(Continuing Medical Education, CME)学分等激励措施,以奖励审阅特定类型文章的审稿人。这些措施旨在肯定审稿人的努力,并促进其职业发展。
? 由社区主导的努力,推进预印本审查和提供同行评审员培训。预印本为研究人员提供了一个机会,让他们决定是否提交手稿,以及在哪里提交手稿,从而在同行评审和正式出版前获得对他们工作的意见。通过使用预印本对研究人员社区,特别是早期职业研究人员和来自代表性不足背景的研究人员进行同行评审过程的培训,这为像PREreview这样的社区主导的工作提供了机会。
OSTP及其联邦合作伙伴继续监测同行评审的趋势,以推进努力促进学术交流生态系统的活力、完整性、多样性和公平性,同时继续推动公众获得这些重要的纳税人资助的研究成果。
第三部分:延伸阅读
(1) OSTP 2013年备忘录:https://grants.nih.gov/policy/reproducibility/principles-guidelines-reporting-preclinical-research.htm
(2) 2022年国家科学科学保护委员会(NSTC)报告: https://smd-cms.nasa.gov/wp-content/uploads/2023/05/ScientificInformationpolicySPD_41.pdf
(3) COPE与STM联合发布的关于论文工厂的报告: https://publicationethics.org/node/55256
(4) OSTP开放科学与早期职业研究人员的倾听会议的读物: https://www.whitehouse.gov/ostp/news-updates/2023/07/11/readout-of-ostp-open-science-listening-sessions-with-early-career-researchers/
(5) Publon's 2018年同行评审状况报告:https://publons.com/static/Publons-Global-State-Of-Peer-Review-2018.pdf