《关于研究的可再现性和可重复性的简要指南》

  • 来源专题:科技期刊发展智库
  • 编译者: 朱鑫汝
  • 发布时间:2023-09-13
  •   许多研究者并未明了可再现性(reproducibility)与可重复性(replicability)在研究中所扮演的不同角色。理解这两者的区别对于保证研究的信度、可核查性与有效性是至关重要的。为了更好的理解,本文将会阐述这两个术语的定义、它们的重要性及其间的差异。

      什么是研究的可再现性?

      可再现性是科研活动的基础,它要求不同的研究者使用相同的数据、方法或分析方式能够得到一致的结果。可再现性允许学者独立地验证和检验研究成果,进而证实研究结果的准确性、可靠性和完整性。此外,研究方法和数据的透明度能够让其他研究者基于已发表的研究成果,发现可能的错误、偏见或局限性,从而为他们所在领域的发展做出贡献。

      什么是研究的可重复性?

      研究的可重复性指的是在使用不同的方法、数据或分析方式来重复实验时,能得出类似的结果。可重复性不仅证明了结果的一致性,也能强化研究的因果关系,使研究者能对未来的实验、方法和方案进行微调以提高其精度和准确性。事实上,研究的可重复性受到研究团队的重视,因为他们希望通过重复和测试实验,来确保自己的研究结果的可靠性和一致性,进而排除可能的误差或错误来源。

      研究中的可再现性和可重复性的意义

      研究的可再现性和可重复性的重要性不言而喻。能证明研究结果具有准确性和可靠性,不仅可以增强人们对研究结果的信心,也为未来的研究奠定了坚实的基础。然而,若研究者不能再现或重复某项研究的发现,将会削弱该研究的信度,减弱其作为支持未来可能研究的可信资料来源的影响力。

      在能影响政策决策的研究领域,如医疗、教育和环境科学,可再现性和可重复性尤为重要。在这些研究领域,有可靠、有效的研究结果对决策者来说至关重要,以便做出精确的决策,进而对人们的生活产生积极的影响。可再现性和可重复性还有助于形成科学共识。简而言之,当多个研究者能够通过相同或不同的方法和数据来再现和复制结果时,就会增强对某一特定研究假设或理论的信任度。这种共同的信心对公共政策具有至关重要的影响,可以指导未来的研究方向。

      可再现性和可重复性的主要区别

      尽管可再现性和可重复性在表面上看似相似,但在实际的研究过程中,这两者还是存在明显的区别。


      可再现性和可重复性对于产生有影响的结果都是不可或缺的。通过理解这两个概念之间的区别,研究人员可以在他们的工作中优先考虑透明度、严谨性和质量,从而为科学知识的发展做出有益的贡献。

      研究中的可再现性和可重复性所面临的挑战

      然而,要在研究中实现可再现性和可重复性并不容易,我们必须要意识到那些可能影响可再现性和可重复性的因素。首先,方法和操作程序的记录不充分或不准确会使研究人员难以重复实验或分析。其次,不稳定的变量或数据的不一致可能会影响研究结果,例如在涉及人类的研究中,这可能会使得实验或分析难以复制。最后,实验设计和分析方法的差异,如样本量过小、方法不精确或软件记录不充分,都可能会对结果的可再现性和可重复性造成影响。对研究的可再现性和可重复性的其他影响因素还包括个人偏见、输入数据或解释结果时的人为错误以及为实现预期结果而进行的数据造假。

      显然,研究的可再现性和可重复性在推动科学进展、提高科学知识水平以及为公共政策提供信息方面具有重要作用。通过理解这些概念的差异,以及优先考虑透明度、严谨性和质量,研究人员可以得出具有突破性的成果,为现有知识做出贡献,影响政策决策,提高信誉,并增强公众对研究的信任。

相关报告
  • 《FORRT和开放科学中心在开放和可重复研究实践中开展合作》

    • 来源专题:科技期刊发展智库
    • 编译者:孟美任
    • 发布时间:2023-10-23
    • 开放和可重复研究培训框架 (Framework for Open and Reproducible Research Training, FORRT)和开放科学中心 (Center for Open Science, COS)建立合作伙伴关系,旨在利用教育手段促进开放和可重复研究实践。 FORRT:革新研究培训 FORRT由2018年心理科学改进学会会议发起,是一个志愿者组织,由青年学者创立并为之服务,旨在将开放和可重复研究融入高等教育。主要包括以下三个目标: 1.与教育工作者一起,为高等教育逐步采用开放式学术实践开辟道路; 2.就强调开放性、认知不确定性和研究可信性的高等教育教学法的伦理和社会影响展开讨论; 3.促进对不同学术活动重要性的反思,并倡导对教育资源的更大认可。 通过关注透明度、可重复性和公正性,FORRT使教育工作者能够帮助学生和研究人员在选择和使用现有科学证据时做出明智的决策,并按照他们的道德和价值观行事。 团结力量,实现共同目标 在美国国家科学基金会(National Science Foundation,NSF)的支持下,开放式学术知识库 (Open Scholarship Knowledge Base, OSKB)建立了一个知识库平台和贡献者社区,以组织有关学术内容“开放什么”“为什么开放”“如何开放”等信息,以便于查找和申请。研究人员、教师、资助者、图书馆员和任何想要开放学术内容的人共同努力,为这个社区资源创建、编辑和管理数据集、课程计划、阅读材料、教学大纲和其他教育材料。在过去四年中,他们已经为社区组织了数百种资源。 COS已将OSKB上收集的资源(之前托管在OER Commons上)迁移到了FORRT,之前托管在知识共享开放教育资源网(OER Commons)上。目前,合并后的馆藏资源比FORRT 已经拥有的相当庞大的资源列表还要多60%。FORRT和OSKB资源的合并将使研究人员,特别是青年科学家能够获得集中的方式获取并提高开展严谨、透明的研究所需的知识和技能。即便NSF资助结束,OSKB社区的重要工作也可以通过FORRT继续进行。 目前,该资源库由800多种资源组成,涵盖从预登记到可重复分析等开放学术领域的各个主题。教育工作者和研究人员可以使用用户生成的关键字、作者姓名以及按主题领域(“FORRT集群”)进行过滤来搜索该资源库。 FORRT和COS还联手提高人们对开放和可重复研究实践重要性的认识。为此,2023年7月12日,COS和FORRT共同主办了一场关于开放教育资源和元科学的大团队科学网络研讨会,重点介绍了许多FORRT项目。 展望未来 FORRT与COS之间的合作关系标志着提高研究透明度、可重复性和协作性实践的一个重要里程碑。通过培养开放文化并为研究人员提供他们所需的工具和知识,这项合作将使科学界有能力在未来产生更有力、更可靠的证据。
  • 《《科学》系列期刊整合Dryad以简化数据沉积并加强科学可重复性》

    • 来源专题:科技期刊发展智库
    • 编译者:郭林林
    • 发布时间:2023-06-14
    •   《科学》系列期刊宣布与非营利数据存储库Dryad建立合作关系,简化了作者在新作品基础上存储数据的过程,这是促进数据日常重用的关键一步。这一合作关系是《科学》杂志为确保科学界验证、重复和重新分析新研究所需数据的公开提供而采取的新一步。   “大规模解决公众获取数据的问题是一项关键挑战”,《科学》系列期刊主编Holden Thorp说,“我们致力于支持作者,使他们的数据在未来变得更加可查找、可访问和可重复使用。”   《科学》杂志已经要求公开并立即获得已发表论文中的基本结果数据,其中很大一部分是将作者引导到数据存储库。近年来,《科学》杂志的编辑们很高兴地看到这些网站的数据存储有所增加,例如,对2020年发表的《科学》论文的分析发现,近四分之三的论文使用了外部公共存储库。   作者往往越来越熟悉他们的特定领域数据存储库,但在不存在这些存储库的地方,数据存储带来了更多的挑战。   与全面存储库Dryad合作,将为《科学》期刊作者解决这个问题,并简化整个过程。   由于与Dryad的合作将Dryad平台与《科学》系列期刊的提交流程整合在一起,作者可以选择直接从任何《科学》系列期刊的提交网站将数据存放在Dryad。当作者向期刊提交研究时,他们将收到关于数据可用性的提示,并欢迎将数据存放到任何合适的学科存储库。但是,如果数据还没有归属,作者将有机会将数据上传到Dryad。   在对《科学》系列期刊手稿进行同行评审期间,Dryad保存的数据将无缝地、私密地提供给编辑和评审人员。   Thorp说:“我们希望这一步骤将有助于改善整个科学企业对研究结果的评估,并加强发表在《科学》杂志上的工作的可重复性。”   为了确保这项服务能够被广泛使用,《科学》杂志将承担Dryad发表已接受论文的数据的费用。已接受论文的数据集将经过Dryad的策展过程,以确保数据可用,并在Dryad网站上公开,并附上相关的DOI和已发表研究文章的链接。Dryad进一步提供了衡量单个数据出版物被查看、引用和下载次数的指标。   科学界对Dryad平台的回应突出了其优势,包括平台的易用性,以及作者对Dryad员工数据管理的重视。其他人则强调了知识库对早期职业研究人员的重要性,他们可以通过Dryad的引用获得数据集的信用,也可以通过在知识库中存放数据来建立遵循透明研究实践的声誉。   《科学》杂志仍然致力于与研究和知识库社区合作,以帮助确保数据在未来变得更容易获取和可重复使用。数据的开放性对于加速研究发现和将研究转化为社会利益至关重要。