《迈向监测开放科学的共同框架》

  • 来源专题:科技出版市场动态监测
  • 编译者: 崔颖
  • 发布时间:2024-10-11
  •     SPARC Europe宣布将与洛林大学协调一项新倡议“开放科学监测倡议”。开放科学监测倡议(OSMI)由法国夏里特医学院、法国高等教育和研究部、国家信息与自动化研究所(Inria)、PLOS 和联合国教科文组织共同发起,致力于为监测开放科学提供一个通用的全球框架。

        OSMI的协调委员会由SPARC Europe的Vanessa和Andrea以及洛林大学研究数据和文献计量支持服务负责人Laetitia Bracco组成。委员会的目标是在践行这一新兴倡议时为一系列政策制定利益相关者提供必要的支持,以确保政策转化为行动。

        发展单一框架来监测开放科学的任务响应了2020年开放学术基础设施原则和2021年联合国教科文组织关于开放科学的建议。OSMI还与PathOS开放科学指标手册和巴塞罗那开放研究信息宣言保持一致。

        OSMI在与联合国教科文组织开放科学监测工作组协商后,已经制定了开放科学监测的草案原则。

        草案原则现对所有人开放审查,具体内容如下:

        在全球范围内,开放科学政策正逐渐被各国政府、大学、研究机构和资助机构采纳。为了衡量开放科学在不同地区的进展,出现了许多监测倡议,但这些倡议往往存在差异性、不可比较和难以跨区域应用的问题。因此,开放科学监测原则的目的是建立一套最佳实践和指导方针,以鼓励对开放科学监测结果的汇集、比较和重用。

        该倡议旨在帮助国家政府、研究机构和国际组织等利益相关者建立自己的监测工具,同时考虑到研究和政策多样性所需的监测方法的多样性。它还旨在建立一套广泛适用的标准,这些标准可以被国际组织、国家政府、研究机构、资助机构以及数据或相关服务的供应商采纳。这些原则来自于在各自领域内监测开放科学实践的组织,但并不局限于任何特定的监测服务或软件解决方案。

        文件中定义了一系列广泛且高层次的原则,旨在以一种务实的方法监测向开放科学的全面转型及其对研究生态系统和社会的影响。文件的范围涵盖了所有类型的研究结果及其对学术生态系统的影响,并可能在未来扩展到全面监测开放科学政策。文件的目标是通过为选定的指标系列提供技术规范来补充,这些指标系列包括出版物的开放获取、临床试验结果的共享、研究数据的开放或共享、在开源许可下发布研究中使用的软件、开放科学成本和学术影响的估计、开放科学社会影响的估计、研究社区价值观和信仰的研究、公民科学的演变、开放引用的研究以及开放科学方法对日常研究流程影响的研究等。

        文件强调开放科学监测应依赖于开放、透明和可复制的方法,并遵循共享和公认的原则。

        在“相关性”内容下,草案提到的原则有:

    ? 适用性和明确性:指标必须对于手头的特定监测任务有意义、适用且相关,其范围应明确界定。指标适用性的任何限制或约束都应明确说明并清晰传达。

    ? 对公共政策有意义:指标应可供各种利益相关者设计自己的开放科学政策,促进基于证据的决策和行动,适应其特定情境。指标旨在为公共政策提供信息,不应用于评估个体研究者,如在资助申请、招聘或员工晋升中。

    ? 共创性:指标的采用应尽可能地基于利益相关者的积极参与和自愿参与。应通过公开咨询和对话,与研究政策制定者、研究执行机构、研究资助机构和研究社区共同创造指标。利益相关者应有权选择不采用指标。

    ? 包容性:指标应考虑学术领域、社会环境和语言的多样性。

    ? 成熟度:每个指标的成熟度需要明确。实验性方法应明确标记。应在公开发布新指标前后,估计新指标的成熟度。

    ? 不同情境的指标工具箱:为了降低组织在建立开放科学监测系统时的复杂性并减少实施工作,目标应该是开发一套适用于不同情境的指标工具箱。这种方法使得各利益相关方能够根据他们特定的需求和条件,从这些工具箱中挑选合适的指标。

    ? 可比性:指标应旨在促进机构、国家、地区和研究领域之间的可比性。在实践中努力实现可比性,同时承认任何指标的适用性限制,是监测工作的重要部分。

    ? 更新指标:提供定期更新的指标。

        在“透明度和可复制性”内容下,草案提到的原则有:

    ? 面向公众的沟通:需要向各方清晰传达从指标、生成的数据和可视化中得出的结论。

    ? 流程和方法论的公开文档:应提供公开可用的文档,描述监测项目所做的数据收集、数据来源、处理和实施选择。

    ? 明确的数据来源:整个数据流程应该是透明的和开放的,严格记录每个数据点的来源和许可证,以提供清晰的由来信息。

    ? 开放的输出数据:输出数据应该是开放的,新产生的知识和数据应在开放许可下分发,特别是涉及版权保护的文本和数据挖掘,输出应遵守版权规则和隐私保护。

    ? 包含FAIR和CARE原则:输出数据应尽可能符合FAIR原则(可发现、可访问、可互操作、可重用)和CARE原则(集体利益、控制权、责任和伦理)。

    ? 抽样:在无法获得完整数据的情况下,可以采用随机抽样和其他成熟的统计技术、插值和透明启发式方法,只要这些技术有适当记录即可。

    ? 开源软件:用于数据获取和处理的软件应该是开源的,有版本记录,并在促进合作和贡献的平台上发布适当的文档,以促进长期开放合作和重用。

    ? 标准化指标:核心指标使用公开和集体定义程序进行标准化,每个指标都公开记录在既定规格文档中。

    ? 指标质量的透明度:应评估每个指标的准确性(如精确度和召回率)、覆盖范围和及时性,并在合适情况下公开。

    ? 设计上可重用:监测结果和指标成果应通过API和批量下载功能访问,定期更新。

        在“自我评估和负责任的使用”内容下,草案提到的原则有:

    ? 自我评估:实施这些原则的倡议被邀请根据本文件评估他们的监测工作,并将评估结果公开。

    ? 监测以促进改进:监测应用于激励而非惩罚缺乏实践的行为。

    ? 持续评估监测倡议:由于任何指标都可能促进不当行为的尝试,需要对指标和方法论进行持续评估,以及实践可能向非预期方向的潜在转变。

    ? 适应性:随时间演变,变更和发展应该是透明的,并公开记录。

    ? 避免排名:这些指标不得用于创建排名。

  • 原文来源:https://sparceurope.org/towards-a-common-framework-for-monitoring-open-science/
相关报告
  • 《《开放科学监测原则》发布》

    • 来源专题:科技出版市场动态监测
    • 编译者:崔颖
    • 发布时间:2025-09-30
    •     《开放科学监测原则》(The Principles of Open Science Monitoring)现已上线,为通过包容、透明和负责任的监测方法追踪和支持开放科学实践提供全球性愿景框架。     该原则由开放科学监测倡议(Open Science Monitoring Initiative,OSMI)通过六大洲近200名专家参与的协作咨询流程制定,为各国政府、资助机构、科研院所和开放基础设施提供方开发适合其独特场景的监测方法提供指导。该文件响应了2021年联合国教科文组织《开放科学建议书》的要求,旨在创建稳健框架以支持各国和国际社会推动科学更加开放、包容和具有影响力的方向发展。     (1)核心要点:     1)相关性与重要性     开放科学监测需定义清晰、具备实际相关性,并能适应不同的研究场景。监测指标需对规划与政策制定有实际意义,且应通过参与式流程制定;指标需覆盖各类学科领域,满足不同利益相关方的需求,为基于证据的决策提供支持,同时避免采用“一刀切”模式。     2)透明度与可重复性     监测体系应依托开放基础设施,使用开源工具,并优先保障公开文档记录与数据来源可追溯。监测指标需具备可追溯性与可重复性,需基于经过质量保障的输入数据,并采用共享的方法体系,以此保障监测过程的透明度、可信度及结果的可复用性。     3)自我评估与负责任使用     开放科学监测需定期开展审查,且绝不能单独用于对个人进行排名。相关监测举措应融入学习、改进与环境责任的文化氛围中。监测指标需体现学科领域的多样性、知识体系的多元性及利益相关方的广泛性,且应在与指标所代表的社群充分沟通后制定。     4)灵活性与可持续性     该原则为非指令性原则,旨在随时间发展演变。原则鼓励“共同所有权”理念、长期规划,并倡导监测方案与本地需求切实结合,同时明确,完善的监测体系需在“可比性”与“情境敏感性”之间取得平衡。     (2)贡献实践经验:OpenAIRE的参与     欧洲开放科学基础设施组织(OpenAIRE)为这项全球努力贡献力量。在咨询意见征集阶段,OpenAIRE结合自身在欧洲搭建开放监测服务的实践经验(包括OpenAIRE知识图谱、开放科学观测站、MONITOR仪表盘,以及爱尔兰国家开放获取监测平台等国家级工具),提交了详细的反馈意见。     反馈意见重点包括:强化开放基础设施在监测工作中的作用、倡导明确关键概念的定义,以及将研究软件认定为核心研究产出。鉴于该原则旨在提供理想导向并随发展不断完善,OpenAIRE期待就更多议题持续开展对话,例如人工智能在监测中的作用、研究软件的认可,以及与开放基础设施的整合,这些议题在OpenAIRE的反馈中亦被列为重点。     (3)践行《开放科学监测原则》:从框架到实践     OpenAIRE欢迎将这些原则作为凝聚全球开放科学监测共识的重要基础。尽管该原则不绑定任何特定平台,但它为OpenAIRE参与联合开发的欧洲及国家级监测工具相关举措提供方向指引。事实上,欧洲开放科学云(EOSC)开放科学观测站已将该原则中的多项内容付诸实践(例如采用共同创建监测框架),并将继续致力于提升监测能力。     penAIRE将通过参与新成立的OSMI工作组,持续支持《开放科学监测原则》的落地实施,这些工作组旨在推动全球不同场景下对《开放科学监测原则》的采纳,并开展相关能力建设工作。同时,OpenAIRE承诺,其旗下所有服务及方法体系将始终与《开放科学监测原则》所阐述的核心价值保持一致。
  • 《迈向开放科学的研究评估:驱动与障碍》

    • 来源专题:数智化图书情报
    • 编译者:闫亚飞
    • 发布时间:2023-09-27
    • 摘要:本文旨在确定在研究评估领域实施开放科学(OS)面临的驱动和障碍。研究采用定性方法,通过采访西班牙学界的研究人员、学术期刊编辑、评估机构代表、大学副校长,以及具备OS专业知识的图书馆员来获取信息。结果表明,科学实践向OS模式的转变需要一个能够整合所有OS相关倡议并与学术评估和奖励体系相结合的政策框架,同时需要足够的资金支持。 01开放科学环境下的研究评估 通过对大学副校长和评估机构负责人围绕OS环境下的研究评估这一主题进行采访,整理其观点如下图所示。根据受访者观点,在研究评估标准中融入OS带来的新变化,其所面临的障碍因素多于驱动因素。 1.1研究人员作为评估者 副校长和评估机构代表一致认为,随着新一代研究人员采用OS的标准和价值观来塑造自己的职业发展,其带来的文化变革将有利于转向建立以OS为导向的研究评估体系:“我认为我们正在讨论的是一种代际变革。我们需要以OS为默认研究准则的青年研究者,并且要拥有切实践行OS的青年研究者,我们必须开始培养他们,至少目前是这样。当这些年轻研究者走向高层时,我们将会实现OS,这意味着代际变革,所以我们必须从现在开始改变思维。” 此外,一位副校长提到,在对研究评估的讨论中引入研究人员群体的观点可能有助于带来必要的变革:“对于OS环境下的研究评估新模式,我们希望是在与学者们充分讨论之后提出,因为对我们来说,研究人员的地位至关重要。在我们作出决定的过程中,必须充分讨论,保证开放,保持反思。”另一方面,受访者提到不同领域需要的具体标准不同,这会造成采用新评估模式的障碍,此外还有评估者对新模式的认可度较低,以及一些学者对转变评估文化的无视:“那就在博士奖学金的申请中应用OS概念,让那些想要获得奖学金的可怜人自行争取吧,我将继续在我想发表的地方发表文章,因为对我来说没有任何区别。” 1.2学术生态系统 受访者仅提到了两个与学术生态系统相关的驱动因素。一是各个层级上发布支持OS的政策决策,二是需要以整体视角处理好OS的不同维度,而不能仅从评估的角度来处理。受访者提及的障碍因素则非常之多。受访者们就四个障碍因素达成了一致,其中两个障碍的关注点在于,这会使得研究评估同时存在两种评估体系,即传统评估体系和替代评估体系,这两种体系会导致根据OS标准对研究人员提出的要求与根据传统评价标准进行的评估之间产生冲突。与此同时,由于缺乏明确的指导方针,根据新的学术生态系统调整具体评估标准的想法仍然难以付诸实践:“我们如何进行评估仍存在许多争议,虽然取得了一些进展,但有一点很清楚,就是目前还没有替代方案。”受访者达成一致的另外两个障碍因素与评估过程内部的操作问题有关,例如流程成本增加(包括金钱和时间),以及所应用标准的主观性增加:“有谁愿意在可以依赖和调整统计指标的情况下,去人工评估3,000份文件?并且定性评估还存在成本和主观性方面的问题。”同时,受访者提到有的障碍与他们的工作领域密切相关。就副校长而言,他们面临的障碍是在评估研究时难以区分科学影响和媒体影响,以及需要与其他大学协调以确保没有人的利益受损。就评估机构负责人而言,他们提到的障碍涉及两方面,第一个是这种新评估模式存在对社交媒体的依赖,但社交媒体环境易于操纵,缺乏稳健性:“我担心的是如何才能不被欺骗。换句话说,让机器人给你点很多赞是很容易的。”第二个是公共行政部门在制定评估政策体系时,优先考虑的是如何尽可能避免行政上诉,而不是是否真正符合科学标准:“我们经常受到行政法律的约束,可以这么说,在任何提案中我们都很注重这一方面,这不仅会导致在推进OS时存在问题,而且在推进任何评估模式时都会存在问题,因为我们总是从行政程序的角度看待政策。”最后,受访者提到了与科学传播系统及其高度固化有关的障碍,这阻碍了必要的变革:“我们的出版方式就像还在19世纪一样,而当今的技术发展无疑为我们提供了更为多样的科学传播方式,能够提升科学水平,获得更多资助,进行更多研究。” 02 迈向开放科学模式的研究评估 基于不同利益相关者的观点,我们可以识别与研究人员的态度、价值观或信仰相关的因素,以及属于学术生态系统一部分的因素,这些因素都是可以在变革过程中改变学术实践的环境变量。 在与研究人员相关的障碍方面,包括需要明确的研究评估程序,考虑定性标准,根据OS标准提出的要求要符合研究人员实际采用的开放研究方法,需要改变学者和资助者的态度、机构的惯性以及资金不足和资金分配的优先度不够,并且促进和支持遵循OS方法开展的研究活动。尽管开放获取推进已久,但实现OS的障碍尚未消除。根据本文调查结果,只有当研究人员的工作环境中存在使其发生的条件,研究人员的研究文化和习惯才有可能从传统模式转向OS模式。 这些有利的条件与学术生态系统的三个领域有关:一是存在一个能够整合学界各机构不同OS倡议的政策框架,二是将这一政策框架与现有评估和奖励研究人员的体系相结合,三是存在有助于实现这一转变的财务规划。开放科学中心(COS)在关于文化变革的策略中强调,这种变革需要全面推进,先从基础设施开始,然后将其整合到工作流程中,落实能够促进所需行为的规范以使其成为默认准则,最后引入激励措施以使其具有奖励性质,并制定政策使其成为命令。欧盟委员会最近的报告也提出了一种基于原则和行动的协调方法,该方法可以促进致力于实施变革的研究资助组织和研究执行组织达成一致。 首先,在政策框架方面,联合国教科文组织(UNESCO)《开放科学建议书》建议成员国采取同步措施,通过多利益相关者参与,创造一个有助于政策实施的政策环境。UNESCO除了建议创造促进OS的政策环境外,还敦促政府建立充分的监管和评估机制,以衡量OS相关政策和激励措施的实施情况。在这一方面,西班牙已发布《2021-2027年科学、技术和创新战略》,推动向此方向努力,以促进OS并提升西班牙对欧洲开放科学云的贡献。 其次,在评估体系方面,如何应用OS环境下的研究评估新模式正在成为向OS转型的主要挑战之一,因为传统的评估体系与OS的价值观存在冲突,这体现在两方面:第一个是概念性的问题,与根深蒂固的引用和影响因子等指标的广泛使用和更加契合OS精神的替代指标的有限使用相关。虽然迄今为止各种新指标层出叠现,但在使用的可靠性、透明度和适用性上仍存在共识上的不足,不过这些新指标可以用于评估研究的质量、完整性、可重复性和社会影响,从而在一定程度上取代当前基于引用相关指标的评估模式。第二个问题是操作上的问题,包括需要更多的人力资源和财力投入,以及由于在每个学科领域需要应用更主观和更具体的标准从而可能导致的法律和行政风险。因此需要在各个层级做出政策决策,并采取协调一致的方法,允许高校之间进行对话和合作。虽然在评估体系建设方面潜在的困难重重,但一些欧洲国家已经制定了促进从传统评估模式过渡到更符合OS的评估模式的举措。例如荷兰的国家评估框架,该框架基于一种新的认可和奖励体系,称为“Job Classification System”(UFO),或是德国的卓越计划,其中大学根据合作项目进行评估,这有利于建设合作的科学社区和提高科学的开放性,此外葡萄牙、法国、芬兰、瑞士和爱尔兰等国也推出了各种致力于在全球推广OS的举措。 最后,促成学术生态系统转变的第三个领域是研究经费支持。诚然,以OS方法开展研究活动所面临的资源不足这一障碍已在先前的研究中被多次强调。此外,副校长们还关注技术基础设施的资金不确定性,评估费用上升的问题,这些费用目前已经难以负担。同时,还必须将这一问题置于研究资金不足的背景下考虑,这一问题自2008年的经济危机以来一直存在。当前西班牙已开展了一些行动以应对这一问题,例如西班牙大学校长联合会(CRUE)和西班牙国家研究高等委员会(CSIC)最近在与各学术出版商签署转换协议,这些行动正在改变过去的资助规则,解决包括成本、费用涵盖范围以及谁应付费等问题,这可能有助于实现开放获取(OA)。但是,要使这些举措产生预期的效果,还需要坚定的评估政策承诺,以便确保遵守《关于科研评价的旧金山宣言》(DORA)等倡议,并对研究人员产生真正的影响。例如近期西班牙国家质量评估与认证机构(Aneca)宣布将在其评估标准中加入与开放科学相关的活动。 03结语 学术生态系统是动态发展的,自《布达佩斯开放获取倡议》等最早的一批开放获取倡议开始后的20年里,学界对OS有了更多的了解。当前的重点是在如何在操作和/或技术层面实现它们,以及机构如何提供支持和制定适当的政策以实施它们的方式上。这对仍然基于传统学术实践并且对OS的新价值观响应能力有限的研究评估政策而言尤为重要。从所有受访的利益相关者处收集到的多种观点揭示了他们所感受到的限制和对学界的期待。可以说,如果机构有意愿改变,那么研究人员对OS价值观的态度可能就会发生变化,而现在正是时候。目前所看到的科学实践与相关机构制定的政策和战略之间的不协调性,导致了一种充满不确定性的研究环境,只有告别传统评估模式并建立具有资金支持的合理政策框架才能克服。正如Larivière所说,当合理的政策结构和激励措施到位时,研究人员会发挥出积极的作用。