《迈向监测开放科学的共同框架》

  • 来源专题:科技出版市场动态监测
  • 编译者: 崔颖
  • 发布时间:2024-10-11
  •     SPARC Europe宣布将与洛林大学协调一项新倡议“开放科学监测倡议”。开放科学监测倡议(OSMI)由法国夏里特医学院、法国高等教育和研究部、国家信息与自动化研究所(Inria)、PLOS 和联合国教科文组织共同发起,致力于为监测开放科学提供一个通用的全球框架。

        OSMI的协调委员会由SPARC Europe的Vanessa和Andrea以及洛林大学研究数据和文献计量支持服务负责人Laetitia Bracco组成。委员会的目标是在践行这一新兴倡议时为一系列政策制定利益相关者提供必要的支持,以确保政策转化为行动。

        发展单一框架来监测开放科学的任务响应了2020年开放学术基础设施原则和2021年联合国教科文组织关于开放科学的建议。OSMI还与PathOS开放科学指标手册和巴塞罗那开放研究信息宣言保持一致。

        OSMI在与联合国教科文组织开放科学监测工作组协商后,已经制定了开放科学监测的草案原则。

        草案原则现对所有人开放审查,具体内容如下:

        在全球范围内,开放科学政策正逐渐被各国政府、大学、研究机构和资助机构采纳。为了衡量开放科学在不同地区的进展,出现了许多监测倡议,但这些倡议往往存在差异性、不可比较和难以跨区域应用的问题。因此,开放科学监测原则的目的是建立一套最佳实践和指导方针,以鼓励对开放科学监测结果的汇集、比较和重用。

        该倡议旨在帮助国家政府、研究机构和国际组织等利益相关者建立自己的监测工具,同时考虑到研究和政策多样性所需的监测方法的多样性。它还旨在建立一套广泛适用的标准,这些标准可以被国际组织、国家政府、研究机构、资助机构以及数据或相关服务的供应商采纳。这些原则来自于在各自领域内监测开放科学实践的组织,但并不局限于任何特定的监测服务或软件解决方案。

        文件中定义了一系列广泛且高层次的原则,旨在以一种务实的方法监测向开放科学的全面转型及其对研究生态系统和社会的影响。文件的范围涵盖了所有类型的研究结果及其对学术生态系统的影响,并可能在未来扩展到全面监测开放科学政策。文件的目标是通过为选定的指标系列提供技术规范来补充,这些指标系列包括出版物的开放获取、临床试验结果的共享、研究数据的开放或共享、在开源许可下发布研究中使用的软件、开放科学成本和学术影响的估计、开放科学社会影响的估计、研究社区价值观和信仰的研究、公民科学的演变、开放引用的研究以及开放科学方法对日常研究流程影响的研究等。

        文件强调开放科学监测应依赖于开放、透明和可复制的方法,并遵循共享和公认的原则。

        在“相关性”内容下,草案提到的原则有:

    ? 适用性和明确性:指标必须对于手头的特定监测任务有意义、适用且相关,其范围应明确界定。指标适用性的任何限制或约束都应明确说明并清晰传达。

    ? 对公共政策有意义:指标应可供各种利益相关者设计自己的开放科学政策,促进基于证据的决策和行动,适应其特定情境。指标旨在为公共政策提供信息,不应用于评估个体研究者,如在资助申请、招聘或员工晋升中。

    ? 共创性:指标的采用应尽可能地基于利益相关者的积极参与和自愿参与。应通过公开咨询和对话,与研究政策制定者、研究执行机构、研究资助机构和研究社区共同创造指标。利益相关者应有权选择不采用指标。

    ? 包容性:指标应考虑学术领域、社会环境和语言的多样性。

    ? 成熟度:每个指标的成熟度需要明确。实验性方法应明确标记。应在公开发布新指标前后,估计新指标的成熟度。

    ? 不同情境的指标工具箱:为了降低组织在建立开放科学监测系统时的复杂性并减少实施工作,目标应该是开发一套适用于不同情境的指标工具箱。这种方法使得各利益相关方能够根据他们特定的需求和条件,从这些工具箱中挑选合适的指标。

    ? 可比性:指标应旨在促进机构、国家、地区和研究领域之间的可比性。在实践中努力实现可比性,同时承认任何指标的适用性限制,是监测工作的重要部分。

    ? 更新指标:提供定期更新的指标。

        在“透明度和可复制性”内容下,草案提到的原则有:

    ? 面向公众的沟通:需要向各方清晰传达从指标、生成的数据和可视化中得出的结论。

    ? 流程和方法论的公开文档:应提供公开可用的文档,描述监测项目所做的数据收集、数据来源、处理和实施选择。

    ? 明确的数据来源:整个数据流程应该是透明的和开放的,严格记录每个数据点的来源和许可证,以提供清晰的由来信息。

    ? 开放的输出数据:输出数据应该是开放的,新产生的知识和数据应在开放许可下分发,特别是涉及版权保护的文本和数据挖掘,输出应遵守版权规则和隐私保护。

    ? 包含FAIR和CARE原则:输出数据应尽可能符合FAIR原则(可发现、可访问、可互操作、可重用)和CARE原则(集体利益、控制权、责任和伦理)。

    ? 抽样:在无法获得完整数据的情况下,可以采用随机抽样和其他成熟的统计技术、插值和透明启发式方法,只要这些技术有适当记录即可。

    ? 开源软件:用于数据获取和处理的软件应该是开源的,有版本记录,并在促进合作和贡献的平台上发布适当的文档,以促进长期开放合作和重用。

    ? 标准化指标:核心指标使用公开和集体定义程序进行标准化,每个指标都公开记录在既定规格文档中。

    ? 指标质量的透明度:应评估每个指标的准确性(如精确度和召回率)、覆盖范围和及时性,并在合适情况下公开。

    ? 设计上可重用:监测结果和指标成果应通过API和批量下载功能访问,定期更新。

        在“自我评估和负责任的使用”内容下,草案提到的原则有:

    ? 自我评估:实施这些原则的倡议被邀请根据本文件评估他们的监测工作,并将评估结果公开。

    ? 监测以促进改进:监测应用于激励而非惩罚缺乏实践的行为。

    ? 持续评估监测倡议:由于任何指标都可能促进不当行为的尝试,需要对指标和方法论进行持续评估,以及实践可能向非预期方向的潜在转变。

    ? 适应性:随时间演变,变更和发展应该是透明的,并公开记录。

    ? 避免排名:这些指标不得用于创建排名。

  • 原文来源:https://sparceurope.org/towards-a-common-framework-for-monitoring-open-science/
相关报告
  • 《迈向开放科学的研究评估:驱动与障碍》

    • 来源专题:数智化图书情报
    • 编译者:闫亚飞
    • 发布时间:2023-09-27
    • 摘要:本文旨在确定在研究评估领域实施开放科学(OS)面临的驱动和障碍。研究采用定性方法,通过采访西班牙学界的研究人员、学术期刊编辑、评估机构代表、大学副校长,以及具备OS专业知识的图书馆员来获取信息。结果表明,科学实践向OS模式的转变需要一个能够整合所有OS相关倡议并与学术评估和奖励体系相结合的政策框架,同时需要足够的资金支持。 01开放科学环境下的研究评估 通过对大学副校长和评估机构负责人围绕OS环境下的研究评估这一主题进行采访,整理其观点如下图所示。根据受访者观点,在研究评估标准中融入OS带来的新变化,其所面临的障碍因素多于驱动因素。 1.1研究人员作为评估者 副校长和评估机构代表一致认为,随着新一代研究人员采用OS的标准和价值观来塑造自己的职业发展,其带来的文化变革将有利于转向建立以OS为导向的研究评估体系:“我认为我们正在讨论的是一种代际变革。我们需要以OS为默认研究准则的青年研究者,并且要拥有切实践行OS的青年研究者,我们必须开始培养他们,至少目前是这样。当这些年轻研究者走向高层时,我们将会实现OS,这意味着代际变革,所以我们必须从现在开始改变思维。” 此外,一位副校长提到,在对研究评估的讨论中引入研究人员群体的观点可能有助于带来必要的变革:“对于OS环境下的研究评估新模式,我们希望是在与学者们充分讨论之后提出,因为对我们来说,研究人员的地位至关重要。在我们作出决定的过程中,必须充分讨论,保证开放,保持反思。”另一方面,受访者提到不同领域需要的具体标准不同,这会造成采用新评估模式的障碍,此外还有评估者对新模式的认可度较低,以及一些学者对转变评估文化的无视:“那就在博士奖学金的申请中应用OS概念,让那些想要获得奖学金的可怜人自行争取吧,我将继续在我想发表的地方发表文章,因为对我来说没有任何区别。” 1.2学术生态系统 受访者仅提到了两个与学术生态系统相关的驱动因素。一是各个层级上发布支持OS的政策决策,二是需要以整体视角处理好OS的不同维度,而不能仅从评估的角度来处理。受访者提及的障碍因素则非常之多。受访者们就四个障碍因素达成了一致,其中两个障碍的关注点在于,这会使得研究评估同时存在两种评估体系,即传统评估体系和替代评估体系,这两种体系会导致根据OS标准对研究人员提出的要求与根据传统评价标准进行的评估之间产生冲突。与此同时,由于缺乏明确的指导方针,根据新的学术生态系统调整具体评估标准的想法仍然难以付诸实践:“我们如何进行评估仍存在许多争议,虽然取得了一些进展,但有一点很清楚,就是目前还没有替代方案。”受访者达成一致的另外两个障碍因素与评估过程内部的操作问题有关,例如流程成本增加(包括金钱和时间),以及所应用标准的主观性增加:“有谁愿意在可以依赖和调整统计指标的情况下,去人工评估3,000份文件?并且定性评估还存在成本和主观性方面的问题。”同时,受访者提到有的障碍与他们的工作领域密切相关。就副校长而言,他们面临的障碍是在评估研究时难以区分科学影响和媒体影响,以及需要与其他大学协调以确保没有人的利益受损。就评估机构负责人而言,他们提到的障碍涉及两方面,第一个是这种新评估模式存在对社交媒体的依赖,但社交媒体环境易于操纵,缺乏稳健性:“我担心的是如何才能不被欺骗。换句话说,让机器人给你点很多赞是很容易的。”第二个是公共行政部门在制定评估政策体系时,优先考虑的是如何尽可能避免行政上诉,而不是是否真正符合科学标准:“我们经常受到行政法律的约束,可以这么说,在任何提案中我们都很注重这一方面,这不仅会导致在推进OS时存在问题,而且在推进任何评估模式时都会存在问题,因为我们总是从行政程序的角度看待政策。”最后,受访者提到了与科学传播系统及其高度固化有关的障碍,这阻碍了必要的变革:“我们的出版方式就像还在19世纪一样,而当今的技术发展无疑为我们提供了更为多样的科学传播方式,能够提升科学水平,获得更多资助,进行更多研究。” 02 迈向开放科学模式的研究评估 基于不同利益相关者的观点,我们可以识别与研究人员的态度、价值观或信仰相关的因素,以及属于学术生态系统一部分的因素,这些因素都是可以在变革过程中改变学术实践的环境变量。 在与研究人员相关的障碍方面,包括需要明确的研究评估程序,考虑定性标准,根据OS标准提出的要求要符合研究人员实际采用的开放研究方法,需要改变学者和资助者的态度、机构的惯性以及资金不足和资金分配的优先度不够,并且促进和支持遵循OS方法开展的研究活动。尽管开放获取推进已久,但实现OS的障碍尚未消除。根据本文调查结果,只有当研究人员的工作环境中存在使其发生的条件,研究人员的研究文化和习惯才有可能从传统模式转向OS模式。 这些有利的条件与学术生态系统的三个领域有关:一是存在一个能够整合学界各机构不同OS倡议的政策框架,二是将这一政策框架与现有评估和奖励研究人员的体系相结合,三是存在有助于实现这一转变的财务规划。开放科学中心(COS)在关于文化变革的策略中强调,这种变革需要全面推进,先从基础设施开始,然后将其整合到工作流程中,落实能够促进所需行为的规范以使其成为默认准则,最后引入激励措施以使其具有奖励性质,并制定政策使其成为命令。欧盟委员会最近的报告也提出了一种基于原则和行动的协调方法,该方法可以促进致力于实施变革的研究资助组织和研究执行组织达成一致。 首先,在政策框架方面,联合国教科文组织(UNESCO)《开放科学建议书》建议成员国采取同步措施,通过多利益相关者参与,创造一个有助于政策实施的政策环境。UNESCO除了建议创造促进OS的政策环境外,还敦促政府建立充分的监管和评估机制,以衡量OS相关政策和激励措施的实施情况。在这一方面,西班牙已发布《2021-2027年科学、技术和创新战略》,推动向此方向努力,以促进OS并提升西班牙对欧洲开放科学云的贡献。 其次,在评估体系方面,如何应用OS环境下的研究评估新模式正在成为向OS转型的主要挑战之一,因为传统的评估体系与OS的价值观存在冲突,这体现在两方面:第一个是概念性的问题,与根深蒂固的引用和影响因子等指标的广泛使用和更加契合OS精神的替代指标的有限使用相关。虽然迄今为止各种新指标层出叠现,但在使用的可靠性、透明度和适用性上仍存在共识上的不足,不过这些新指标可以用于评估研究的质量、完整性、可重复性和社会影响,从而在一定程度上取代当前基于引用相关指标的评估模式。第二个问题是操作上的问题,包括需要更多的人力资源和财力投入,以及由于在每个学科领域需要应用更主观和更具体的标准从而可能导致的法律和行政风险。因此需要在各个层级做出政策决策,并采取协调一致的方法,允许高校之间进行对话和合作。虽然在评估体系建设方面潜在的困难重重,但一些欧洲国家已经制定了促进从传统评估模式过渡到更符合OS的评估模式的举措。例如荷兰的国家评估框架,该框架基于一种新的认可和奖励体系,称为“Job Classification System”(UFO),或是德国的卓越计划,其中大学根据合作项目进行评估,这有利于建设合作的科学社区和提高科学的开放性,此外葡萄牙、法国、芬兰、瑞士和爱尔兰等国也推出了各种致力于在全球推广OS的举措。 最后,促成学术生态系统转变的第三个领域是研究经费支持。诚然,以OS方法开展研究活动所面临的资源不足这一障碍已在先前的研究中被多次强调。此外,副校长们还关注技术基础设施的资金不确定性,评估费用上升的问题,这些费用目前已经难以负担。同时,还必须将这一问题置于研究资金不足的背景下考虑,这一问题自2008年的经济危机以来一直存在。当前西班牙已开展了一些行动以应对这一问题,例如西班牙大学校长联合会(CRUE)和西班牙国家研究高等委员会(CSIC)最近在与各学术出版商签署转换协议,这些行动正在改变过去的资助规则,解决包括成本、费用涵盖范围以及谁应付费等问题,这可能有助于实现开放获取(OA)。但是,要使这些举措产生预期的效果,还需要坚定的评估政策承诺,以便确保遵守《关于科研评价的旧金山宣言》(DORA)等倡议,并对研究人员产生真正的影响。例如近期西班牙国家质量评估与认证机构(Aneca)宣布将在其评估标准中加入与开放科学相关的活动。 03结语 学术生态系统是动态发展的,自《布达佩斯开放获取倡议》等最早的一批开放获取倡议开始后的20年里,学界对OS有了更多的了解。当前的重点是在如何在操作和/或技术层面实现它们,以及机构如何提供支持和制定适当的政策以实施它们的方式上。这对仍然基于传统学术实践并且对OS的新价值观响应能力有限的研究评估政策而言尤为重要。从所有受访的利益相关者处收集到的多种观点揭示了他们所感受到的限制和对学界的期待。可以说,如果机构有意愿改变,那么研究人员对OS价值观的态度可能就会发生变化,而现在正是时候。目前所看到的科学实践与相关机构制定的政策和战略之间的不协调性,导致了一种充满不确定性的研究环境,只有告别传统评估模式并建立具有资金支持的合理政策框架才能克服。正如Larivière所说,当合理的政策结构和激励措施到位时,研究人员会发挥出积极的作用。
  • 《监测和评估UKRI开放获取政策的有效性》

    • 来源专题:数智化图书情报
    • 编译者:闫亚飞
    • 发布时间:2023-09-30
    • 背景 英国国家科研与创新署(UKRI)委托研究咨询公司(Research Consulting)为其研究文章和长篇出版物的开放获取政策的监测和评估(M&E)框架的发展提供支持。M&E框架旨在使UKRI和更广泛的部门能够评估开放获取的进展,包括对UKRI政策的遵守程度以及对利益相关者和社会的影响。该框架符合UKRI的承诺,即评估开放获取政策的有效性和影响,以及展示公共支出的问责制和价值。 M&E框架设计 M&E方法的设计在2022年8月至2023年8月期间进行,分为两个阶段,共有76名研究和出版部门的人员参与其中。第一阶段是以半结构化访谈和焦点小组的形式广泛征求开放获取专家的意见,并对现有的M&E框架进行深入的案头研究,为收集和编制一百多个潜在的M&E问题长清单奠定基础。这些问题经过完善和筛选,成为研讨会的基础。第二阶段以第一阶段结束时收到的反馈意见为基础,形成一份评估问题、一份最终报告和一份详细的数据说明,为今后M&E工作的试点阶段提供指引。此外,还将文献计量分析作为一种评估方法加以补充。 M&E工作实际考虑因素 M&E问题需要涵盖研究文章和长篇出版物,并以研究界理解的定义为基础,使用清晰、明确和无偏见的语言。UKRI应确保术语清晰明了,在实施前让研究执行组织和出版商参与测试定义。除了进行定量(包括文献计量学)评估外,纳入定性分析将使开放获取政策评估产生意外后果(积极的/消极的)以及更广泛的影响。这包括对个别研究人员、机构和出版商的期望和经验进行定性调查。UKRI应本着数据开放和公共资金使用透明的精神,公开分享监测和评估结 果及经验教训。公开共享数据还可以通过重用信息来满足其他新出现的报告需求,从而减轻报告负担和官僚作风。 建议的重点领域 (1)文章考虑到资助者和组织关联元数据的差距以及评估更广泛结果和影响的复杂性,UKRI应设置一个试点阶段,根据新出现的结果重新评估和更新优先监测和评估的问题。 (2)长篇出版物与文章相比,长篇出版物的数据、元数据明显不够完善,对持久性标识符的使用也很有限。但是撰稿人一致认为,即使数据来源有限,也应该对这一领域进行评估。随着形势的不断发展,UKRI应该对长篇成果的监测和评价方法进行迭代和审查。 (3)更广阔的开放获取前景UKRI应仔细确定开放获取的社会影响问题的范围,以避免范围扩大。我们建议,作为监测和评价问题的一部分,对范围较广的小型影响进行分析。同时考虑到现有资源和受访者承受的负担,UKRI应确定适当频率进行定性调查。此外,M&E部分问题的设计也应涉及国际OA环境。 (4)开放获取出版的可承受性鉴于长篇出版物的开放获取环境还不太成熟,监测财务可持续性的难度较大,难以在所有情况下都能实现。因此,M&E问题应该涵盖各种融资模式,而不仅仅关注APC和BPC方法。 (5)组织和全球公平UKRI应考虑监测其开放获取政策对全球公平的影响。M&E的结果能支持正在开展的调查全球开放获取出版公平定价模式的工作,为coAlition S、教科文组织、国际科学理事会、开放获取2020倡议、图书馆电子信息、非洲大学协会和欧洲科学组织牵头的工作提供支持。这些倡议的出现进一步强调了学术出版的国际性,以及对可靠数据和伙伴关系的需求,以应对全球公平挑战。 下一步工作 (1)M&E总体战略UKRI应将贡献分析作为核心评估策略。当需要了解某项干预措施 (如开放获取政策的引入) 对观察到的一系列结果有多大影响时,这种方法就很有帮助,尤其是在不可能通过实验设计来检验因果关系的情况下,这种方法尤为合适。作为一种方法,贡献分析的优势之一在于可以使用多种类型的证据来得出结论,而这种组合对于研究涉及多个利益相关者的复杂政策环境时是十分必要的。为UKRI的 M&E 工作提供信息的证据类型应包括单项研究成果的定量数据,以评估政策的有效性和合规性,以及有关出版环境的定性信息,以收集有关政策实施的经验。 在拟议的M&E战略中,建议将差异分析作为为贡献分析提供信息的证据来源。这是一种准实验方法,用于比较可比群体在引入干预措施前后的趋势。 (2)建议的M&E问题在收集定量数据的同时,收集定性信息也很重要。UKRI应该在收集新证据和为外部利益相关者创造咨询负担之间取得平衡。在可能的情况下,应通过扩大UKRI现有的参与机制(如开放获取政策利益相关者论坛)来寻求定性意见,以取代建立新的咨询机制。 (3)数据源的选择在实践中,考虑到效率、资金价值和业务需求,UKRI可适当结合开放数据集和专有数据集,以解决 M&E问题。此外,UKRI还可与现有数据提供者合作,包括与不公开其数据的组织合作,以最大限度地减轻负担。 (4)技术实施和自动化UKRI应明确指出所选数据源的局限性,并将其作为公布的监测和评估方法以及任何数据发布的一部分。UKRI应采用自动化而非人工方式进行数据收集和分析,酌情利用应用编程接口 (API) 和基于云的分析工具。这可以是内部开发,也可以利用现有的基础设施来存储、摄取、合并和分析来自不同(开放)数据源的数据。此外,UKRI也应该制作一份监测和评估报告,并提供记录级数据集和更多的定性证据。 (5)减少行政和技术负担撰稿人都希望减轻研究机构在报告方面的行政负担。值得注意的是,对负担的认识各不相同。例如,尽管UKRI对整笔拨款的开放获取报告要求有所降低,但一些研究机构以前向UKRI提供数据的既定系统可能仍会继续用于内部活动监控。此外,自动化的M&E方法可能会给小型出版商带来新的负担,因为他们需要开发与这些方法相集成的技术基础设施,还需要新的数据质量检查方法。 (6)从设计到实现M&E方法的部署将受益于与外部利益相关者的规划和联络,包括与一小部分关键利益相关者(例如外部审查小组)共同验证该方法的试点阶段,并研究适当的数据存储和共享以及自动数据分析的技术解决方案。最终的监测和评价问题集以及如何实施监测和评价框架,由UKRI根据可用资源、预算以及现有技能和专业知识来决定。随着该框架的最终确定和部署,我们建议UKRI与其他国家和国际资助机构开展讨论,以确定信息共享、相互学习和持续改进的途径。 (7)主要建议在监测和评价原则方面,UKRI应该注重积极支持政策制定,加强沟通,提高认识并分享最佳做法;将贡献分析作为核心评估战略;在收集新证据和为外部利益相关者创造咨询负担之间取得平衡;监测各种资助模式的使用情况,而不仅仅关注APC和BPC的使用情况;考虑监测开放获取政策对全球公平的影响。 在实际后续步骤方面,UKRI应该确保术语清晰,在实施之前让从事研究的组织和出版商参与测试定义;考虑在试点阶段根据新出现的结果重新评估和更新优先监测和评估问题;对长篇出版物的监测和评估方法进行迭代和审查;仔细确定有关开放获取的社会影响问题的范围,避免范围扩大。 在技术实现方面,UKRI考虑使用开放数据源,并在需要专有或保密信息且可用于预期目的的情况下,结合使用外部数据集;酌情利用应用程序接口(API)和基于云的分析工具,采用自动化而非人工方式进行数据收集和分析;探索与现有数据提供者合作的可能性,在可能无法获得开放数据的情况下,最大限度地减轻数据收集负担。 在产出与公众分享方面,UKRI要根据所选数据源的许可条款,编制监测和评估报告以及记录级数据集和其他定性证据;本着数据开放和透明的精神,公开分享监测和评估结果及经验教训;明确指出所选数据源集作为已发布的监测和评估方法和任何数据发布的一部分的局限性。