登录
 机构网站
  1. 首页
  2. 情报产品
  3. 快讯详情

《监测和评估UKRI开放获取政策的有效性》

  • 来源专题：数智化图书情报
  • 编译者： 闫亚飞
  • 发布时间：2023-09-30

  • 背景

    英国国家科研与创新署（UKRI）委托研究咨询公司（Research Consulting）为其研究文章和长篇出版物的开放获取政策的监测和评估(M&E)框架的发展提供支持。M&E框架旨在使UKRI和更广泛的部门能够评估开放获取的进展，包括对UKRI政策的遵守程度以及对利益相关者和社会的影响。该框架符合UKRI的承诺，即评估开放获取政策的有效性和影响，以及展示公共支出的问责制和价值。

    M&E框架设计

    M&E方法的设计在2022年8月至2023年8月期间进行，分为两个阶段，共有76名研究和出版部门的人员参与其中。第一阶段是以半结构化访谈和焦点小组的形式广泛征求开放获取专家的意见，并对现有的M&E框架进行深入的案头研究，为收集和编制一百多个潜在的M&E问题长清单奠定基础。这些问题经过完善和筛选，成为研讨会的基础。第二阶段以第一阶段结束时收到的反馈意见为基础，形成一份评估问题、一份最终报告和一份详细的数据说明，为今后M&E工作的试点阶段提供指引。此外，还将文献计量分析作为一种评估方法加以补充。

    M&E工作实际考虑因素

    M&E问题需要涵盖研究文章和长篇出版物，并以研究界理解的定义为基础，使用清晰、明确和无偏见的语言。UKRI应确保术语清晰明了，在实施前让研究执行组织和出版商参与测试定义。除了进行定量(包括文献计量学)评估外，纳入定性分析将使开放获取政策评估产生意外后果(积极的/消极的)以及更广泛的影响。这包括对个别研究人员、机构和出版商的期望和经验进行定性调查。UKRI应本着数据开放和公共资金使用透明的精神，公开分享监测和评估结 果及经验教训。公开共享数据还可以通过重用信息来满足其他新出现的报告需求，从而减轻报告负担和官僚作风。

    建议的重点领域

    （1）文章考虑到资助者和组织关联元数据的差距以及评估更广泛结果和影响的复杂性，UKRI应设置一个试点阶段，根据新出现的结果重新评估和更新优先监测和评估的问题。

    （2）长篇出版物与文章相比，长篇出版物的数据、元数据明显不够完善，对持久性标识符的使用也很有限。但是撰稿人一致认为，即使数据来源有限，也应该对这一领域进行评估。随着形势的不断发展，UKRI应该对长篇成果的监测和评价方法进行迭代和审查。

    （3）更广阔的开放获取前景UKRI应仔细确定开放获取的社会影响问题的范围，以避免范围扩大。我们建议，作为监测和评价问题的一部分，对范围较广的小型影响进行分析。同时考虑到现有资源和受访者承受的负担，UKRI应确定适当频率进行定性调查。此外，M&E部分问题的设计也应涉及国际OA环境。

    （4）开放获取出版的可承受性鉴于长篇出版物的开放获取环境还不太成熟，监测财务可持续性的难度较大，难以在所有情况下都能实现。因此，M&E问题应该涵盖各种融资模式，而不仅仅关注APC和BPC方法。

    （5）组织和全球公平UKRI应考虑监测其开放获取政策对全球公平的影响。M&E的结果能支持正在开展的调查全球开放获取出版公平定价模式的工作，为coAlition S、教科文组织、国际科学理事会、开放获取2020倡议、图书馆电子信息、非洲大学协会和欧洲科学组织牵头的工作提供支持。这些倡议的出现进一步强调了学术出版的国际性，以及对可靠数据和伙伴关系的需求，以应对全球公平挑战。

    下一步工作

    （1）M&E总体战略UKRI应将贡献分析作为核心评估策略。当需要了解某项干预措施 (如开放获取政策的引入) 对观察到的一系列结果有多大影响时，这种方法就很有帮助，尤其是在不可能通过实验设计来检验因果关系的情况下，这种方法尤为合适。作为一种方法，贡献分析的优势之一在于可以使用多种类型的证据来得出结论，而这种组合对于研究涉及多个利益相关者的复杂政策环境时是十分必要的。为UKRI的 M&E 工作提供信息的证据类型应包括单项研究成果的定量数据，以评估政策的有效性和合规性，以及有关出版环境的定性信息，以收集有关政策实施的经验。

    在拟议的M&E战略中，建议将差异分析作为为贡献分析提供信息的证据来源。这是一种准实验方法，用于比较可比群体在引入干预措施前后的趋势。

    （2）建议的M&E问题在收集定量数据的同时，收集定性信息也很重要。UKRI应该在收集新证据和为外部利益相关者创造咨询负担之间取得平衡。在可能的情况下，应通过扩大UKRI现有的参与机制（如开放获取政策利益相关者论坛）来寻求定性意见，以取代建立新的咨询机制。

    （3）数据源的选择在实践中，考虑到效率、资金价值和业务需求，UKRI可适当结合开放数据集和专有数据集，以解决 M&E问题。此外，UKRI还可与现有数据提供者合作，包括与不公开其数据的组织合作，以最大限度地减轻负担。

    （4）技术实施和自动化UKRI应明确指出所选数据源的局限性，并将其作为公布的监测和评估方法以及任何数据发布的一部分。UKRI应采用自动化而非人工方式进行数据收集和分析，酌情利用应用编程接口 (API) 和基于云的分析工具。这可以是内部开发，也可以利用现有的基础设施来存储、摄取、合并和分析来自不同（开放）数据源的数据。此外，UKRI也应该制作一份监测和评估报告，并提供记录级数据集和更多的定性证据。

    （5）减少行政和技术负担撰稿人都希望减轻研究机构在报告方面的行政负担。值得注意的是，对负担的认识各不相同。例如，尽管UKRI对整笔拨款的开放获取报告要求有所降低，但一些研究机构以前向UKRI提供数据的既定系统可能仍会继续用于内部活动监控。此外，自动化的M&E方法可能会给小型出版商带来新的负担，因为他们需要开发与这些方法相集成的技术基础设施，还需要新的数据质量检查方法。

    （6）从设计到实现M&E方法的部署将受益于与外部利益相关者的规划和联络，包括与一小部分关键利益相关者（例如外部审查小组）共同验证该方法的试点阶段，并研究适当的数据存储和共享以及自动数据分析的技术解决方案。最终的监测和评价问题集以及如何实施监测和评价框架，由UKRI根据可用资源、预算以及现有技能和专业知识来决定。随着该框架的最终确定和部署，我们建议UKRI与其他国家和国际资助机构开展讨论，以确定信息共享、相互学习和持续改进的途径。

    （7）主要建议在监测和评价原则方面，UKRI应该注重积极支持政策制定，加强沟通，提高认识并分享最佳做法；将贡献分析作为核心评估战略；在收集新证据和为外部利益相关者创造咨询负担之间取得平衡；监测各种资助模式的使用情况，而不仅仅关注APC和BPC的使用情况；考虑监测开放获取政策对全球公平的影响。

    在实际后续步骤方面，UKRI应该确保术语清晰，在实施之前让从事研究的组织和出版商参与测试定义；考虑在试点阶段根据新出现的结果重新评估和更新优先监测和评估问题；对长篇出版物的监测和评估方法进行迭代和审查；仔细确定有关开放获取的社会影响问题的范围，避免范围扩大。

    在技术实现方面，UKRI考虑使用开放数据源，并在需要专有或保密信息且可用于预期目的的情况下，结合使用外部数据集；酌情利用应用程序接口（API）和基于云的分析工具，采用自动化而非人工方式进行数据收集和分析；探索与现有数据提供者合作的可能性，在可能无法获得开放数据的情况下，最大限度地减轻数据收集负担。

    在产出与公众分享方面，UKRI要根据所选数据源的许可条款，编制监测和评估报告以及记录级数据集和其他定性证据；本着数据开放和透明的精神，公开分享监测和评估结果及经验教训；明确指出所选数据源集作为已发布的监测和评估方法和任何数据发布的一部分的局限性。



  • 原文来源：https://www.ukri.org/publications/monitoring-and-evaluating-the-effectiveness-of-ukris-open-access-policy/ ; https://www.ukri.org/wp-content/uploads/2023/09/UKRI-04092023-Monitoring-and-evaluating-the-effectiveness-of-UKRIs-open-access-policy-Executive-Summary.pdf
137浏览量
原文链接
相关报告

  • 《开放获取图书政策制定和实施全流程》
    • 来源专题：科技出版市场动态监测
    • 编译者：崔颖
    • 发布时间：2024-11-29
    • 该文章基于欧洲研究区国家研究资助机构的意见，提供开放获取图书政策制定的实际情况。所有访谈均已匿名处理，但作者知道受访者的身份。 2024年夏季，我们围绕开放获取图书政策生命周期，向欧洲各地的研究资助机构提出了一系列问题。这六个问题涉及PALOMERA项目提出的生命周期六个阶段，并从受访者的回答中揭示了政策制定的实际情况。 我们共收到10份回复（回复率为83%），并将这些回复以匿名形式汇总于本文中。 一、支持新开放获取图书政策的研究 我们询问了研究资助机构是否进行了任何研究来为政策制定提供依据。许多资助机构首先通过查阅现有研究和建议来进行研究，如cOAlition S关于开放获取图书的声明和其他已存在的资助机构政策。这包括调查其他资助机构的做法，以便进行基准测试。一些资助机构已经存在开放获取或开放科学政策，因此部分工作是重新审视这些政策，并在必要时进行更新。例如，一些资助机构之前并未将开放获取图书纳入政策范围。其中一家资助机构还参考了欧盟委员会的政策。研究过程的另一部分是与国家开放科学专家协商，并咨询或调查出版商、作者、研究执行组织、图书馆员和其他关键国家机构和专家。还委托了新的报告，如OAPEN-CH研究（瑞士国家科学基金会），许多资助机构将其作为研究的一部分。最后，研究资助机构还参考了现有的法律框架。 二、政策制定 这一生命周期的阶段描述了在进行初步研究和背景分析后，开放获取图书政策的初步制定。从上一个问题的答案中可以看出，研究资助者在初步研究阶段或政策形成阶段咨询和调查了大量利益相关者，因为这两个阶段可能是迭代进行的。然而，政策制定过程并没有一种放之四海皆准的方法，因为这受到国家实践和研究的影响。例如，一些资助机构会使用现有的内部小组来制定政策，而其他资助者将创建管理层面的多学科小组作为协作努力的一部分。对于许多研究资助者来说，已经存在一个现有的审批程序层次结构，涉及指导小组、法律代表的协助、制定开放科学政策的政府人员，最终与相关政府部门协商。 三、政策草案的公开咨询 我们询问了研究资助机构是否进行了公开咨询，并请他们对这一过程进行分析。首先，3家研究资助机构没有就政策进行公开咨询。在进行了咨询的机构中，一些机构认为与利益相关者的咨询进行得很顺利，并且值得进行，因为它从不同利益相关者处提供了许多见解，但这也非常耗时且资源密集。一些资助机构选择通过机构网站进行公开咨询，公众可以在政策的所有要点上发表评论。然后，利益相关者可以看到由于反馈而对初步政策所做的更改。在一个案例中，利益相关者被告知了即将进行的更改。在另一个案例中，过程高度透明，有机会对收到的评论进行反馈。在这些情况下，并非所有评论都被采纳，且未公开做出这些决定的依据。一家资助机构报告指出，可通过电子邮件活动征求反馈，并在公开咨询之外与关键利益相关者群体组织了研讨会。 四、实施 我们询问了那些已进入其开放获取图书政策实施阶段的资助机构，请他们分析这一过程是如何进行的。在一个案例中，政策尚未实施，但已制定并实施了路线图作为过渡。其他资助机构在发布政策之前，已在网站上公布了政策，并附带了新闻稿或高级别公告。在一些情况下，新政策的实施还伴随着图书资助政策。一家资助机构继续通过举办一系列研讨会和培训活动，并在实施期间委托进一步的咨询工作，与利益相关者保持联系。这导致在政策生效后，进一步开发了支持利益相关者的资源。 五、监测与影响 在这一生命周期阶段，有两个重要领域应予以区分，我们要求受访者描述他们为此设立的现有工作流程和工具。 （1）对政策合规性的监测。研究资助机构使用各种工具和方法来监测合规性。有些仅用于直接通过图书处理费资助的图书，而其他则根本没有实施合规性检查。使用了多种方法。一些资助机构正在开发自己的工具，而其他机构则使用CRIS系统来监测合规性。还有一些机构将此功能外包给第三方提供商，而一些资助机构仅通过手动检查来监测合规性。 （2）对影响的监测。在我们抽样的研究资助机构中，大多数并未以此方式监测影响。然而，两家资助机构报告指出，他们使用OAPEN来达到这一目的。 六、评估与审查 在询问他们是否对其政策进行了审查时，研究资助机构回应说，他们尚未到达研究政策生命周期的这一阶段，且预计其开放获取图书政策在不久的将来不会接受审查。然而，值得注意的是，从对第一个问题的回答中可以看出，尽管还没有正式程序，但拥有更成熟政策的资助机构显然作为新政策研究过程的一部分进行了适当的审查。
    89浏览量
    原文链接

  • 《开放获取图书出版评估》
    • 来源专题：科技出版市场动态监测
    • 编译者：崔颖
    • 发布时间：2024-12-10
    •     出于对开放获取出版（OA）图书质量的质疑和可持续性的担忧，建立开放获取出版商及其图书的评估标准一直是出版生态系统的众多利益相关者（包括资助者、大学图书馆和开放获取服务提供商）持续关注的问题。作为质疑的回应，其中一些利益相关者正在开发一系列标准来评估学术图书及其出版商。     在此背景下，Katina代表开放获取图书目录（Directory of Open Access Books, DOAB）和开放图书集团（Open Book Collective, OBC）于2024年4月召开了一场名为“评估开放获取图书出版商的评估标准”的在线研讨会。以下是研讨会的总结。     一、会议参与者与研讨主题     1.参会各方：     除了开放图书集团的总经理（Joe Deville）以及OAPEN的总经理和项目经理（Niels Stern和Jordy Findanis）外，此次研讨会的主要参与者包括： ·参与Copim的Open Book Futures项目（由Arcadia和英国研究与发展基金资助）的专家。 ·来自开放未来（Opening the Future）和开放元数据（Thoth Open Metadata）的项目代表。 ·DOAB受信平台网络的合作伙伴——包括非洲开放学术平台（African Platform for Open Scholarship）、Fulcrum、JSTOR、OpenEdition、Project MUSE和SciELO Books——以及其他一些参与者，包括AG Universit?tsverlage和AUPresses。     2.研讨会目标：     此次研讨会有三个目标。首先，了解不同的倡议如何应对制定标准所带来的挑战；其次，探讨制定标准的实际操作和背后的政治考量，包括出版商、平台和图书馆之间的关系，从而反思标准制定与各类倡议目标和愿景之间的关联；最后，审视不同国家和地区在标准制定实践中的异同点。     为了更好地引导讨论，主办方邀请与会者围绕几个引导性问题分享看法，这些问题包括：他们如何制定标准？是否参考了其他标准？如果参考，参考程度如何？以及自身标准与合作伙伴标准之间的差异是否带来了挑战。研讨会采取探索性形式，没有设置严格的讨论框架，而是鼓励参与者通过开放和坦诚的对话深入探讨主题。     二、标准制定实践的多样性     与会者对出版商评审流程的讨论特别感兴趣，重点关注可接受性标准和接纳建议。关于可接受性标准的讨论涵盖了同行评审、开放许可、编辑流程与政策、存档、授权与版权，以及成果要求（例如，设定最低出版数量和/或开放获取出版物的比例）。此外，一些参与者提到他们会施加其他要求，这些要求虽然不严格属于评审标准，但可能更容易被某些出版商满足。例如，有与会者提出了关于透明度的问题，即建议出版商在其网站上提供哪些信息或建议他们披露哪些内容。     对于直接与出版商合作的平台，其标准在开放获取出版物的严格程度上有所不同。一些平台力求制定相对简单的标准，而另一些平台则需要在更复杂的框架下操作，如基于国家框架或多层次的机构治理。关于同行评审的标准，有些平台对编辑流程和评审实践有明确而详细的规定（如评审人选择及利益冲突处理），而另一些平台则允许更大的灵活性。此外，与会者指出评估程序之间也存在显著差异：有些平台在出版商整体层面上评估新的申请，而另一些则在单本图书层面上进行评估，同时也意识到这种方法在可扩展性方面带来的挑战，或者在图书系列的层面上进行评估。     许多参与者认识到，由于标准制定实践上的差异，可能会引发潜在的矛盾。例如，同行评审长期以来被视为构建学术信任和维护质量标准的重要机制。尽管学术图书出版中可疑或“掠夺性”出版行为不像期刊出版中那样普遍，确保高质量依然是首要任务。出版商有时需要在满足同行评审要求与认识到评审形式多样性之间寻求平衡。这些评审形式各具特色，但都能支持高质量的学术出版。然而，这种差异性是DOAB正在通过其单行本同行评审信息服务（Peer Review Information Service for Monographs, PRISM, PRISM）所应对的挑战。PRISM旨在通过帮助出版商描述具体图书或图书系列的评审方式（如开放评审、单盲评审、双盲评审或出版后评审），提高同行评审实践的透明度。该服务的设计考虑到了多样化的评审形式，这反映了世界范围内学科特定实践和研究文化的丰富多样性。     三、标准设定与多样性、公平性和包容性     除了评估的实际操作层面外，研讨会还鼓励关于高等教育系统中的标准制定如何更广泛地影响有关多样性、公平性和包容性的讨论。与会者一致认为，在标准被不加批判地实践之前，参与制定和部署标准的决策者认识到这一更广泛的背景至关重要。     贡献者指出，标准至关重要这一假设有时会削弱对标准的反思，如标准是如何被推动、由谁推动、原因以及产生的效果。当标准在一个特定社区中被强加或（被动）广泛采用，而许多作者和出版商被排除在外时，会发生什么？参与者指出这种情况在全球南方的某些背景下已经发生。此外，标准通常是由北半球国家制定的，最初旨在支持商业出版的工作。某些标准的完全继承可能意味着它们忽视了特定文化的细微差别。     其中一个问题是关于标准如何与任期、晋升和奖励制度契合。许多大学仍然要求研究人员有“国际”出版记录，这本质上有利于传统出版商和特定语言，同时有时会导致对来自“出版霸权”的学术成果持保留态度，甚至怀疑。一些标准和评估实践得到了这种霸权内开发指标的支持，优先级排除了那些无法访问或被纳入索引平台的作者和出版商，而这些平台反过来又无法捕捉到许多地区和领域的出版商所产生的研究影响。例如，在南半球国家缺乏对不同形式的研究成果的认可和重视，抑制了本地学术的发展，并加强和延续了更广泛的OA领域的不平等。     参与者一致认为，回应对标准制定做法的担忧，无论是在主题领域、语言、多样化的格式类型，还是不同的编辑和同行评审实践方面，对于构建更公平的图书出版未来以及支持出版中的书目多样性和包容性来说至关重要。实际上，这可能涉及不断重新审视标准，以确保它们适应不断变化的环境和规范，或者对补充类型的研究产出和格式保持开放。标准也可以根据当地研究社区的需求和技术要求积极调整。例如，标准可能根据产出类型的不同而变化：一个开放教育资源、一本教科书或一个实验性出版实践可能需要以不同的方式进行评估。     小组建议采取协作方法，以更清晰、更系统地了解评估实践如何影响 OA 图书出版。与会者强调，利益相关者应该警惕不要让图书出版走上期刊出版所遵循的垄断轨迹。在这种情况下，利益相关者必须继续倡导图书出版的多样性，同时清楚阐明支撑OA图书出版商和服务提供商所做工作的核心价值观。     同样，参与者讨论了利益相关者分享经验、专业知识和良好实践的必要性。OA图书出版商不是简单地强加标准，让申请者和潜在合作伙伴必须遵守，而是可以为较小或较新的出版商提供咨询，指引他们找到服务提供者和资源。研讨会参与者一致认为，标准不应成为那些有可能在全球学术界内履行重要职能的出版商和倡议的任意障碍。     四、标准设定和图书馆评估     研讨会还讨论了不同评审标准实践相互碰撞时所产生的紧张关系与挑战。一个典型的例子是出版机构和图书馆在评估钻石开放获取（Diamond OA）计划时使用标准的差异。     在研讨会上展示的少量计划中，所采用的标准已经非常多样化。因此，可以想象，当多个利益相关者及其评审实践相互交汇时，将会出现怎样的复杂局面。随着全球范围内钻石开放获取计划的加速推进，这个问题愈加突出。例如，在OBF项目中代表的钻石开放获取计划，包括开放图书联合会（Open Book Collective）、开放图书出版社（Open Book Publishers）、Punctum Books和Thoth开放元数据等，主要通过图书馆直接资助的方式来支持其出版工作。对于开放获取图书出版商来说，这种资助模式比通常收取图书加工费（Book Processing Charges）的方式更可持续。对于开放基础设施提供者来说，这种资助方式不仅比稀缺的资助机会更容易实现，而且更符合其价值观，也比寻求商业投资更加适宜。然而，在这一快速变化的环境中，图书馆可能会采用某些无意中具有排他性的标准，这可能对寻求图书馆支持的出版商或计划产生不利影响。     例如，一个小型的开放学术出版机构可能符合某个图书馆绝大多数的评审标准，但由于技术、许可或存档要求方面的硬性规定未达标而被拒绝。对于努力争取多元图书馆支持的钻石开放获取计划来说，困难显著增加，因为即便在相对同质化的研究领域，不同图书馆之间的评审标准也可能存在很大差异。当然，随着开放获取模式的不断增多，尤其是对于人手不足或资源有限的图书馆来说，要及时了解这些变化并不断调整自身标准，可能是极具挑战性的。     五、迈向实践     在整个研讨会过程中，与会者慷慨地分享了他们的实践经验，并提出了在制定标准的工作中可能出现的机遇与潜在张力。他们认识到，作为开放获取（OA）出版的利益相关者，既要推动和保护学术发展，也必须关注促进多样性、公平性与包容性的迫切需求。与会者表达了探索具体措施以推动对话的真诚意愿，同时也强调了制定连贯且包容的标准的重要性，以便向更广泛的学术界展示。     研讨会的参与者原则上支持制定一种协作的、理想情况下具有全球性的解决方案来应对这些挑战。然而，这样的对话尚未真正组织起来。创建一个协调一致的社区以在评价实践中体现差异和多样性的价值将会大有裨益，前提是这些评价实践能够支持高质量的学术研究。此外，与会者一致认为，有可能制定共同的目标、原则和价值观，以支持多样化的评价实践。事实上，与会者强烈主张必须建立多元化的评价标准，形成透明、公平的评价方法，从而认可研究成果、语言以及学科传统的多样性。     为了推动一个公平、公正、包容的开放获取图书出版生态系统，并覆盖不同地区和学科，我们将与DOAB、开放图书集团（Open Book Collective）以及Copim的同事共同探索，与更广泛的研究者、出版商、平台、图书馆、资助机构等社区协作，进一步开展这项工作。在我们看来，只有通过建立这样一个实践社区，才能开发出真正适应全球多样化但仍存在不平等的学术体系复杂性的标准制定方法。
    261浏览量
    原文链接