摘要：本文旨在确定在研究评估领域实施开放科学(OS)面临的驱动和障碍。研究采用定性方法，通过采访西班牙学界的研究人员、学术期刊编辑、评估机构代表、大学副校长，以及具备OS专业知识的图书馆员来获取信息。结果表明，科学实践向OS模式的转变需要一个能够整合所有OS相关倡议并与学术评估和奖励体系相结合的政策框架，同时需要足够的资金支持。
01开放科学环境下的研究评估
通过对大学副校长和评估机构负责人围绕OS环境下的研究评估这一主题进行采访，整理其观点如下图所示。根据受访者观点，在研究评估标准中融入OS带来的新变化，其所面临的障碍因素多于驱动因素。
1.1研究人员作为评估者
副校长和评估机构代表一致认为，随着新一代研究人员采用OS的标准和价值观来塑造自己的职业发展，其带来的文化变革将有利于转向建立以OS为导向的研究评估体系：“我认为我们正在讨论的是一种代际变革。我们需要以OS为默认研究准则的青年研究者，并且要拥有切实践行OS的青年研究者，我们必须开始培养他们，至少目前是这样。当这些年轻研究者走向高层时，我们将会实现OS，这意味着代际变革，所以我们必须从现在开始改变思维。” 此外，一位副校长提到，在对研究评估的讨论中引入研究人员群体的观点可能有助于带来必要的变革：“对于OS环境下的研究评估新模式，我们希望是在与学者们充分讨论之后提出，因为对我们来说，研究人员的地位至关重要。在我们作出决定的过程中，必须充分讨论，保证开放，保持反思。”另一方面，受访者提到不同领域需要的具体标准不同，这会造成采用新评估模式的障碍，此外还有评估者对新模式的认可度较低，以及一些学者对转变评估文化的无视：“那就在博士奖学金的申请中应用OS概念，让那些想要获得奖学金的可怜人自行争取吧，我将继续在我想发表的地方发表文章，因为对我来说没有任何区别。”
1.2学术生态系统
受访者仅提到了两个与学术生态系统相关的驱动因素。一是各个层级上发布支持OS的政策决策，二是需要以整体视角处理好OS的不同维度，而不能仅从评估的角度来处理。受访者提及的障碍因素则非常之多。受访者们就四个障碍因素达成了一致，其中两个障碍的关注点在于，这会使得研究评估同时存在两种评估体系，即传统评估体系和替代评估体系，这两种体系会导致根据OS标准对研究人员提出的要求与根据传统评价标准进行的评估之间产生冲突。与此同时，由于缺乏明确的指导方针，根据新的学术生态系统调整具体评估标准的想法仍然难以付诸实践：“我们如何进行评估仍存在许多争议，虽然取得了一些进展，但有一点很清楚，就是目前还没有替代方案。”受访者达成一致的另外两个障碍因素与评估过程内部的操作问题有关，例如流程成本增加(包括金钱和时间)，以及所应用标准的主观性增加：“有谁愿意在可以依赖和调整统计指标的情况下，去人工评估3,000份文件？并且定性评估还存在成本和主观性方面的问题。”同时，受访者提到有的障碍与他们的工作领域密切相关。就副校长而言，他们面临的障碍是在评估研究时难以区分科学影响和媒体影响，以及需要与其他大学协调以确保没有人的利益受损。就评估机构负责人而言，他们提到的障碍涉及两方面，第一个是这种新评估模式存在对社交媒体的依赖，但社交媒体环境易于操纵，缺乏稳健性：“我担心的是如何才能不被欺骗。换句话说，让机器人给你点很多赞是很容易的。”第二个是公共行政部门在制定评估政策体系时，优先考虑的是如何尽可能避免行政上诉，而不是是否真正符合科学标准：“我们经常受到行政法律的约束，可以这么说，在任何提案中我们都很注重这一方面，这不仅会导致在推进OS时存在问题，而且在推进任何评估模式时都会存在问题，因为我们总是从行政程序的角度看待政策。”最后，受访者提到了与科学传播系统及其高度固化有关的障碍，这阻碍了必要的变革：“我们的出版方式就像还在19世纪一样，而当今的技术发展无疑为我们提供了更为多样的科学传播方式，能够提升科学水平，获得更多资助，进行更多研究。”
02 迈向开放科学模式的研究评估
基于不同利益相关者的观点，我们可以识别与研究人员的态度、价值观或信仰相关的因素，以及属于学术生态系统一部分的因素，这些因素都是可以在变革过程中改变学术实践的环境变量。
在与研究人员相关的障碍方面，包括需要明确的研究评估程序，考虑定性标准，根据OS标准提出的要求要符合研究人员实际采用的开放研究方法，需要改变学者和资助者的态度、机构的惯性以及资金不足和资金分配的优先度不够，并且促进和支持遵循OS方法开展的研究活动。尽管开放获取推进已久，但实现OS的障碍尚未消除。根据本文调查结果，只有当研究人员的工作环境中存在使其发生的条件，研究人员的研究文化和习惯才有可能从传统模式转向OS模式。
这些有利的条件与学术生态系统的三个领域有关：一是存在一个能够整合学界各机构不同OS倡议的政策框架，二是将这一政策框架与现有评估和奖励研究人员的体系相结合，三是存在有助于实现这一转变的财务规划。开放科学中心（COS）在关于文化变革的策略中强调，这种变革需要全面推进，先从基础设施开始，然后将其整合到工作流程中，落实能够促进所需行为的规范以使其成为默认准则，最后引入激励措施以使其具有奖励性质，并制定政策使其成为命令。欧盟委员会最近的报告也提出了一种基于原则和行动的协调方法，该方法可以促进致力于实施变革的研究资助组织和研究执行组织达成一致。
首先，在政策框架方面，联合国教科文组织(UNESCO)《开放科学建议书》建议成员国采取同步措施，通过多利益相关者参与，创造一个有助于政策实施的政策环境。UNESCO除了建议创造促进OS的政策环境外，还敦促政府建立充分的监管和评估机制，以衡量OS相关政策和激励措施的实施情况。在这一方面，西班牙已发布《2021-2027年科学、技术和创新战略》，推动向此方向努力，以促进OS并提升西班牙对欧洲开放科学云的贡献。
其次，在评估体系方面，如何应用OS环境下的研究评估新模式正在成为向OS转型的主要挑战之一，因为传统的评估体系与OS的价值观存在冲突，这体现在两方面：第一个是概念性的问题，与根深蒂固的引用和影响因子等指标的广泛使用和更加契合OS精神的替代指标的有限使用相关。虽然迄今为止各种新指标层出叠现，但在使用的可靠性、透明度和适用性上仍存在共识上的不足，不过这些新指标可以用于评估研究的质量、完整性、可重复性和社会影响，从而在一定程度上取代当前基于引用相关指标的评估模式。第二个问题是操作上的问题，包括需要更多的人力资源和财力投入，以及由于在每个学科领域需要应用更主观和更具体的标准从而可能导致的法律和行政风险。因此需要在各个层级做出政策决策，并采取协调一致的方法，允许高校之间进行对话和合作。虽然在评估体系建设方面潜在的困难重重，但一些欧洲国家已经制定了促进从传统评估模式过渡到更符合OS的评估模式的举措。例如荷兰的国家评估框架，该框架基于一种新的认可和奖励体系，称为“Job Classification System”（UFO），或是德国的卓越计划，其中大学根据合作项目进行评估，这有利于建设合作的科学社区和提高科学的开放性，此外葡萄牙、法国、芬兰、瑞士和爱尔兰等国也推出了各种致力于在全球推广OS的举措。
最后，促成学术生态系统转变的第三个领域是研究经费支持。诚然，以OS方法开展研究活动所面临的资源不足这一障碍已在先前的研究中被多次强调。此外，副校长们还关注技术基础设施的资金不确定性，评估费用上升的问题，这些费用目前已经难以负担。同时，还必须将这一问题置于研究资金不足的背景下考虑，这一问题自2008年的经济危机以来一直存在。当前西班牙已开展了一些行动以应对这一问题，例如西班牙大学校长联合会（CRUE）和西班牙国家研究高等委员会（CSIC）最近在与各学术出版商签署转换协议，这些行动正在改变过去的资助规则，解决包括成本、费用涵盖范围以及谁应付费等问题，这可能有助于实现开放获取（OA）。但是，要使这些举措产生预期的效果，还需要坚定的评估政策承诺，以便确保遵守《关于科研评价的旧金山宣言》(DORA)等倡议，并对研究人员产生真正的影响。例如近期西班牙国家质量评估与认证机构（Aneca）宣布将在其评估标准中加入与开放科学相关的活动。
03结语
学术生态系统是动态发展的，自《布达佩斯开放获取倡议》等最早的一批开放获取倡议开始后的20年里，学界对OS有了更多的了解。当前的重点是在如何在操作和/或技术层面实现它们，以及机构如何提供支持和制定适当的政策以实施它们的方式上。这对仍然基于传统学术实践并且对OS的新价值观响应能力有限的研究评估政策而言尤为重要。从所有受访的利益相关者处收集到的多种观点揭示了他们所感受到的限制和对学界的期待。可以说，如果机构有意愿改变，那么研究人员对OS价值观的态度可能就会发生变化，而现在正是时候。目前所看到的科学实践与相关机构制定的政策和战略之间的不协调性，导致了一种充满不确定性的研究环境，只有告别传统评估模式并建立具有资金支持的合理政策框架才能克服。正如Larivière所说，当合理的政策结构和激励措施到位时，研究人员会发挥出积极的作用。
