2024年开放数据成熟度(Open Data Maturity,ODM)评估对各国在开放数据领域的成熟度进行了评价。具体而言,该评估衡量了欧洲国家在公开公共部门信息并促进再利用方面的进展,这与《开放数据指令》(Directive (EU) 2019/1024)保持一致。总计34个国家参与了这项连续第10年的年度评估,其中包括27个欧盟成员国、3个欧洲自由贸易联盟(European Free Trade Association,EFTA)国家(冰岛、挪威和瑞士)以及4个候选国(波斯尼亚和黑塞哥维那、阿尔巴尼亚、塞尔维亚和乌克兰)
本报告旨在帮助读者更好地理解参与国家的ODM水平,识别改进领域,并使参与国家能够相互学习。作为一份年度出版物,ODM报告还捕捉到了各国随时间取得的进步,2024年的报告提供了最新的信息。此外,它概述了在整个欧洲实施的最佳实践,这些实践可以作为其他国家和地方的实践参考。
评估方法通过四个维度定义ODM:
·政策——调查了参与国家已有的开放数据政策和战略、管理开放数据的国家治理模式以及为执行这些政策和战略而采取的措施。
·门户——调查了国家开放数据门户的功能,用户需求和行为被审查以改善门户的程度、不同领域的开放数据可用性以及确保门户可持续性的方法。
·质量——评估了门户管理者为确保系统地收集元数据、监控元数据质量和遵守DCAT-AP元数据标准所采取的措施,以及在国家门户上发布数据的质量部署情况。
·影响——分析了各国测量开放数据再利用及其由此产生的影响、意愿、准备程度和能力。
一、2024年的开放数据成熟度得分
图1和图2展示了2024年所有34个参与国家的ODM得分。以下是一些关键结果:
·总计有18个国家的ODM得分较上年有所增加;1个国家的总得分与2023年相同;15个国家的成熟度得分有所下降(对于其中11个国家,下降幅度小于5个百分点)。
·成熟度得分仍然集中在较高的一端,大多数国家(34个国家中的26个国家,占76%)的成熟度得分超过73%。
·成员国维持了与2023年相同的平均成熟度得分,即83%。
·最成熟的成员国是法国(100%)、波兰(98%)和斯洛伐克(96%)。最成熟的EFTA国家是挪威(89%)。最成熟的候选国是乌克兰(97%)。
·提升最大的国家包括拉脱维亚(+10 pp)、克罗地亚(+9 pp)、塞尔维亚(+9 pp)和捷克共和国(+6 pp)。
图1 总体成熟度平均得分从2023年的79%增加到2024年的80%(同比:年比年)
图2 总体成熟度得分为四个基础维度得分的平均值
二、2024年开放数据成熟度评估的四个维度亮点
图3 2015-2024年欧盟27国整体成熟度平均得分及各维度得分
图3展示了成员国在四个成熟度维度上的平均得分随时间的变化情况。
1、2015年以来政策维度一直是欧盟平均最成熟的维度(91%),相比2023年增长了2个百分点。这一增长反映了开放数据政策框架和开放数据倡议实施的持续改进。
①与2023年相比,更多国家报告称其治理结构确保地方和区域开放数据倡议在全国范围内得到促进和支持(从20个成员国增加到23个成员国)。这表明各国对连贯的开放数据政策和跨政府层级的更强国家级协调的承诺正在增强。
②更多国家报告称其国家政策/战略中概述了促进公民生成数据的发布和访问的措施(从11个增加到14个)。
③所有成员国报告:
·拥有开放数据政策;
·正在努力实施关于高价值数据集(High Value Datasets,高价值数据集)的执行法规(委员会实施条例 (EU) 2023/138);
·国家开放数据团队及其国家内更广泛的开放数据官员网络定期交流;
·公共部门机构和开放数据再利用者在其国家内定期交换知识和经验;
·计划在公共机构层面发布开放数据;
·已建立确保其开放数据政策和战略得以实施的流程。
④主要实践和趋势如下:
·各国创建结构化的培训计划以发展公务员的数据能力;
·各国旨在促进公民生成数据的国家政策和战略通常包括特定领域的举措;
·建立工作组是各国用来促进国家开放数据团队和更广泛的开放数据官员网络之间交流的特别常见方法。
2、门户维度尽管平均得分相比2023年有所下降,但仍然是第二成熟的类别。这一下降部分是由于引入了对各国设定更高标准的新问题。总体而言,虽然数据可用性继续提高,但门户功能的进步未能跟上日益增长的期望。
①今年,17个成员国(62%)报告允许在其门户上发布非官方数据。这比2023年有显著增加,当时只有12个成员国报告非官方提供者可以向国家门户贡献数据。四个候选国家中有两个国家也允许这样做。
②24个成员国(88%,比2023年多2个)、1个EFTA国家和4个候选国家中的3个报告监控门户网站上发布的数据特征,例如类别分布、静态与实时数据以及这些数据如何随时间变化。
③20个成员国(70%)报告在其国家门户上积极推广高价值数据集。在许多情况下,各国拥有特定的标签系统或专门的部分,以便用户能够找到高价值数据集。
④所有成员国报告:
·拥有一个国家级门户,允许用户搜索开放数据集并下载开放数据;
·监控门户网站的流量(例如,独立访客数量、访客画像、机器流量百分比、每个数据集的下载次数);
·采取措施优化内容(数据和编辑内容)的可搜索性和可发现性;
·在门户网站上以清晰、简洁的语言提供元数据,以便人类和机器都能阅读和理解;
·确定尚未在国家门户上发布数据的数据提供者。
⑤主要实践和趋势如下:
·更多国家在其国家门户上实施了让用户对数据集进行评分的机制。评分系统通常是基于星级或等级的;
·更多国家报告称其国家门户在指定部分展示了数据重用案例;
·更多国家报告监控其门户流量并开展其他活动,以更好地了解门户用户的使用行为和需求。例如,各国使用各种分析工具来监测数据集的受欢迎程度,并通过这种跟踪方法获得如何提高数据集质量的见解。
3、质量维度是最不成熟的(79%)。平均得分自2023年以来有所下降,但仍高于2022年的水平。
①与2023年相比,成员国国家门户上的更大比例的元数据现在是自动获取而非手动编辑。具体来说,超过一半的成员国报告称其国家门户上至少50%的元数据是自动获取的(从13个成员国增加到18个成员国)。
②更多国家(从14个增加到17个成员国)报告称其超过90%的数据集以开放且机器可读的格式提供。
③主要实践和趋势如下:
·各国报告称使用了数据质量评估技术,这些技术要么结合了广泛使用的五星级开放数据模型或FAIR原则(可查找、可访问、可互操作和可重用),要么超越了这些模型;
·一些国家报告称其自动元数据采集过程采用集中式模型,多个子门户在一个单一目录下互联运作;
·各国报告称他们通过利用现有的技术支持平台或内置DCAT-AP支持的插件来确保符合DCAT-AP标准。
4、今年影响维度被评为表现排名第三的类别。它首次超越了质量维度,并连续第二年实现了最大的年度改进。
①几乎所有成员国(96%),以及大多数EFTA国家(三分之二)和候选国家(四分之三),现在报告拥有一个关于开放数据重用的国家级定义。
②几乎所有成员国(92%),以及所有EFTA国家和四分之三的候选国家,报告拥有一个关于开放数据影响的定义。
③与2023年相比,更多成员国(从21个增加到23个),以及三分之二的EFTA国家和四分之三的候选国家——报告已建立衡量本国开放数据影响的方法论。这些努力通常被整合到一个总体的国家级开放数据战略中。
④主要实践和趋势如下:
·与2023年相比,政府、公民社会和学术界之间的合作在各国创建开放数据影响方面有所增加;
·与2023年相比,更多国家报告开展了活动以了解哪些开放数据集被重用以及如何被重用。所开展的活动包括但不限于与重用者举办研讨会、进行调查、利用网络分析以及与门户用户进行反馈会议;
·欧盟、EFTA和候选国家对环境领域重用案例的认识有所提高,突显了生物多样性、环保城市、气候变化及其相关灾害、能源消耗和可再生能源等数据的重要性。
三、聚焦高价值数据集
成员国正在朝着应用高价值数据集实施条例的方向前进,特别是在清查数据集以及准备统计、地理空间和气象数据集方面。2024年6月生效的高价值数据集实施条例是一个立法框架,旨在提高某些具有重大价值的数据集的可用性。爱沙尼亚、立陶宛、丹麦、拉脱维亚、斯洛文尼亚和芬兰在实施高价值数据集要求方面处于成员国领先地位。平均而言,成员国在统计(80%)、地理空间(77%)和气象(75%)数据集方面的进展最大。在基础技术和法律要求中,识别和清查高价值数据集(83%)、解决法律障碍(77%)以及设立新的角色和工作流程(77%)是最先进的。总体而言,与技术进步相关的要求,如元数据质量(71%)、通过应用程序编程接口提供机器可读格式(69%)和批量下载(66%),则相对不那么先进。然而与2023年相比,这些指标都有显著增长。
2024年,20个成员国(70%)报告称他们正在其国家门户上积极推广高价值数据集。门户网站使用诸如标签或标记等编辑工具来提升它们的可见度,并通过允许用户专门选择来支持再利用。推广国家门户上的高价值数据集的常见方法包括纳入过滤选项,帮助用户轻松定位这些数据集并深入探索六个高价值数据集类别之一。一些国家还在其门户网站内创建了专门的栏目,让用户浏览所有可用的高价值数据集,并告知他们关于高价值数据集、其重要性和该领域的最新发展情况。
此外,17个成员国(63%)报告称他们在其开放数据门户上实施了DCAT-AP 高价值数据集标签。各国报告将现有的高价值数据集整合到现有的地理门户中,提供无缝访问地理空间数据。此外,一些在地理空间和环境数据倡议方面领先的国家报告称,他们使用欧洲空间信息指令(Directive 2007/2/EC)确保跨境互操作性。那些未报告实施DCAT-AP 高价值数据集标签的国家表示,在所有公共机构中实现合规性以及调整其综合知识存档网络系统以满足高价值数据集的要求方面存在挑战。
另外,21个成员国(78%)报告称他们已经采取了其他措施,以确保高价值数据集与其他国家的数据集具有互操作性。成员国报告直接与其他国家的数据提供商沟通,并利用标准化许可证或数据格式促进跨境再利用。
此外,19个成员国(70%)报告已实施结构化流程来监控来自高价值数据集的数据再利用情况。这些监控实践通常涉及利用国家数据门户。许多国家以类似于其他数据集的方式监控高价值数据集的使用,采用分析和门户监控框架跟踪参与度和访问量。此外,若干成员国采取了更主动的措施,例如与公共机构举行临时会议以深入了解高价值数据集使用情况,开展互动研讨会以更好地理解用户需求,并绘制各种用例图,特别是突出高价值数据集在科学研究中的应用。
四、展望未来
开放数据成熟度模型(ODM)的维度相互关联,并在某种程度上具有先后顺序。必须有政策到位以启动数据开放的过程,并建立国家开放数据团队的任务授权。然后可以资助和发展门户,使开放的数据可被发现。随着更多数据变得可用,对互操作性的更严格要求也随之出现。随着重用者社区的增长,他们期望更高品质的数据用于更复杂的再利用案例。
关于开放数据政策,所有成员国均已将开放数据指令(Directive (EU) 2019/1024)纳入国家法律。成员国已为开放数据建立了治理结构,指派公务员专门负责开放数据主题,并建立了协助数据持有者和应对政策挑战的系统。在未来的一年里,成员国将继续努力全面实施高价值数据集的实施条例。
几个成员国继续优化其门户或推出具有更高级功能的新门户。然而,开放数据门户的功能仍与2023年相似,成熟度评分下降可能与今年问卷中设置的更高要求和删除了一些关于高成熟度功能的问题有关。该方法进行了计划中的修订,以确保其在不断变化的开放数据生态系统、政策和技术发展的背景下保持相关性。
成员国报告拥有众多的工作流程和自动化流程,用于在门户上收集元数据并监控质量。尽管如此,与2023年相比,平均成熟度评分有所下降。一些国家在同一问题上的元数据质量得分低于去年。尽管如此,计算出的元数据质量指标可以客观地评估元数据。在首次尝试时,今年的报告使用了data.europa.eu的元数据质量评估工具来评估该倡议收集的元数据。结果作为试点指标总结在本报告中。
最后,影响维度的表现持续改善。成员国进一步增加了记录开放数据再利用的活动。尽管各国收集了许多开放数据被重用的例子,但在国家层面,系统评估这种再利用所创造的影响在很大程度上是不可实现的。
五、结论
欧洲各国在ODM方面保持稳定。尽管ODM评估方法进行了更新,对若干问题设定了更高的要求,但这一更新的目的是系统性地促进欧洲的ODM发展,同时跟上政策和技术的发展步伐,确保与之前的ODM评估结果具有一致性和可比性。
在欧盟内部,政策维度仍然是领先的,平均得分显示出逐年改善的趋势。这意味着各国能够在其治理结构方面提供修订后问卷中所要求的更详细解释。基础的“开放数据实施”指标得分增长最多,反映出欧盟成员国通过具体措施和活动继续实施开放数据政策,并建立了协助数据持有者和应对政策挑战的系统。所有成员国报告称,他们正在努力应用关于高价值数据集的实施条例(委员会实施条例(EU)2023/138)。某些数据类别,如统计、地理空间和气象数据,以及某些任务,如识别高价值数据集和解决法律障碍,比其他类别和任务表现出更多的进展。与2023年相比,这些类别和任务都有显著的进步(每类和每项任务进步超过10个百分点)。
门户网站维度仍然是第二成熟的维度。然而,在四个维度中,这一维度经历了最大的年度平均得分下降。特别是,“门户网站功能”指标经历了最大降幅。作为ODM评估方法更新的一部分,关于高级搜索、过滤和下载选项等成熟功能存在的问题从问卷中被删除。这些问题的缺失可能导致各国在此指标上的得分低于2023年。此外,还引入了新要求,涉及门户管理者如何利用他们从用户收集的数据来改进门户网站。总体而言,国家门户网站可能仍与2023年相似,成熟度评分的下降与今年问卷中设定的更高要求有关。作为试点指标引入的门户网站性能自动化测试也突显了开放数据门户网站可以投入努力以提高性能的各种领域。
质量维度的得分平均而言也比2023年有所下降,是各国得分最低的维度之一。然而,该维度的得分仍高于2022年。几个国家在同一问题上的元数据质量得分低于去年或许表明其流程和监控工具提供了更准确的见解。作为试点指标引入的元数据质量计算指标为data.europa.eu收集的元数据提供了自动评估。该试点的目标是展示使用自动测量的元数据质量指标的潜力。该工具将需要进一步审查,以便未来能够实现更客观的报告。严格使用SHACL验证定义的DCAT-AP合规性普遍较低。试点指标突显了可以进一步改进元数据质量的各个领域。
影响维度再次经历了最大的年度改善。基于去年的改进,成员国采取了进一步行动,记录开放数据的再利用情况并收集和分类再利用案例。再利用案例仍然比系统收集的开放数据所产生的影响数据更容易获得。
在未来的一年里,成员国将继续努力全面应用高价值数据集的实施条例,例如通过进行必要的技术升级以改进数据发布流程(使用应用程序编程接口)。此外,他们还将确保不再对高价值数据集的再利用收取费用,其元数据符合高价值数据集的DCAT-AP规范,并满足《欧洲空间信息基础设施指令》(Directive 2007/2/EC)和高价值数据集实施条例对某些数据集的要求,以及履行向委员会报告的义务。
在2025年,开放数据团队必须继续驾驭不断演变的数据共享格局,并帮助实施或与负责领导新的互补政府数据共享倡议的同事协同工作。例如,《数据治理法案》(法规(EU)2022/868)和《数据法案》(法规(EU)2023/2854)引入了增加数据可用性和克服数据再利用技术障碍的措施。具体来说,在《数据治理法案》下,成员国必须设立国家单一信息点(NSIPs),以协助潜在的再使用者找到关于特定条件下可再利用的受保护数据的信息。将从NSIPs收集信息并纳入公共部门持有的《欧洲受保护数据注册表》,这要求其元数据以特定方式结构化和提供;NSIPs还需要满足其他技术和操作要求。此外,为了根据欧洲价值观和原则以及充分尊重数据提供者的权利和保密性,促进行业数据的汇集、处理和共享,共同的欧洲数据空间继续得到开发,以增加数据共享工具和服务的可用性。