《英国人工智能安全研究所推出人工智能安全评估和测试平台Inspect,以加强和加快全球人工智能安全评估》

  • 编译者: 李晓萌
  • 发布时间:2024-06-12
  • 近日,随着英国人工智能安全研究所的评估平台向全球人工智能社区开放,全球人工智能安全评估将得到加强,为人工智能模型的安全创新铺平道路。

    在建立了世界上第一个由国家支持的人工智能安全研究所后,英国正在继续推动在人工智能安全评估方面加强全球合作,并发布了人工智能安全学院自主研发的Inspect评估平台。通过向全球社区提供Inspect,该研究所正在帮助加快全球范围内进行的人工智能安全评估工作,从而实现更好的安全测试和开发更安全的模型。这将允许在世界各地对人工智能安全评估采取一致的方法。

    Inspect是一个软件库,使测试人员——从初创企业、学术界和人工智能开发人员到国际政府——能够评估单个模型的具体能力,然后根据其结果得出分数。Inspect可用于评估一系列领域的模型,包括其核心知识、推理能力和自主能力。通过开源许可证发布,这意味着Inspect现在可以免费供人工智能社区使用。

    该平台从今天开始提供,这是由国家支持的机构牵头的人工智能安全测试平台首次发布供更广泛使用。

    在英国一些领先的人工智能头脑的推动下,它的发布正值人工智能发展的关键时刻,因为更强大的模型预计将在2024年上市,这使得推动安全和负责任的人工智能发展比以往任何时候都更加紧迫。

    科学、创新和技术国务秘书Michelle Donelan表示:

    作为英国领导层在人工智能安全方面不断发出的鼓点的一部分,我已经批准人工智能安全研究所的测试平台Inspect是开源的。这使英国的独创性成为全球人工智能安全努力的核心,并巩固了我们在这一领域的世界领导者地位。

    我之所以如此热衷于此,以及我之所以拥有开源Inspect,是因为如果我们控制住人工智能的风险,我们可以获得非凡的回报。从我们的NHS到我们的交通网络,安全的人工智能将切实改善生活-这正是我从政的初衷。

    人工智能安全研究所主席Ian Hogarth表示:

    作为人工智能安全研究所的主席,我为我们开放Inspect平台而感到骄傲。

    在人工智能安全测试方面的成功合作意味着拥有一种共享、可访问的评估方法,我们希望Inspect可以成为人工智能安全研究所、研究组织和学术界的基石。

    我们受到了一些领先的开源人工智能开发人员的启发,最著名的项目是GPT NeoX、OLMo或Pythia,它们都有公开的训练数据和OSI许可的训练和评估代码、模型权重以及部分训练的检查点。这是我们为回馈社会所做的努力。

    我们希望看到全球人工智能社区使用Inspect不仅进行自己的模型安全测试,而且帮助适应和建立开源平台,以便我们能够全面进行高质量的评估。


    在推出Inspect的同时,人工智能安全研究所、人工智能孵化器(i.AI)和10号将汇集来自一系列领域的领先人工智能人才,快速测试和开发新的开源人工智能安全工具。开发人员更容易将开源工具集成到模型中,从而更好地了解它们的工作方式以及如何使它们尽可能安全。更多细节将在适当时候公布。

相关报告
  • 《英国人工智能安全研究所(AI Safety Institute)将在旧金山设立办事处,以应对人工智能风险》

    • 编译者:李晓萌
    • 发布时间:2024-07-06
    • 近日,英国技术大臣Michelle Donelan宣布,英国政府开创性的人工智能安全研究所(AI Safety Institute)将于今年夏天在旧金山开设第一个海外办事处,以拓宽其国际视野。 此次扩张标志着英国迈出了关键一步,这将使英国能够利用湾区丰富的科技人才,与总部位于伦敦和旧金山的世界最大人工智能实验室合作,并巩固与美国的关系,为公众利益推进人工智能安全。 该办公室预计将于今年夏天开业,招聘由研究总监领导的第一批技术人员。 它将是该研究所伦敦总部的一个补充分支,该总部不断壮大,已经拥有一支由30多名技术人员组成的团队。伦敦办事处将继续扩大规模并获得必要的专业知识,以评估前沿人工智能系统的风险。 通过扩大在美国的立足点,该研究所将与美国建立密切合作,进一步推进该国在人工智能安全方面的战略伙伴关系和方法,同时共享研究并对人工智能模型进行联合评估,为全球人工智能安全政策提供信息。 科技国务秘书Michelle Donelan表示: 这一扩展代表了英国在人工智能领域的领导地位。这是英国从全球角度研究人工智能风险和潜力的关键时刻,加强了我们与美国的伙伴关系,并为其他国家利用我们的专业知识铺平了道路,因为我们将继续在人工智能安全方面引领世界。 自首相和我创立人工智能安全研究所以来,该研究所不断壮大,在短短一年多的时间里,我们在伦敦建立了世界领先的政府人工智能研究团队,吸引了来自英国及其他国家的顶尖人才。 向海外敞开大门,建立与美国的联盟,是我制定新的人工智能安全国际标准计划的核心,我们将在本周的首尔峰会上讨论这一计划。 英国人工智能安全研究所(UK AI Safety Institute)发布了五种公开的先进人工智能模型的最新安全测试结果:这是世界上第一个公布评估结果的政府支持的组织。 虽然这只是该研究所更广泛方法的一小部分,但研究结果表明,自11月的人工智能安全峰会以来,该研究所在建立最先进的安全测试能力方面取得了重大进展。 该研究所针对四个关键风险领域评估了人工智能模型,包括开发者实际安装的保障措施在实践中的有效性。作为研究结果的一部分,该研究所的测试发现: 一些模型完成了网络安全挑战,同时努力完成更高级的挑战。 几个模型展示了与博士水平相似的化学和生物学知识。 所有经过测试的模型仍然非常容易受到基本“越狱”的影响,有些模型即使没有专门的规避保障措施的尝试,也会产生有害的输出。 经过测试的模型无法在没有人监督的情况下完成更复杂、耗时的任务。 人工智能安全研究所主席Ian Hogarth表示: 这些测试的结果标志着我们首次能够与公众分享我们模型评估工作的一些细节。我们的评估将有助于对模型能力和现有保障措施缺乏稳健性的实证评估。 人工智能安全仍然是一个非常年轻和新兴的领域。这些结果仅代表AISI正在开发的评估方法的一小部分。我们的目标是通过发展最先进的评估,继续推动这一领域的前沿发展,重点关注国家安全相关风险。 人工智能安全仍然是英国的一个关键优先事项,因为它继续推动关于该技术安全发展的全球对话。 这一努力是由11月在布莱切利公园举行的人工智能安全峰会启动的,随着英国和大韩民国准备在本周共同主办人工智能首尔峰会,这一势头继续增长。 在全世界准备本周齐聚首尔之际,英国承诺与加拿大合作,包括通过各自的人工智能安全研究所,以推进其建立一个日益壮大的国家支持的组织网络的雄心,该网络专注于人工智能安全和治理。英国技术部长Michelle Donelan和加拿大科学与创新部长Fran?ois Philippe Champagne证实,这一伙伴关系将有助于加深两国之间的现有联系,并激励在系统安全研究方面的合作。 作为该协议的一部分,两国将致力于分享其专业知识,以支持现有的测试和评估工作。该伙伴关系还将使两国之间能够进行借调,并共同确定研究合作领域。
  • 《美国人工智能安全研究所与Anthropic和OpenAI签署关于人工智能安全研究、测试和评估的协议》

    • 编译者:张宇
    • 发布时间:2024-10-20
    • 美国人工智能安全研究所位于美国商务部下属的美国国家标准与技术研究院(NIST)内,是根据拜登-哈里斯政府2023年关于安全、可靠和值得信赖的开发和使用人工智能的行政命令成立的,旨在推进人工智能安全科学的发展,并应对先进人工智能系统伴随的风险。该研究所的任务是开发测试、评估和指导方针,以帮助加速在美国和全球范围内的安全人工智能创新。 近日,美国商务部国家标准与技术研究院(NIST)下属的美国人工智能安全研究所宣布与Anthropic和OpenAI达成协议,就AI安全研究、测试和评估方面进行正式合作。 每家公司的谅解备忘录为美国人工智能安全研究所建立了框架,以便在每家公司新的主要模型公开发布之前和之后获得这些模型的框架。这些协议将促进关于如何评估能力和安全风险以及减轻这些风险的方法方面的合作研究。 “安全对于推动突破性技术创新至关重要。有了这些协议,我们期待与Anthropic和OpenAI开始技术合作,推进人工智能安全科学,“美国人工智能安全研究所所长Elizabeth Kelly表示。“这些协议只是一个开始,但它们是一个重要的里程碑,因为我们正致力于负责任地管理一个基于人工智能的未来。” 此外,美国人工智能安全研究所计划与英国人工智能安全研究所的合作伙伴密切合作,向Anthropic和OpenAI提供有关其AI模型潜在安全问题的改进方案。 美国人工智能安全研究所建立在NIST 120多年持续推进测量科学、技术、标准和相关工具进步的坚实基础之上。根据这些合作协议进行的评估将进一步推动NIST在人工智能方面的工作,促进对一系列风险领域的先进人工智能系统的深入合作和探索性研究。 根据这些协议进行的评估将有助于推进安全、可靠和值得信赖的人工智能开发和使用,这是基于拜登-哈里斯政府关于人工智能的行政命令以及领先的人工智能模型开发者向政府做出的自愿承诺。