《英国人工智能安全研究所(AI Safety Institute)将在旧金山设立办事处,以应对人工智能风险》

  • 编译者: 李晓萌
  • 发布时间:2024-07-06
  • 近日,英国技术大臣Michelle Donelan宣布,英国政府开创性的人工智能安全研究所(AI Safety Institute)将于今年夏天在旧金山开设第一个海外办事处,以拓宽其国际视野。

    此次扩张标志着英国迈出了关键一步,这将使英国能够利用湾区丰富的科技人才,与总部位于伦敦和旧金山的世界最大人工智能实验室合作,并巩固与美国的关系,为公众利益推进人工智能安全。

    该办公室预计将于今年夏天开业,招聘由研究总监领导的第一批技术人员。

    它将是该研究所伦敦总部的一个补充分支,该总部不断壮大,已经拥有一支由30多名技术人员组成的团队。伦敦办事处将继续扩大规模并获得必要的专业知识,以评估前沿人工智能系统的风险。

    通过扩大在美国的立足点,该研究所将与美国建立密切合作,进一步推进该国在人工智能安全方面的战略伙伴关系和方法,同时共享研究并对人工智能模型进行联合评估,为全球人工智能安全政策提供信息。

    科技国务秘书Michelle Donelan表示:

    这一扩展代表了英国在人工智能领域的领导地位。这是英国从全球角度研究人工智能风险和潜力的关键时刻,加强了我们与美国的伙伴关系,并为其他国家利用我们的专业知识铺平了道路,因为我们将继续在人工智能安全方面引领世界。

    自首相和我创立人工智能安全研究所以来,该研究所不断壮大,在短短一年多的时间里,我们在伦敦建立了世界领先的政府人工智能研究团队,吸引了来自英国及其他国家的顶尖人才。

    向海外敞开大门,建立与美国的联盟,是我制定新的人工智能安全国际标准计划的核心,我们将在本周的首尔峰会上讨论这一计划。

    英国人工智能安全研究所(UK AI Safety Institute)发布了五种公开的先进人工智能模型的最新安全测试结果:这是世界上第一个公布评估结果的政府支持的组织。

    虽然这只是该研究所更广泛方法的一小部分,但研究结果表明,自11月的人工智能安全峰会以来,该研究所在建立最先进的安全测试能力方面取得了重大进展。

    该研究所针对四个关键风险领域评估了人工智能模型,包括开发者实际安装的保障措施在实践中的有效性。作为研究结果的一部分,该研究所的测试发现:

    一些模型完成了网络安全挑战,同时努力完成更高级的挑战。

    几个模型展示了与博士水平相似的化学和生物学知识。

    所有经过测试的模型仍然非常容易受到基本“越狱”的影响,有些模型即使没有专门的规避保障措施的尝试,也会产生有害的输出。

    经过测试的模型无法在没有人监督的情况下完成更复杂、耗时的任务。

    人工智能安全研究所主席Ian Hogarth表示:

    这些测试的结果标志着我们首次能够与公众分享我们模型评估工作的一些细节。我们的评估将有助于对模型能力和现有保障措施缺乏稳健性的实证评估。

    人工智能安全仍然是一个非常年轻和新兴的领域。这些结果仅代表AISI正在开发的评估方法的一小部分。我们的目标是通过发展最先进的评估,继续推动这一领域的前沿发展,重点关注国家安全相关风险。

    人工智能安全仍然是英国的一个关键优先事项,因为它继续推动关于该技术安全发展的全球对话。

    这一努力是由11月在布莱切利公园举行的人工智能安全峰会启动的,随着英国和大韩民国准备在本周共同主办人工智能首尔峰会,这一势头继续增长。

    在全世界准备本周齐聚首尔之际,英国承诺与加拿大合作,包括通过各自的人工智能安全研究所,以推进其建立一个日益壮大的国家支持的组织网络的雄心,该网络专注于人工智能安全和治理。英国技术部长Michelle Donelan和加拿大科学与创新部长Fran?ois Philippe Champagne证实,这一伙伴关系将有助于加深两国之间的现有联系,并激励在系统安全研究方面的合作。

    作为该协议的一部分,两国将致力于分享其专业知识,以支持现有的测试和评估工作。该伙伴关系还将使两国之间能够进行借调,并共同确定研究合作领域。

相关报告
  • 《英国人工智能安全研究所推出人工智能安全评估和测试平台Inspect,以加强和加快全球人工智能安全评估》

    • 编译者:李晓萌
    • 发布时间:2024-06-12
    • 近日,随着英国人工智能安全研究所的评估平台向全球人工智能社区开放,全球人工智能安全评估将得到加强,为人工智能模型的安全创新铺平道路。 在建立了世界上第一个由国家支持的人工智能安全研究所后,英国正在继续推动在人工智能安全评估方面加强全球合作,并发布了人工智能安全学院自主研发的Inspect评估平台。通过向全球社区提供Inspect,该研究所正在帮助加快全球范围内进行的人工智能安全评估工作,从而实现更好的安全测试和开发更安全的模型。这将允许在世界各地对人工智能安全评估采取一致的方法。 Inspect是一个软件库,使测试人员——从初创企业、学术界和人工智能开发人员到国际政府——能够评估单个模型的具体能力,然后根据其结果得出分数。Inspect可用于评估一系列领域的模型,包括其核心知识、推理能力和自主能力。通过开源许可证发布,这意味着Inspect现在可以免费供人工智能社区使用。 该平台从今天开始提供,这是由国家支持的机构牵头的人工智能安全测试平台首次发布供更广泛使用。 在英国一些领先的人工智能头脑的推动下,它的发布正值人工智能发展的关键时刻,因为更强大的模型预计将在2024年上市,这使得推动安全和负责任的人工智能发展比以往任何时候都更加紧迫。 科学、创新和技术国务秘书Michelle Donelan表示: 作为英国领导层在人工智能安全方面不断发出的鼓点的一部分,我已经批准人工智能安全研究所的测试平台Inspect是开源的。这使英国的独创性成为全球人工智能安全努力的核心,并巩固了我们在这一领域的世界领导者地位。 我之所以如此热衷于此,以及我之所以拥有开源Inspect,是因为如果我们控制住人工智能的风险,我们可以获得非凡的回报。从我们的NHS到我们的交通网络,安全的人工智能将切实改善生活-这正是我从政的初衷。 人工智能安全研究所主席Ian Hogarth表示: 作为人工智能安全研究所的主席,我为我们开放Inspect平台而感到骄傲。 在人工智能安全测试方面的成功合作意味着拥有一种共享、可访问的评估方法,我们希望Inspect可以成为人工智能安全研究所、研究组织和学术界的基石。 我们受到了一些领先的开源人工智能开发人员的启发,最著名的项目是GPT NeoX、OLMo或Pythia,它们都有公开的训练数据和OSI许可的训练和评估代码、模型权重以及部分训练的检查点。这是我们为回馈社会所做的努力。 我们希望看到全球人工智能社区使用Inspect不仅进行自己的模型安全测试,而且帮助适应和建立开源平台,以便我们能够全面进行高质量的评估。 在推出Inspect的同时,人工智能安全研究所、人工智能孵化器(i.AI)和10号将汇集来自一系列领域的领先人工智能人才,快速测试和开发新的开源人工智能安全工具。开发人员更容易将开源工具集成到模型中,从而更好地了解它们的工作方式以及如何使它们尽可能安全。更多细节将在适当时候公布。
  • 《美国人工智能安全研究所成立新的美国政府特别工作组,合作研究和测试人工智能模型》

    • 编译者:李晓萌
    • 发布时间:2025-01-03
    • 近日,美国商务部国家标准与技术研究院(NIST)下属的美国人工智能安全研究所宣布成立人工智能国家安全风险测试(TRAINS)工作组,该工作组汇集了美国政府各部门的合作伙伴,以识别、衡量和管理快速发展的人工智能技术对国家安全和公共安全的新兴影响。这一消息发布之际,美国将在旧金山主办首次人工智能安全研究所国际网络会议。 该工作组将在关键的国家安全和公共安全领域,如辐射和核安全、化学和生物安全、网络安全、关键基础设施、常规军事能力等,对先进的人工智能模型进行协调研究和测试。 这些努力将推动美国政府保持美国在人工智能发展方面的领导地位,并防止对手滥用美国的创新来破坏国家安全。 TRAINS工作组由美国人工智能安全研究所担任主席,最初由以下联邦机构代表组成: ·DoD,包括首席数字和人工智能办公室(CDAO)等; ·能源部及其10个国家实验室; ·国土安全部; ·美国国立卫生研究院(NIH)卫生与公众服务部。 每个成员将向工作组提供其独特的主题专业知识、技术基础设施和资源,并将合作开发新的人工智能评估方法和基准,以及进行联合国家安全风险评估和红队演习。 美国商务部长吉娜·雷蒙多表示:“实现安全、可靠和值得信赖的人工智能创新不仅是经济优先事项,也是公共安全和国家安全的当务之急。”。“这个国家的每个角落都受到人工智能快速发展的影响,这就是为什么建立TRAINS工作组是团结我们的联邦资源并确保我们全力以赴应对这一代定义技术挑战的重要一步。美国人工智能安全研究所将继续发挥领导作用,集中政府中存在的顶尖国家安全和人工智能专业知识,以利用人工智能的好处来改善美国人民和美国企业。” 这项工作按照最近的《国家安全人工智能备忘录》的指导,将整个政府的人工智能安全方法付诸实施,随着工作的继续,TRAINS工作组预计将在整个联邦政府中扩大其成员。