《美国人工智能安全研究所成立新的美国政府特别工作组,合作研究和测试人工智能模型》

  • 编译者: 李晓萌
  • 发布时间:2025-01-03
  • 近日,美国商务部国家标准与技术研究院(NIST)下属的美国人工智能安全研究所宣布成立人工智能国家安全风险测试(TRAINS)工作组,该工作组汇集了美国政府各部门的合作伙伴,以识别、衡量和管理快速发展的人工智能技术对国家安全和公共安全的新兴影响。这一消息发布之际,美国将在旧金山主办首次人工智能安全研究所国际网络会议。

    该工作组将在关键的国家安全和公共安全领域,如辐射和核安全、化学和生物安全、网络安全、关键基础设施、常规军事能力等,对先进的人工智能模型进行协调研究和测试。

    这些努力将推动美国政府保持美国在人工智能发展方面的领导地位,并防止对手滥用美国的创新来破坏国家安全。

    TRAINS工作组由美国人工智能安全研究所担任主席,最初由以下联邦机构代表组成:

    ·DoD,包括首席数字和人工智能办公室(CDAO)等;

    ·能源部及其10个国家实验室;

    ·国土安全部;

    ·美国国立卫生研究院(NIH)卫生与公众服务部。

    每个成员将向工作组提供其独特的主题专业知识、技术基础设施和资源,并将合作开发新的人工智能评估方法和基准,以及进行联合国家安全风险评估和红队演习。

    美国商务部长吉娜·雷蒙多表示:“实现安全、可靠和值得信赖的人工智能创新不仅是经济优先事项,也是公共安全和国家安全的当务之急。”。“这个国家的每个角落都受到人工智能快速发展的影响,这就是为什么建立TRAINS工作组是团结我们的联邦资源并确保我们全力以赴应对这一代定义技术挑战的重要一步。美国人工智能安全研究所将继续发挥领导作用,集中政府中存在的顶尖国家安全和人工智能专业知识,以利用人工智能的好处来改善美国人民和美国企业。”

    这项工作按照最近的《国家安全人工智能备忘录》的指导,将整个政府的人工智能安全方法付诸实施,随着工作的继续,TRAINS工作组预计将在整个联邦政府中扩大其成员。

相关报告
  • 《美国政府宣布苹果公司签署美国人工智能安全自愿承诺》

    • 编译者:李晓萌
    • 发布时间:2024-08-20
    • 九个月前,拜登总统发布了一项具有里程碑意义的行政命令,以确保美国在把握人工智能(AI)的前景和管理风险方面处于领先地位。 这项行政命令建立在他和副总统哈里斯去年从15家美国领先的人工智能公司获得的自愿承诺之上。今天,政府宣布苹果公司已签署自愿承诺,进一步巩固了这些承诺作为负责任的人工智能创新的基石。 此外,联邦机构报告称,在按时完成迄今为止要求的所有其他任务后,他们按计划完成了行政命令中的所有270天行动。各机构在针对更长时间框架的其他工作方面也取得了进展。 根据行政命令和副总统哈里斯在全球人工智能安全峰会前的主要政策演讲中提出的一系列行动呼吁,政府各机构都采取了相关的行动。他们已采取措施减轻人工智能的安全和安保风险,保护美国人的隐私,促进公平和公民权利,为消费者和工人挺身而出,促进创新和竞争,提升美国在世界各地的领导地位等等。各机构今天报告已完成的行动包括以下内容: 管理安全和安保风险: 在270多天的时间里,行政命令指示各机构采取全面行动,解决人工智能的安全和安保风险,包括发布重要的安全指南,并建设测试和评估人工智能的能力。为了保护安全和安保,各机构已经: 1.人工智能安全研究所(AISI)发布了新的技术指南,供公众评论,该指南旨在指导领先的人工智能开发人员管理两用基础模型的误用评估。AISI的指导方针详细说明了领先的人工智能开发人员如何帮助防止越来越强大的人工智能系统被滥用来伤害个人、公共安全和国家安全,以及开发人员如何提高其产品的透明度。 2.发布了关于管理生成人工智能风险和安全开发生成人工智能系统和两用基础模型的最终框架。美国国家标准与技术研究院(NIST)的这些文件将在NIST的人工智能风险管理框架的基础上提供额外的指导,该框架为个人、组织和社会提供了一个管理人工智能风险的框架,并在美国和全球得到了广泛采用。NIST还向白宫提交了一份报告,概述了降低合成成分风险的工具和技术。 3.在能源部(DOE)开发和扩展了人工智能测试台和模型评估工具。美国能源部正在与跨部门合作伙伴协调,利用其测试平台评估人工智能模型的安全性,特别是人工智能模型可能对关键基础设施、能源安全和国家安全构成的风险。美国能源部的试验台也被用于探索新的人工智能硬件和软件系统,包括提高人工智能可信度的隐私增强技术。美国国家科学基金会(NSF)还发起了一项倡议,帮助资助联邦政府以外的研究人员设计和规划人工智能测试平台。 4.报告了人工智能保护重要政府软件的试点结果。国防部(DoD)和国土安全部(DHS)报告了其人工智能试点的结果,以解决分别用于国家安全目的和文职政府的政府网络中的漏洞。这些步骤建立在先前在行政命令发布后180天内推进此类试点工作的基础上。 将人工智能人才引入政府 去年,行政命令在政府范围内发起了一场人工智能人才激增,将数百名人工智能和人工智能使能专业人员带入政府。受雇人员正在执行关键的人工智能任务,例如告知使用人工智能进行许可的努力,为整个联邦政府的人工智能投资提供建议,以及为政府使用人工智能制定政策。 1.为了提高整个联邦政府在国家安全和非国家安全任务方面的人工智能能力,人工智能人才激增迄今已招聘了200多名员工,包括通过总统创新研究员人工智能队列和国土安全部人工智能团队。 2.在人工智能人才激增6个月报告的基础上,白宫科技政策办公室宣布了整个技术生态系统的新承诺,包括近1亿美元的资金,以支持更广泛的公共利益技术生态系统,并为将技术人员带入政府服务建立基础设施。 推进负责任的人工智能创新 拜登总统的行政命令指示采取进一步行动,抓住人工智能的希望,深化美国在人工智能创新方面的领先地位,同时确保人工智能在我们的经济和社会中负责任地发展和使用。在270天内,各机构已经: 1.编制并将很快发布一份关于两用基础模型的潜在收益、风险和影响的报告,其中模型权重广泛可用,包括相关政策建议。商务部的报告借鉴了与专家和利益相关者的广泛联系,包括就这一主题提交的数百条公众意见。 2.通过国家人工智能研究资源(NAIRR)试点,80多个研究团队获得了计算和其他人工智能资源的访问权限,该试点是由美国国家科学基金会领导的国家基础设施,与美国能源部、美国国立卫生研究院和其他政府和非政府合作伙伴合作,为支持国家的人工智能研究和教育界提供可用资源。支持的项目将解决深度伪造检测问题,提高人工智能安全性,实现下一代医疗诊断,并进一步推进其他关键的人工智能优先事项。 3.发布了一份设计用于教育的安全、可靠和值得信赖的人工智能工具的指南。教育部的指南讨论了教育技术开发人员如何设计有利于学生和教师的人工智能,同时促进公平、民权、信任和透明度。这项工作以该部门2023年的报告为基础,该报告概述了在教学中使用人工智能的建议。 4.发布了关于评估涉及人工智能技术以及其他新兴技术的发明的专利权利要求资格的指南。美国专利商标局的指导将指导人工智能领域的发明者保护他们的人工智能发明,并协助专利审查员审查人工智能发明的专利申请。 5.发布了一份关于过去四年联邦研发(R&D)的报告,以推进可信赖的人工智能。美国国家科学技术委员会的报告审查了近30亿美元的年度联邦人工智能研发预算。 6.启动了一项2300万美元的计划,旨在促进使用隐私增强技术来解决现实世界的问题,包括与人工智能相关的问题。NSF将与行业和机构合作伙伴合作,通过其新的“隐私保护数据共享实践”计划进行投资,努力为特定用例应用、成熟和扩展隐私增强技术,并建立测试平台以加速其采用。 7.宣布进一步投资数百万美元,以促进全社会负责任的人工智能开发和使用。其中包括通过NSF的新兴和新技术体验式学习计划投资3000万美元,该计划支持人工智能等领域的包容性体验式学习,以及通过NSF的ExpandAI计划投资1000万美元,这有助于在少数族裔服务机构建立人工智能研究能力,同时培养多样化、人工智能就绪的劳动力。 提升美国在海外的领导地位 拜登总统的行政命令强调,美国领导全球努力释放人工智能的潜力并应对其挑战。为了提升美国在人工智能领域的领导地位,各机构已经: 1.发布了美国参与全球人工智能标准的全面计划。该计划由NIST制定,纳入了广泛的公共和私营部门的投入,确定了人工智能标准工作的目标和优先领域,并为包括美国机构在内的美国利益相关者制定了行动。NIST和其他机构将在180天内报告优先行动。 2.制定了管理人工智能对人权构成的风险的指导方针。国务院与美国国家标准与技术研究院和美国国际开发署密切协调制定的“人工智能与人权风险管理概况”向世界各国政府、私营部门和民间社会推荐了基于NIST人工智能风险管理框架的行动,以识别和管理人工智能的设计、开发、部署和使用带来的人权风险。 3.启动了一个由人工智能安全研究所和其他政府支持的科学办公室组成的全球网络,以在技术层面推进人工智能安全。该网络将加速关键信息交换,并推动共同或兼容的安全评估和政策。 4.发起了一项具有里程碑意义的联合国大会决议。该决议获得一致通过,有100多个共同提案国,为世界各国制定了一个共同愿景,即促进安全可靠地使用人工智能来应对全球挑战。 5.扩大全球对美国领导的《关于负责任地使用人工智能和自主性的政治宣言》的支持。55个国家现在支持该政治宣言,该宣言概述了负责任地开发、部署和使用军事人工智能能力的一套规范。
  • 《美国政府宣布成立人工智能安全研究所联盟,该联盟隶属于NIST的人工智能安全研究所》

    • 来源专题:计量基标准与精密测量
    • 编译者:李晓萌
    • 发布时间:2024-04-18
    • 近日,美国商务部长吉娜·雷蒙多宣布成立美国人工智能安全研究所联盟(AI Safety Institute Consortium,AISIC),该联盟将联合人工智能创造者和用户、学术界、政府和行业研究人员以及民间社会组织,支持开发和部署安全可靠的人工智能(AI)。该联盟将隶属于NIST的美国人工智能安全研究所(USAISI),并将为拜登总统具有里程碑意义的行政命令中概述的优先行动做出贡献,包括制定红队、能力评估、风险管理、安全和安保以及合成内容水印的指导方针。 “美国政府在制定标准和开发我们需要的工具方面可以发挥重要作用,以减轻风险并利用人工智能的巨大潜力。拜登总统指示我们竭尽全力实现两个关键目标:制定安全标准和保护我们的创新生态系统。这正是美国人工智能安全研究所联盟成立的目的,帮助我们做到这一点。”“通过拜登总统具有里程碑意义的行政命令,我们将确保美国走在前列——通过与来自工业界、民间社会和学术界的这群领导人合作,我们可以共同应对这些挑战,制定我们需要的衡量标准,以保持美国的竞争优势,负责任地发展人工智能。” “为了跟上人工智能的步伐,我们必须迅速行动,确保从政府到私营部门到学术界的每个人都朝着同一个方向前进。感谢拜登总统具有里程碑意义的行政命令,人工智能安全联盟为我们所有人提供了一个重要的论坛,让我们共同努力,抓住承诺,管理人工智能带来的风险,”白宫副幕僚长Bruce Reed说。 该联盟包括200多家成员公司和组织,这些公司和组织处于创造和使用最先进的人工智能系统和硬件的前沿,美国最大的公司和最具创新性的初创公司,民间社会和学术团队,他们正在建立对人工智能如何能够和将如何改变我们社会的基本理解,以及今天深度参与人工智能使用的专业代表。该联盟代表了迄今为止成立的最大的测试和评估团队集合,将专注于为人工智能安全领域的新测量科学奠定基础。该联盟还包括州和地方政府以及非营利组织,并将与来自志同道合的国家的组织合作,这些组织在开发全球范围内可互操作和有效的安全工具方面发挥关键作用。