《美国人工智能标准与创新中心(CAISI)携手OpenAI与Anthropic共促安全创新》

  • 编译者: 李晓萌
  • 发布时间:2025-10-15
  • 通过《美国人工智能行动计划》,特朗普总统指示美国人工智能标准与创新中心(CAISI)与领先的美国人工智能开发商开展合作,积极保护私营部门免受人工智能安全风险(包括恶意网络行为者)的威胁。CAISI已组建了一支由机器学习与网络安全领域专家组成的顶尖科学家团队,以守护美国人工智能创新成果,并在过去一年中持续为美国人工智能开发商提供该领域的支持。

    近日,CAISI与OpenAI和Anthropic共同开展了对其先进人工智能系统的安全漏洞排查,并强化了人工智能安全评估体系。基于CAISI与英国人工智能安全研究所合作完成的研究与评估成果,OpenAI和Anthropic近日分别发布了专题文章,具体说明了其安全性能的实质性提升。

    CAISI与英国人工智能安全研究所正持续致力于推动安全的人工智能创新,相关工作包括:推进人工智能模型计量方法与标准制定的最佳实践,以及深化对最先进模型能力的认知理解。

相关报告
  • 《美国商务部宣布将美国人工智能安全研究所(USAISI)转型为支持创新和科学的美国人工智能标准与创新中心(CAISI)》

    • 编译者:李晓萌
    • 发布时间:2025-06-24
    • 近日,在美国总统特朗普的指导下,美国商务部长Howard Lutnick宣布了他将前美国人工智能安全研究所(USAISI)改革为人工智能标准与创新中心(CAISI)的计划。 人工智能具有巨大的潜力,能够带来变革性的进步,从而增强美国的经济和国家安全。这一改革将确保商务部利用其广泛的科学和工业专业知识,评估和理解这些快速发展的系统的能力,并识别在美国和国外开发的系统中的漏洞和威胁。 “长期以来,审查和监管一直以国家安全的名义被滥用。创新者将不再受到这些标准的限制。人工智能标准与创新中心将评估并增强美国在这些快速发展的商业人工智能系统中的创新能力,同时确保它们符合我们的国家安全标准。”商务部长Howard Lutnick表示。 人工智能标准与创新中心将成为美国政府内与商业人工智能系统的潜力开发和安全保障相关的测试和协作研究的主要联系点。为此,人工智能标准与创新中心将: ·与美国国家标准与技术研究院(NIST)组织合作,制定衡量和提升人工智能系统安全性的指南和最佳实践,并与NIST信息技术实验室及其他NIST组织合作,协助产业界制定自愿性标准。 ·与私营部门的人工智能开发者和评估者建立自愿性协议,并主导对可能对国家安全构成风险的人工智能能力的非机密评估。在开展这些评估时,人工智能标准与创新中心(CAISI)将重点关注可证明的风险,例如网络安全、生物安全等。 ·主导对美国及其对手的人工智能系统能力、外国人工智能系统的采用情况以及国际人工智能竞争态势的评估和分析。 ·主导对使用对手人工智能系统可能引发的安全漏洞和恶意外国影响的评估与分析,包括是否存在backdoor病毒以及其他隐蔽的恶意行为的可能性。 ·与其他联邦机构和实体协调,包括国防部、能源部、国土安全部、科学技术政策办公室以及情报界,共同制定评估方法,并开展评估与分析工作。 ·在国际上代表美国的利益,防止外国政府对美国技术进行繁琐且不必要的监管,并与NIST信息技术实验室合作,确保美国在国际人工智能标准方面的主导地位。 人工智能标准与创新中心(CAISI)将继续在NIST内运作,并定期与NIST内的其他组织(包括信息技术实验室)以及其他商务部内的其他局(包括工业与安全局,BIS)进行合作与协调。
  • 《美国人工智能安全研究所与Anthropic和OpenAI签署关于人工智能安全研究、测试和评估的协议》

    • 编译者:张宇
    • 发布时间:2024-10-20
    • 美国人工智能安全研究所位于美国商务部下属的美国国家标准与技术研究院(NIST)内,是根据拜登-哈里斯政府2023年关于安全、可靠和值得信赖的开发和使用人工智能的行政命令成立的,旨在推进人工智能安全科学的发展,并应对先进人工智能系统伴随的风险。该研究所的任务是开发测试、评估和指导方针,以帮助加速在美国和全球范围内的安全人工智能创新。 近日,美国商务部国家标准与技术研究院(NIST)下属的美国人工智能安全研究所宣布与Anthropic和OpenAI达成协议,就AI安全研究、测试和评估方面进行正式合作。 每家公司的谅解备忘录为美国人工智能安全研究所建立了框架,以便在每家公司新的主要模型公开发布之前和之后获得这些模型的框架。这些协议将促进关于如何评估能力和安全风险以及减轻这些风险的方法方面的合作研究。 “安全对于推动突破性技术创新至关重要。有了这些协议,我们期待与Anthropic和OpenAI开始技术合作,推进人工智能安全科学,“美国人工智能安全研究所所长Elizabeth Kelly表示。“这些协议只是一个开始,但它们是一个重要的里程碑,因为我们正致力于负责任地管理一个基于人工智能的未来。” 此外,美国人工智能安全研究所计划与英国人工智能安全研究所的合作伙伴密切合作,向Anthropic和OpenAI提供有关其AI模型潜在安全问题的改进方案。 美国人工智能安全研究所建立在NIST 120多年持续推进测量科学、技术、标准和相关工具进步的坚实基础之上。根据这些合作协议进行的评估将进一步推动NIST在人工智能方面的工作,促进对一系列风险领域的先进人工智能系统的深入合作和探索性研究。 根据这些协议进行的评估将有助于推进安全、可靠和值得信赖的人工智能开发和使用,这是基于拜登-哈里斯政府关于人工智能的行政命令以及领先的人工智能模型开发者向政府做出的自愿承诺。