美国人工智能安全研究所位于美国商务部下属的美国国家标准与技术研究院（NIST）内，是根据拜登-哈里斯政府2023年关于安全、可靠和值得信赖的开发和使用人工智能的行政命令成立的，旨在推进人工智能安全科学的发展，并应对先进人工智能系统伴随的风险。该研究所的任务是开发测试、评估和指导方针，以帮助加速在美国和全球范围内的安全人工智能创新。
近日，美国商务部国家标准与技术研究院（NIST）下属的美国人工智能安全研究所宣布与Anthropic和OpenAI达成协议，就AI安全研究、测试和评估方面进行正式合作。
每家公司的谅解备忘录为美国人工智能安全研究所建立了框架，以便在每家公司新的主要模型公开发布之前和之后获得这些模型的框架。这些协议将促进关于如何评估能力和安全风险以及减轻这些风险的方法方面的合作研究。
“安全对于推动突破性技术创新至关重要。有了这些协议，我们期待与Anthropic和OpenAI开始技术合作，推进人工智能安全科学，“美国人工智能安全研究所所长Elizabeth Kelly表示。“这些协议只是一个开始，但它们是一个重要的里程碑，因为我们正致力于负责任地管理一个基于人工智能的未来。”
此外，美国人工智能安全研究所计划与英国人工智能安全研究所的合作伙伴密切合作，向Anthropic和OpenAI提供有关其AI模型潜在安全问题的改进方案。
美国人工智能安全研究所建立在NIST 120多年持续推进测量科学、技术、标准和相关工具进步的坚实基础之上。根据这些合作协议进行的评估将进一步推动NIST在人工智能方面的工作，促进对一系列风险领域的先进人工智能系统的深入合作和探索性研究。
根据这些协议进行的评估将有助于推进安全、可靠和值得信赖的人工智能开发和使用，这是基于拜登-哈里斯政府关于人工智能的行政命令以及领先的人工智能模型开发者向政府做出的自愿承诺。
