登录
 机构网站
  1. 首页
  2. 情报产品
  3. 快讯详情

《美国国家标准与技术研究院（NIST）推出人工智能风险和影响评估项目（ARIA），旨在促进人工智能先进社会技术测试与评估》

  • 编译者： 李晓萌
  • 发布时间：2024-07-06

  • 近日，美国国家标准与技术研究院（NIST）正在启动一项新的测试、评估、验证和验证（TEVV）计划，旨在帮助提高对人工智能能力和影响的理解。

    评估人工智能的风险和影响（ARIA）旨在帮助组织和个人确定给定的人工智能技术在部署后是否有效、可靠、安全、可靠、私有和公平。该项目是在NIST最近几次宣布关于值得信赖的人工智能的行政命令180天以及美国人工智能安全研究所公布其战略愿景和国际安全网络后不久推出的。

    美国商务部长吉娜·雷蒙多表示：“为了充分了解人工智能正在并将对我们的社会产生的影响，我们需要测试人工智能在现实场景中的功能——这正是我们在这个项目中所做的。”。“有了ARIA计划，以及支持商务部根据拜登总统的人工智能行政命令承担责任的其他努力，NIST和美国人工智能安全研究所在降低人工智能的风险和最大化人工智能的利益方面正在竭尽全力。”

    负责标准与技术的商务部副部长兼NIST主任Laurie E.Locascio表示：“ARIA计划旨在满足人工智能技术使用增长带来的现实需求。”。“这项新工作将支持美国人工智能安全研究所，扩大NIST与研究界已经广泛的接触，并有助于建立在现实世界中测试和评估人工智能功能的可靠方法。”

    ARIA扩展了NIST于2023年1月发布的人工智能风险管理框架，并有助于实施该框架的风险测量功能，该功能建议使用定量和定性技术来分析和监测人工智能风险和影响。ARIA将通过开发一套新的方法和指标来量化系统在社会环境中保持安全功能的程度，从而帮助评估这些风险和影响。

    NIST信息技术实验室ARIA项目负责人Reva Schwartz表示：“衡量影响不仅仅是模型在实验室环境中的功能。”。“ARIA将在模型之外考虑人工智能，并在上下文中评估系统，包括人们在日常使用的现实环境中与人工智能技术互动时会发生什么。这将对这些技术的净影响提供更广泛、更全面的看法。”

    ARIA的结果将支持和告知NIST的集体努力，包括通过美国人工智能安全研究所，为安全、可靠和值得信赖的人工智能系统奠定基础。

159浏览量
原文链接
相关报告

  • 《美国国家标准与技术研究院（NIST）为内基梅隆大学（Carnegie Mellon University）提供600万美元资助，用于建立人工智能合作研究中心》
    • 编译者：李晓萌
    • 发布时间：2024-10-20
    • 近日，美国国家标准与技术研究院（NIST）已向卡内基梅隆大学（CMU）拨款600万美元，用于建立一个联合中心，支持合作研究和实验，以测试和评估现代人工智能能力和工具。该中心将设在匹兹堡的卡内基梅隆大学校园内。 Raimondo表示：“人工智能是我们这一代人的决定性技术，我们致力于与卡内基梅隆大学等美国世界一流的高等教育机构合作，推动人工智能的安全、可靠和值得信赖的发展。”。“我很高兴地宣布，美国国家标准与技术研究院向卡内基梅隆大学颁发了600万美元的奖项，以促进人工智能系统的研究，并支持新一代科学家和工程师，这将有助于在全球范围内推进美国的创新。” CMU/NIST人工智能测量科学与工程合作研究中心将通过利益相关者伙伴关系寻求推进人工智能风险管理实践和评估方法，并将评估能力和方法付诸实践。 “这个新的合作研究中心将扩大NIST在人工智能方面的知识库和基础研究能力，”NIST主任Laurie E.Locascio表示。“通过这种合作关系，我们将加强对基础模型的理解，并在这个快速发展的领域支持新的研究和新的研究人员。” 该中心将专注于基础研究和开发人工智能系统级工具、指标、评估程序、开发流程和最佳实践，以帮助人工智能建设者始终如一地设计安全的人工智能系统。其努力将与NIST的人工智能优先事项保持一致，包括衡量有效性、可靠性、安全性、隐私性和安全性的更好方法；问责制、透明度、公平性和可解释性；以及在开发或部署的任何阶段进行生成式人工智能评估。 CMU的资助是通过NIST的测量科学与工程研究资助计划授予的，该计划支持与NIST研究目标相一致的合作研究。该计划旨在培养一批多样化的世界级科学家和工程师，参与NIST的测量科学和标准研究，并促进对测量科学和规范的理解。 新中心的工作将支持NIST人工智能创新实验室（NAIIL），该实验室是NIST在基础人工智能测量研究和指南制定方面更大努力的一部分。
    202浏览量
    原文链接

  • 《美国国家标准与技术研究院（NIST）发布年龄估算软件评估的首次结果》
    • 编译者：李晓萌
    • 发布时间：2024-07-06
    • 近日，美国国家标准技术研究院（NIST）的一项新研究评估了一种软件的性能，该软件基于人脸照片中明显的身体特征来估计一个人的年龄。这种基于年龄估计和验证（AEV）的软件可能被用作有年龄限制的活动的“守门人”。 年龄估算已成为美国国内外立法和法规中最近纳入的年龄保证计划中的一项使能技术，这些计划是保护儿童上网的重要组成部分。 NIST的这项新的研究：《面部分析技术评估：年龄估计与验证（NIST IR 8525）》，评估了六种算法的性能，这些算法是开发者在2023年9月征集提交时自愿提供的。根据该研究的作者之一Kayee Hanaoka的说法，结果显示算法具有不同的能力。 “这些算法之间的性能差异很大，整体都有改进的空间，”NIST计算机科学家Hanaoka说。“这是2023年底年龄估计领域的部分快照，但由于AEV性能与人工智能的进步密切相关，我们预计该领域将迅速变化。” 这项新研究是NIST在过去十年中首次涉足AEV评估，并开启了该机构对这项技术进行频繁、定期测试的长期努力。NIST上一次评估AEV软件是在2014年。Hanaoka表示，当时对这项技术的兴趣要小得多，评估是一次性的努力。那次测试使用了来自签证申请的大约600万张照片的单一数据库，并仅要求算法在每张照片上提供年龄估计。 在过去的十年里，时代已经发生了变化。面部分析软件已经变得足够重要，以至于NIST将其面部识别计划分成了两个方向：一个评估算法识别人的能力（面部识别技术评估，或FRTE），另一个评估测量面部特征的能力（面部分析技术评估，或FATE）。新的测试是FATE方向的一部分，该方向还包括专门用于检测照片欺骗和测量图像质量的评估。 NIST的新测试扩展了其照片集合，包含来自四个不同数据库的约1150万张照片，所有这些照片都来自美国政府的资源：2014年使用的签证集合，另外增加了一组FBI的面部照片、一组在边境口岸获得的网络摄像头图像，以及一组来自100多个国家出生的人的移民申请照片。来自数据库的照片在图像质量和反映的年龄、性别和来源地区方面各不相同。所有数据都经过匿名处理，并且研究已经过审查，以保护被拍照对象的权利和隐私。 测试再次评估了算法在年龄估计方面的准确性，但应软件开发者的请求，测试还要求算法指定照片中的人是否超过21岁。该测试是一项“封闭盒子”研究，其中NIST研究人员仅分析了算法的最终性能，而不是它们的内部运作或它们如何得出结果。NIST不对软件是否适合特定用例做出推荐。 Hanaoka表示报告提供了一些初步发现： ·没有单一突出的算法，特定算法的准确性受到图像质量、性别、出生地区、照片中人的年龄以及这些因素之间的相互作用的影响。所有算法在某些特定人群上都有自己的敏感性；在某些群体上表现良好的算法在其他群体上可能表现不佳。 ·自上一份报告以来的十年中，AEV软件有所改进。在使用共同的签证照片数据库（在2014年和当前研究中都使用了该数据库）进行年龄估计时，算法的平均绝对误差已从4.3年减少到3.1年。六种算法中有五种的性能超过了2014年提交的最准确算法。 ·女性面部的错误率几乎总是高于男性。2014年评估的算法也是如此，但背后的原因尚不清楚。 这个测试项目设计为持续进行，研究作者们正在不断地接受新的算法提交。团队计划每四到六周在网站上发布第一轮结果的更新，Hanaoka表示。 她还表示：“我们预计AEV软件领域将迅速变化，我们打算在不久的将来更新和扩展我们的测试方法，”她说。“我们计划让算法回答更多问题，例如如果有同一个人之前的照片可用，是否可能有更好的性能。我们还计划扩大和多样化照片数据库，以更好地覆盖像在线安全这样的应用。”
    98浏览量
    原文链接