《防范人工智能风险要有安全阀》

  • 来源专题:人工智能
  • 编译者: 高楠
  • 发布时间:2024-08-19
  • 党的二十届三中全会审议通过的《中共中央关于进一步全面深化改革、推进中国式现代化的决定》强调,建立人工智能安全监管制度。作为一种战略性新兴技术,人工智能已深度融入人们的生产生活,对于工作效率的提升大有裨益,还不断催生出新产业、新业态、新商业模式,持续为经济社会发展注入新动能。作为人工智能的一个重要组成部分,生成式人工智能技术的飞速发展,涵盖虚拟现实、医疗保健、创意产业等多个领域,为各行各业带来更多创新与价值。不过,当前也要密切注意生成式人工智能可能引发的数据安全、信息误导等风险挑战,坚持发展与安全并重。   

          所谓生成式人工智能技术(AIGC),是指基于算法、模型、规则等,生成文本、声音、图片、视频等内容的新一代人工智能技术。算力、算法、数据是这种技术发展的三大核心要素,这几个要素的综合作用,使得其具备自生成模式,能实现闭环式学习体系的构建,通过利用海量数据信息,自主学习要素,进而生成原创性的专业知识内容或产品并可以不断更新,进行自我升级迭代。基于这些特点,越来越多的行业正将其作为提高生产力水平的新要素,创造出指数级的价值,并催生了大量的产业应用,教育、娱乐、商业等领域均有所及。2022年末,美国OpenAI公司推出的ChatGPT标志着这一技术在文本生成领域取得显著进展。世界知识产权组织(WIPO)不久前发布的《生成式人工智能专利态势报告》显示,2014年到2023年,中国生成式人工智能专利申请量超3.8万件,居世界第一位,是第二名美国的6倍。

      生成式人工智能是把双刃剑,在加强技术研发和创新的同时,需努力提高其安全性和可控性,有效识别潜在风险和漏洞并形成应对策略。2023年8月15日正式施行的《生成式人工智能服务管理暂行办法》指出,有关主管部门依据职责对生成式人工智能服务开展监督检查,提供者应当依法予以配合,按要求对训练数据来源、规模、类型、标注规则、算法机制机理等予以说明,并提供必要的技术、数据等支持和协助。因此,未来要进一步推动生成式人工智能的发展,应从网络安全、数据安全、个人信息保护等层面入手,采取包容审慎的态度,从技术、伦理、法律等多方面设置“安全阀门”,防范生成式人工智能风险。
      一方面,完善相关法律法规的有效界定,合理有效监管。加快立法进程,针对数据、内容安全、知识产权等生成式人工智能发展的关键问题,进行分类管理、分类立法,通过政策立法对生成式人工智能的设计、演进进行有效引导、统筹管理。明确监管底线,制定相应技术使用规则和行业规范,强化对生成式人工智能企业、平台和使用该技术高校各主体等失范行为的监管,及时发现处理违规行为。将“传统事后监管模式”转为“事前预防评估模式”和“事中控制模式”,制定事前评估、风险预警和事中控制规范,有效减少安全事件的发生、降低安全事件对企业、高校等造成的负面影响。加快制定相应的技术使用规则和应急处理措施,强化对应用生成式人工智能的企业、平台的监管和约束。
      另一方面,持续增强数据安全。建立数据全生命周期监督管理,包括数据采集输入阶段的虚假、错误信息入库管控,数据处理加工阶段的数据标注管控监督,数据输出阶段(二次采集输入阶段)的数据真实性检测验真等。针对医疗、金融、电商、高校等重点领域,通过技术手段保障数据安全。及时发现和处理数据方面的违规行为,保障数据及隐私安全,防止滥用数据造成的损失,确保其符合法律法规和社会公德。

  • 原文来源:http://www.chinasei.com.cn/xxjscy/rgzn/202408/t20240815_74566.html
相关报告
  • 《总体国家安全观视角下的人工智能生产方式风险应对》

    • 来源专题:数智化图书情报
    • 编译者:杨小芳
    • 发布时间:2024-01-14
    • 以ChatGPT[1]为代表的通用人工智能大模型(以下简称通用大模型)引发了新一轮人工智能革命,各国企业与研究机构纷纷跟进,人工智能发展进入了通用大模型时代。本轮人工智能革命深刻改变了物质资料生产活动的全流程,也带来了人工智能生产方式的风险。如何在鼓励技术发展的同时防范风险,已经引发各国关注,如欧盟制定的《人工智能法》专门增加了针对通用大模型的内容[2],美国政府联合主要科技公司发布了人工智能风险管理框架[3]。我国现有的几部相关法规规制范围较窄,不能满足整体性应对人工智能生产方式风险的要求。总体国家安全观具有丰富的内涵和外延,可以不断吸收新的安全要素,是一个开放的而非封闭的体系,适合作为分析人工智能生产方式安全风险的理论工具。 01人工智能生产方式的特征与国家安全风险 1.1 人工智能生产方式的特征数字技术革命日益融入社会生产生活各领域,塑造数字生产方式。从生产力层面看,数字生产方式下实现了生产资料数字化,包括传统劳动资料的数字化改造和新兴劳动资料的出现[4](如智能算法(譬如通用大模型)、自主智能体等),以及数据成为新的劳动对象[5]。此外,体力劳动与脑力劳动分工加快[5],数字劳动形成[6]。人工智能生产方式将使得社会出现“逆分工”现象,细化分工的、创造性低的人类劳动将大规模被通用大模型和自主智能体等取代,促使人类劳动逐步向创造性方向转变。 在生产关系层面,数字虚拟空间中的网络化劳动作为新型生产组织形式迅速兴起[5],劳动分工与产品分工的融合不断重塑再生产过程[6],人在生产组织中的影响降低,人与物、物与物之间的信息交换变得透明和顺畅,生产潜力将得到最大程度的激发。1.2 人工智能生产方式的国家安全风险人工智能生产方式可能引发的国家安全风险是多方面、多维度的,传统安全直接关乎国家存续,非传统安全中经济、文化与社会安全与经济社会运行直接相关。人工智能生产方式的产生与科技进步密不可分,从而科技安全风险也同样需要进行细致考察。 1.2.1 传统安全风险 政治安全是国家安全的核心。ChatGPT等外国的通用大模型使用全球互联网数据训练,生成内容具有西方的价值观念与意识形态,可以被用来作为“认知战”的工具。此外,在一些领域,通用大模型的生成内容已经十分逼真。人工智能生产方式在进一步便利社会交往同时,也极大便利了政治谣言等虚假信息的生成与传播。 人工智能生产方式的军事安全风险,一方面将体现为加剧军备竞赛,另一方面则表现为军事安全风险来源的复杂化。不断发展的自主智能体技术让许多科技人员设想中的智能武器装备成为现实,从而引发新的军备竞赛。现代战争已经具备很强的信息化特征,舆论战、情报战、网络战等形式与物理空间交战同样重要。在人工智能生产方式下,军事安全与政治安全、网络安全、数据安全等的耦合程度会进一步加深。 1.2.2 非传统安全风险 人工智能生产方式的经济安全影响主要有两大方面。一方面,我国产业基础能力增强和全球产业链地位提升的不确定性增多。通用大模型与自主智能体的产业应用将成为产业技术创新的焦点,智算中心、算力网络等新型基础设施发展质量极大影响产业公共服务与基础设施支撑能力。美国等人工智能技术水平高的国家在全球产业分工链条中地位提升,提升我国在全球产业链中地位更加困难。另一方面,不利于构建橄榄型分配结构,促进共同富裕。人工智能生产方式下劳动力要素贡献减少,致使企业长期用工需求减少,将更多采取灵活用工方式,这些新就业形态劳动者在分配制度中处于不利地位[7]。开展通用大模型开发运营等业务的相关企业垄断地位进一步提高,且容易出现新型垄断行为。 文化安全问题主要与人工智能生成内容相关。一方面,包含儒化思潮、历史虚无主义思潮、“普世价值论”思潮等错误思潮的人工智能生成内容被大量制造与传播,将会与主流文化内容形成冲突,不利于坚定文化自信。另一方面,通用大模型被用于文艺作品的创作,如果训练数据主要来自国外,产生的文艺作品可能出现同质化、西方化、庸俗化的倾向,不仅不利于繁荣文艺市场,更可能导致中华文化国际影响力的衰退。 人工智能生产方式也可能引发社会安全问题。一方面,在通用大模型的辅助下,不法分子的违法犯罪手段将日益丰富,违法犯罪成本降低,更容易取信于人的同时能更少地留下线索,打击违法犯罪行为难度增加,社会治安面临挑战。另一方面,根据OpenAI等机构的相关研究[8],通用大模型对就业市场的长期影响不可低估。如果出现大规模结构性失业,将直接影响到社会大局稳定。 科技领域同样面临安全风险。一方面,通用大模型与智能体深度介入科研流程,有效提升各领域的科研效率,因此实现以通用大模型相关技术为核心的人工智能技术自主可控事关我国科技创新全局。另一方面,“AI for Science”等有望成为人工智能生产方式下的主要科研范式,许多新领域也相应产生,能否抢占新的科技制高点将决定我国科技界的国际话语权。 02人工智能生产方式的风险应对体系 人工智能生产方式可能引发的国家安全风险是长期的、多方面的、不断变化的,需要做好前瞻性的顶层设计,做到统筹布局。我们认为做好人工智能生产方式的安全风险应对,核心是站在关键数字基础设施的高度看待通用大模型等新兴人工智能技术,构建包括安全基础、上层应用和潜在环境三个层次的风险应对体系(图1)。安全基础层次,生成式信息内容治理与人工智能基础设施安全应是不可逾越的红线与底线。上层应用层次,审慎推动人工智能生产方式的产业应用,优化国家“AI+”科技创新体系,精准加强社会智能治理工作,引导人工智能生产方式发展的正确方向,进一步减轻安全风险。潜在环境层次,通过大力开展人工智能素养提升工程和深入参与全球人工智能治理,为人工智能生产方式的风险应对创造良好的内外部环境。 图1 人工智能生产方式风险应对体系 2.1 全面提升生成式信息内容治理水平 生成式信息内容治理水平关系到国家政治安全与文化安全,既要有效发挥相关主管部门与法律法规的作用,又要充分调动相关方自觉、自律的积极性。首先,健全全平台内容管理机制,包括优化跨部门协调机制,实现公安部门、网信部门、数据部门、网络平台等多方联动治理;提升不同平台内容审核流程维度与技术方法的标准化、通用化。其次,加强对人工智能生成内容的检测与判别能力,构建面向社会公众、交互性强、权威开放的网络信息内容监测平台,有效提升对人工智能生成虚假有害信息的自我防范能力。最后,充分发挥行业组织的指导与纽带作用,鼓励通用大模型研发者、网络信息内容生产者和网络信息内容服务平台制定与人工智能生产方式相关的行业规范与自律公约,实现共建共治和谐清朗的网络空间。 2.2 严格保障人工智能基础设施安全 通用大模型是人工智能生产方式中的关键基础设施,其安全保护工作可以在《关键信息基础设施安全保护条例》[9]相关内容基础上进一步创新。一是需要确定人工智能生产方式中基础设施的范围,指定责任机关,明确法律责任;二是多措并举保障人工智能基础设施安全稳定运行,设置专门安全管理机构负责设施保护工作,认真开展网络安全检测与风险评估并及时整改问题;三是通过科技创新提升人工智能基础设施安全保护技术水平,重点解决大模型推理过程中的目标劫持与提示泄露问题,以及对优化训练数据进行的投毒攻击;最后,加快突破相关技术,培养专门人才,扩充人工智能基础设施安全的“装备库”与“人才库”。 2.3 包容审慎推动人工智能生产方式产业应用 我国要以生产力变革推动深化改革,审慎地推动人工智能生产方式在产业界的广泛应用,力争在国际产业链供应链中占据有利位置。 首先,渐进式地推动通用大模型的产业应用。内容生产行业、互联网软件业与办公场景的大模型应用已经出现了较为成熟的产品,人工智能生产方式的普及将具有一定程度的自发性。对于装备制造业、传统服务业等其他产业,通用大模型的应用场景丰富但应用难度更大,技术不成熟不稳定可能造成严重后果,因此在这些产业中应当开展好试点工作,鼓励数字化、信息化水平高、规模效益大的重点企业与通用大模型技术开发者开展深度合作,快速迭代产品。政府部门要做好服务工作,有效解决出现的各类问题,推广先进经验。 其次,鼓励国产大模型加快建设,早日达到世界领先水平,并尽早“走出去”。要结合国产大模型的特点,发挥我国产业体系完整的优势,面向“一带一路”合作伙伴等推广人工智能新基建,服务于我国经济安全大局。 最后,制定针对失业等问题的预案。人工智能生产方式的普及会引发失业问题,但同时也会产生新的就业岗位。如何减轻结构性失业对社会经济稳定带来的影响,如何尽快形成人工智能生产方式下稳定的社会职业结构,需要提前展开研究,制定相应预案。 2.4 持续优化国家“AI+”科技创新体系 人工智能生产方式的发展要求我国持续优化国家“AI+”科技创新体系,确保人工智能技术的领先地位,提升自主可控水平;同时要大胆创新科研范式,正确地引导科技创新方向,确保我国科技创新能力在世界范围内具有持久竞争力。 首先,推动通用大模型技术水平从跟跑、并跑到领跑,提升相关技术自主可控水平。开展关键技术集智攻关,在数据收集处理、算法优化、计算资源利用等方面深入研究,不断缩小国产大模型与世界先进水平之间的差距。加快推进高端计算芯片、训练推理框架、高质量训练数据集的国产替代,做到全产业链自主可控。 其次,强化企业在人工智能创新中的主体地位,引导校企深度合作。各级政府要结合实际出台相关政策,鼓励相关企业大胆投入人工智能创新,引导高校、科研机构与企业开展深度合作,以充分发挥高校、科研机构的人才优势与企业的资源优势。 最后,在科研资源分配与科技成果考核方面支持面向世界科技前沿的人工智能驱动的科学研究。科技部与国家自然基金委已经启动了相关专项部署工作,后续要进一步在国家重大专项设立、科技基金评审、科研成果评价和科技人员职称评定等方面做出相应倾斜,开展原创性研究,占领新的科研阵地,争取主动权。 2.5 精准加强社会智能治理工作 社会治理关系到人民群众生命财产安全,治理效果影响社会稳定。人工智能生产方式为社会稳定增添了影响因素,对精准加强社会智能治理提出了新的要求。 首先,有效打击不法分子利用通用大模型开展的违法犯罪活动。综合利用现代科技手段和传统工作方法,探索总结侦破此类新型案件的有效方法。司法机关要运用好人工智能相关法律法规,尽快形成指导性案例。有关部门与大模型运营机构等密切合作,采取有效措施限制或禁止违法分子使用大模型,加大宣传力度起到震慑效果。 其次,强化立体化信息化社会治安防控体系,通过通用大模型引领的技术创新推动社会治安防控体系向精细覆盖、快速反应、有效处置的方向发展,推动通用大模型赋能平安中国建设。 最后,针对大模型引发的触犯隐私、敏感信息等问题完善相关法规,倒逼通用大模型开发者与服务提供方进行针对性的改进完善。 2.6 大力开展人工智能素养提升工程 人工智能素养是数字素养的一个重要方面。着力提升我国的公民数字素养需要着重关注人工智能素养,着力缩小 “人工智能素养鸿沟”,让人民群众公平普惠地享受人工智能革命的成果。具体包括,研制具有前瞻性的、适应人工智能生产方式变革的全民数字素养框架;有针对性地开展人工智能宣传科普工作,根据不同年龄段、知识背景和需求编写宣传科普内容,注意将理论内容与实用技能结合;促进人工智能生产方式在教育领域的应用普及,不断探索找到人工智能生产方式介入教育的方式路径,引导下一代正确地对待和应用人工智能技术。2.7 深入参与全球人工智能治理通用大模型治理是全球性课题,通过深入参与全球人工智能治理,增强我国国际影响力,推动人工智能生产方式平等地惠及各国人民,为推动构建人类命运共同体贡献力量。一方面,要解决好通用大模型“走出去”面临的国际法律问题,针对不同国家的法律规范,制定相应对策,减少合规风险。另一方面,努力推动完善全球性人工智能治理体系,协调各主要国家对相关技术的规制力度,推动全球性人工智能标准规范制定工作。此外,加强国际人工智能军控,明确通用人工智能技术用于军事目的的底线红线,推动各主要军事强国的参与和配合,为维护世界和平做出积极贡献。 03结语 人工智能生产方式是随着新一轮以通用大模型为核心的人工智能技术革命进展而出现的生产方式,是数字生产方式的高阶表现形式。从总体国家安全观视角对人工智能生产方式的国家安全风险进行分析,从安全基础、上层应用和潜在环境三个层次开展风险应对体系建设,有利于我国统筹发展与安全、以高质量发展推进中国式现代化建设。 [1] OpenAI. Introducing ChatGPT [EB/OL]. [2023-08-06]. https://openai.com/blog/chatgpt. [2] European Parliament. AI Act: A step closer to the first rules on artificial intelligence[EB/OL]. [2023-08-06]. https://www.europarl.europa.eu/news/en/press-room/20230505IPR84904/ai-act-a-step-closer-to-the-first-rules-on-artificial-intelligence. [3] The White House. Fact sheet: Biden-Harris administration secures voluntary commitments from leading artificial intelligence companies to manage the risks posed by AI [EB/OL]. [2023-08-06]. https://www.whitehouse.gov/briefing-room/statements-releases/2023/07/21/fact-sheet-biden-harris-administration-secures-voluntary-commitments-from-leading-artificial-intelligence-companies-to-manage-the-risks-posed-by-ai/. [4] 胡莹.论数字经济时代资本主义劳动过程中的劳资关系[J].马克思主义研究,2020(6):136-145. [5] 李策划.数字生产方式变革视角下经济关系重塑研究[J].技术经济与管理研究,2023(2):12-17. [6] 王存刚.数字技术发展、生产方式变迁与国际体系转型——一个初步的分析[J].人民论坛·学术前沿,2023(4):12-24. [7] 侯东德,周莉欣.人工智能发展中的经济风险及制度应对[J].安徽大学学报(哲学社会科学版),2022,46(2):69-76. [8] Eloundou T, Manning S, Mishkin P, et al. GPTs are GPTs: An early look at the labor market impact potential of large language models[J/OL]. [2023-08-06]. https://arxiv.org/pdf/2303.10130.pdf. [9] 中国网信网.关键信息基础设施安全保护条例[EB/OL]. [2023-08-06]. http://www.cac.gov.cn/2021-08/17/c_1630785976988160.htm.
  • 《人工智能时代如何构建安全生态?》

    • 来源专题:中国科学院文献情报制造与材料知识资源中心 | 领域情报网
    • 编译者:冯瑞华
    • 发布时间:2018-09-06
    • AlphaGo与人类博弈胜利,已经注定了人工智能的发展将成为未来科技发展的主流方向之一,并且正在不断渗透到我们整个社会中来,智能制造、智能零售、智慧园区、医疗健康、智慧教育、智慧城市方方面面都离不开人工智能的存在,这无疑是一片巨大的蓝海。 然而,机遇与挑战并存,面对飞速发展的人工智能尚不能盲目乐观。在AI的世界里,安全远远不只是我们传统讲到的一些网络、系统以及软件的风险,在AI时代里传感器的安全、数据的风险也成为非常重的层次。 那么如何解决这方面的安全问题呢?对此,百度安全事业部产品总经理韩祖利讲到:“安全不是一家或者一个公司就可以做好的,需要全行业一起建立一个共赢共生的安全生态。安全生态的建设,离不开关系、技术和数据三大关键点。” AI时代生态安全面临挑战 在韩祖利看来,人工智能所面临的安全挑战,纵贯传感器、软件、数据、系统、网络多个层面。当下,尽管人工智能在某些方面精准度可超过人类,显著提升规则化安全工作的效率,但在复杂情况下还远远达不到,且极易受干扰。 他举例称,比如我们在图片里恶意的插入一些信息,也就是通过数据投毒来欺骗机器人。 此外,随着深度学习的发展,现在越来越多的智能设备开始应用生物识别技术,但这一技术也存在风险,因为生物特征极易被采集、复制、且复制成本低廉,此外人工智能行业尚缺乏统一标准,生物认证单靠一个因子并非完全可靠。 智能摄像头也非常大比例的存在一些安全性的问题。如果摄像头是放在机房里还好,如果放在家里,那么对整个个人隐私威胁非常之大。 近期,信通院泰尔实验室联合百度安全面向市面上的主流智能电视进行了安全漏洞测评,结果无一幸免。“AI时代假如没有安全,家里各种智能家居都会向你发出勒索请求。AI确确实实给我们带来了好处,而它带来的风险也是非常剧烈的,并且就在我们身边。”韩祖利说。 共建安全生态离不开三个点 针对AI可能带来的安全问题,并不是一家企业和公司就可以做好的,需要整个行业的共同努力,建立一个安全的生态来使整个行业获得更好的安全防护。 对此,韩祖利总结了三个关键点。首先是关系,所谓的关系就是建立信任,包括人与人之间的信任、公司与公司之间的信任以及跨产业合作的信任。“因为合作,可能他们会对安全有更加清晰的认识,并且逐渐开始认可这方面,这就是合作产生的一种信任。”韩祖利说。 其次就是技术,要防止碎片化。“我们经常看到因为交流较少,导致一家公司出了一款产品,另一家公司又做了另外一套系统,系统相互之间是完全间隔的,产业用户就非常痛苦,选择一个体系,整个碎片化就产生了。”韩祖利讲到:“对于这点,我们希望在技术上大家一起去建立一些行业的技术标准,规范很多产业的结构,尽量去做很多开源。” 据透露,在九个月百度安全也会开源大概7款工具产品,这些工具产品也希望跟整个产业里一起来为企业服务。 最后就是数据。大家都知道安全的核心就是持续的对抗,对抗最主要的东西就是数据,情报的本质也是数据。所以,无论在过去、现在或者是未来,数据对我们来讲都非常重要。“我们希望大家一起在整个数据脱敏下共享这些数据,甚至联合计算可以做到非常容易,既不会泄露用户的隐私,也不会泄露商业机密,同时我们安全的架构又可以成立。”韩祖利讲到。 最后,韩祖利表示:“AI的来临是一个生产力变革的时代,但是我不是特别赞同AI是对人类有太大威胁的,在每个变革的时间节点,我们都解决了存在的问题,并且取得了很好的发展,因此在智能时代,作为一个安全的从业者,我觉得还是充满信心的。”