《生成式人工智能的技术局限和伦理风险》

  • 编译者: 程冰
  • 发布时间:2024-10-31
  • 自ChatGPT面世以来,生成式人工智能成为人工智能领域发展的热点。生成式人工智能技术的基本形态,是采用海量数据来训练人工智能大模型,使其学会人类的语言文本和图像视频的统计模式后,能够在用户给出提示指令后,自动地生成所需的数字内容。生成式人工智能技术综合了60多年来人工智能的研究成果,特别是最近10年来深度学习的技术突破。首先,能够从海量的语料数据中学习人类知识,熟记文本、语音、图像、视频等内在规律与统计模式,自动生成用户所需的新文本、图片、声音和视频。最后,具备多模态数据的融合机制,动态融合文本、语音、图像、视频等数据,不仅能够生成更为丰富多样的数字内容,而且通过语音、手势、面部表情等的识别,支撑实现AI像人一样与人类交流互动。其次,实现了大模型的基于大量数据的训练学习通用特征与在特定任务上进行微调以优化性能的学习模式,并能够接受人类反馈进一步强化学习。


    虽然这两三年来生成式人工智能展现出了前所未有的认知和多模态交互能力,但是其内在局限日益凸显,如何继续深入推进生成式人工智能技术发展,使之能够真正广泛落地应用,成为人们关注的焦点。首先,生成式人工智能所依赖的大模型在精准的认知理解和逻辑推理方面存在明显局限。其次,生成式人工智能面临着规模提升效益瓶颈。一方面,近5年来大模型的参数规模呈现指数级增强趋势,对智能算力的需求与日俱增;另一方面,高质量和高密度数据语料库也将成为制约模型规模继续扩大的因素。由此可见,如果生成式人工智能企图单纯以扩大模型规模来实现绝对通用的智能模型,无论是在技术上还是在经济成本上,都不是可持续的技术路线。


    生成式人工智能的发展使得相关的伦理安全风险日益突出,大模型认知能力的涌现和内在缺陷给人工智能的社会治理带来了更多挑战。首先,基于大模型的生成式人工智能系统缺乏可靠的安全护栏,很容易因受到攻击而输出敏感信息或是价值观错误的内容。其次,生成式人工智能广泛应用带来的各类衍生风险层出不穷,最突出的是深度合成内容的治理问题。最后,生成式人工智能研发与应用的敏捷治理将走向系统化和法治化。

相关报告
  • 《生成式人工智能专家笔谈》

    • 来源专题:数智化图书情报
    • 编译者:于彰淇
    • 发布时间:2023-12-01
    • 2023年5月,习近平总书记在主持召开中共中央政治局会议时提出,“要重视通用人工智能发展,营造创新生态,重视防范风险”,为推动生成式人工智能的发展指明了方向。为深入贯彻落实习近平总书记的重要指示精神和党中央决策部署,2023年7月,国家网信办联合国家发展改革委、教育部、科技部、工业和信息化部、公安部、广电总局公布了《生成式人工智能服务管理暂行办法》(以下简称《办法》)。《办法》明确提出了生成式人工智能服务与管理主要原则,“国家坚持发展和安全并重、促进创新和依法治理相结合的原则,采取有效措施鼓励生成式人工智能创新发展,对生成式人工智能服务实行包容审慎和分类分级监管”,并从基本概念、发展举措、服务方式、监督检查、法律责任等方面提出规范要求,为生成式人工智能的健康发展提供了重要保障,是我国在人工智能治理之路上迈出的关键一步。 本刊编辑部对《办法》的制定和出台一直保持密切关注。早在2023年4月,《生成式人工智能服务管理办法(征求意见稿)》发布不久之后,编辑部即邀请多位专家聚焦这一议题,持续跟踪《办法》与生成式人工智能的进展。与以往的笔谈相比,此次专栏的独特之处可以用八个字来概括:跳出边界、奔向未来。生成式人工智能的影响力无远弗届,已经开始深入人类社会的政治、经济、文化、伦理等方方面面,这些影响力亦在互相渗透,逐步编织起一个崭新的智能时代——《办法》第五条也提出,“鼓励生成式人工智能技术在各行业、各领域的创新应用,生成积极健康、向上向善的优质内容,探索优化应用场景,构建应用生态体系”。面对这种纵跨多行业和领域的新型技术,唯有“跳出边界”,以跨学科的宏阔视域、多领域的密切合作、全场景的实践方案,方能更好地应对其滔天翻浪式的影响和冲击;唯有以预见式的眼光、带入负责任创新的理念,汇聚多方面的思想资源和行动力量,方能奔向“积极健康、向上向善”的未来,有力地回应其带来的、复杂且复合的“技术-社会”议题!
  • 《生成式人工智能十大趋势与公共文化机构的应对策略》

    • 编译者:杨小芳
    • 发布时间:2025-07-23
    • 本文探讨了生成式人工智能(GAI)的十大发展趋势及其对公共文化机构的影响。这些趋势包括AI驱动的科学研究普及、具身智能机器人提升服务体验、多模态大模型走向实用化、合成数据与数据治理挑战凸显、世界模型与因果推理能力突破、AI算力与模型优化协同发展、智能体技术普及带来产品爆发、资本投入与产业整合加速、开源生态与小模型应用扩展以及AI伦理与治理框架完善。公共文化机构应把握AI带来的机遇,提升服务效率与质量,实现智能化转型。 AI驱动的科学研究普及:大模型与深度学习的发展催生了“人工智能助力科学研究”的新模式。2024年,大型语言模型在多个领域取得重大进展,如OpenAI的o3推理模型和谷歌的Gemini 2.0,以及DeepSeek R1推理模型的问世,降低了模型训练和推理成本,推动了AI4S和AI4DH的普及。图书馆等机构可借助这一趋势优化馆藏管理,构建智能数字档案库。 具身智能机器人提升服务体验:2024年是人形机器人技术的“应用元年”,特斯拉、波士顿动力公司和优必选等企业在具身智能领域取得重大进展。2025年,特斯拉的Optimus和国内智元机器人的批量生产标志着具身智能技术的重大突破。图书馆可利用具身智能机器人提升工作效率和服务质量。 多模态大模型走向实用化:2024年,多模态技术持续爆发,视频生成与理解模型迎来“GPT时刻”。如OpenAI的Sora、快手科技的Kling和DeepSeek的Janus-Pro等模型的出现,预示着AI在多模态综合处理能力上的提升。未来,图书馆服务平台可借助多模态大模型实现跨媒体数字化展示。 合成数据与数据治理挑战凸显:2024年下半年,多个先进模型采用合成数据。合成数据技术可降低对真实数据的依赖,解决数据隐私和版权问题,但也面临数据质量、安全性和合规性等挑战。图书馆等机构需强化数据治理体系,确保数字资源的质量和合规性。 世界模型与因果推理能力突破:2024年,世界模型成为人工智能领域的焦点议题。世界模型的核心特征包括物理世界建模、因果推理能力和动态场景生成。未来,具备因果推理能力的AI系统将能预测未来动态,解决复杂问题。图书馆可利用世界模型技术辅助空间规划、构建沉浸式虚拟展览等。 AI算力与模型优化协同发展:在GAI技术的发展中,算力和模型优化呈现出协同发展态势。2024年多项研究发现,单纯扩充数据和增加算力的边际收益下降,未来模型训练将重视数据质量、后训练和强化学习技术的应用。图书馆等机构可结合本地算力配置,依托高性能硬件,支持大规模数据存储和智能检索。 智能体技术普及带来产品爆发:2025年被视为智能体发展的元年,智能体框架日益繁荣与标准化。未来,机器人流程自动化、个人助理、客户服务和数据分析等领域将基于智能体技术开发新一代应用。图书馆可利用智能体实现自动化客服、智能问答和个性化推荐。 资本投入与产业整合加速:2024年,AI技术发展显著,多款产品在实际应用场景中取得广泛应用。全球主要科技公司和投资机构加大对AI领域的投入,推动AI产业生态的整合与升级。图书馆应抓住资本投入带来的机遇,与科技公司合作获取技术支持。 开源生态与小模型应用扩展:开源生态系统降低了AI技术的学习和使用门槛,推动了技术的创新和迭代。2025年初,DeepSeek的开源推动了算力护城河的倒塌,开源生态可望超越Meta成为AI领域的安卓。未来,更多高级AI将转向在个人设备上运行。图书馆等机构可利用开源基座模型训练自己机构的领域模型。 AI伦理与治理框架完善:随着GAI技术的发展,其潜在风险和不确定性日益受到关注。2024年,联合国、世界卫生组织和中国信息通信研究院等纷纷强调建立AI伦理与治理框架的重要性。图书馆等机构需关注数据安全、隐私保护与版权管理,制定数据使用规范,确保AI服务的公平透明。