《大型语言模型兴起,我们究竟应该关注什么?》

  • 来源专题:科技期刊发展智库
  • 编译者: 王传清
  • 发布时间:2024-02-22
  •   牛津大学计算机科学教授Michael Wooldridge在英国广播公司(BBC)的英国皇家学会圣诞讲座上谈论人工智能的危险与前景。

      随着大型语言模型(LLM)如ChatGPT的崛起,学术界、政府、企业和媒体都陷入了热烈的争论。这个讨论涵盖了从就业和政治影响,到对人类生存的潜在威胁等各种议题。

      Wooldridge形容这些大语言模型(LLM)的出现,就像是从外太空传送到地球上的神秘力量,突然间让AI领域充满了无限可能。而在三年前,这些事情还只是哲学上的争论。对于wooldridge而言,人工智能对人类生存的威胁被过度夸大了。他认为,它们已经造成的实际伤害——甚至是致命伤害——被低估了。而它们所带来的潜力却令人心动。

      人工智能的真正风险是什么?

      2023年12月12日,在英国皇家学会圣诞讲座上,wooldridge发表演讲,他强调了对人工智能(AI)生存威胁的担忧是不切实际的。他表示,尽管ChatGPT等AI技术引发了一些关于其潜在风险的讨论,但这些担忧在很大程度上是没有根据的。

      Wooldridge指出:深入了解ChatGPT的工作原理会让人明白它并不会像人们担心的那样从电脑中“爬出来接管一切”。他强调,尽管存在关于生存威胁的讨论,但从未有人给出合理的方案来证明AI如何成为一种生存风险。

      相反,Wooldridge认为对AI生存威胁的过度关注分散了人们的注意力,使得其他更直接的风险被忽视。他警告说,目前存在滥用和伤害的风险,这些都需要关注、监管和治理。

      Wooldridge概述了这样一种情况:即有医学症状的青少年可能因为尴尬而不愿去看医生或与护理人员讨论自己的症状。在这种情况下,这些青少年可能会寻求AI的帮助,但得到的建议质量可能很差。

      “负责任的医疗机构会尽量拦截这样的询问,并说‘我不提供医疗建议’。但要绕过这些护栏并不难,当技术扩散时,会有很多不负责任的提供者出现,”Wooldridge说:“人们会因此而死亡,因为所发布的产品没有得到适当的保护。”

      Wooldridge认为,技术在没有防护措施的情况下扩散是AI的主要风险。AI本身不会造成伤害,但滥用AI的人可能会造成伤害。他强调了英国政府一直在非常积极地研究人工智能的风险,并总结了一种被称为“狂野西部”(Wild West)的情况。在这种情况下,每个人都可以获得AI技术而没有任何防护措施,导致技术变得无法控制。

      “这就把强大的工具交到了潜在的坏人手中,他们会利用这些工具做坏事。”Wooldridge警告说,“我们即将迎来英国、美国和印度的大选,在这些国家中,错误信息的传播将会造成严重的问题。”

      最大的挑战是什么?我们该如何应对?

      Wooldridge将这一挑战概括为:如何支持创新者,同时防止技术扩散至无法控制的境地。当前,尚无简单答案。然而,Wooldridge认为社交媒体公司应采取更多措施,实施能够有效发现并防止错误信息传播的系统。当被问及这是否可能侵犯言论自由时,他回应说:“通常的反对意见是,如果你试图解决这个问题,你就是在扼杀言论自由。但我认为,当有明显的虚假信息被传播时,社交媒体公司有义务做得更多。”

      Wooldridge强调在防止伤害与促进创新之间寻找平衡至关重要。他观察到,LLMs领域对于研究人员而言是一个极具潜力的迷人领域。这些新模型的诞生仿佛是一个超级黑洞,彻底改变了整个计算结构,对整个科学界产生了深远影响。Wooldridge进一步指出,他所在大学系里的所有10个研究小组都受到了LLMs进展的影响。在某些情况下,这甚至重塑了他们的研究议程,而在其他情况下,由于相关工作已变得不再相关,他们正在进行收尾工作。

      Wooldridge对多代理系统特别感兴趣,在这种系统中,多个AI系统相互作用解决单个系统无法解决的问题。他对大型语言模型表示出极大热情,这些模型代表了一个诱人的机会,使这些模型能够相互交互而不必使用人类语言。他举例说明,可以通过大型语言模型处理幻觉问题。这些模型基本上处于相互竞争的状态,一个模型提出文案,另一个模型对文案进行批判。其目标是在这一过程中就事实陈述达成某种一致。

      面对这些人工智能模型所代表的剧变,Wooldridge强调科学交流至关重要。作为爱思唯尔出版的《人工智能》(Artificial Intelligence)杂志的联合主编,他深谙如何在研究人员之间交流研究成果。同时,皇家学院的圣诞讲座也为更广泛地传播人工智能知识提供了一个平台。他认为这是他的重要职责,并已经持续了好几年。他说:“随着围绕人工智能的讨论越来越多,我认为有必要尝试让公众了解什么是人工智能。如果我的工作接受公共资助,我就有义务站出来谈论它,因为这是科学的一部分。”

      Wooldridge特别指出公众对AI的误解:人们常常误以为AI拥有自己的意图或思考能力。其中一个最大的误解是人们想象屏幕的另一端有一个大脑,但实际上并不存在。AI并不能思考你的问题。当你深入了解其工作原理时,哪怕只是浅显的了解,你就会明白这只是一种统计算法。这是一种非常先进且令人印象深刻的算法,但它并不会思考或产生任何意识。有些人惊讶地发现,它根本没有 “思想”。围绕人工智能的语言可能会助长这种误解——它 “寻找”信息,它可以被“欺骗”,或者它“想要”提供某种答案。

      “我们使用这种语言是因为它很方便”

      Wooldridge说,“但将人工智能拟人化的危险在于,我们对它的解读远远超出了实际情况。”

      尽管存在诸多讨论、过度解读和潜在的错误信息风波,Wooldridge仍对AI的研究充满热情。他认为这是一个非常有趣的发展阶段。我们已经拥有了非常强大的工具,而我们对它们的探索刚刚开始。这些工具的功能强大且神奇,但我们并不完全清楚它们为何在某些方面会出现问题或其具体的能力范围是什么。探索并绘制出这些工具的能力范围是一项引人入胜的旅程。

相关报告
  • 《“最强具身VLA大模型”,究竟强在哪儿?.》

    • 编译者:梁美宏
    • 发布时间:2025-11-26
    • 导读:henry 发自 凹非寺量子位 | 公众号 QbitAI看似轻描淡写,实则力透纸背。Physical Intelligence刷屏全网的机器人基础模型π*0.6,一亮相就秀出了实力:让机器人连续一整天制作意式浓缩咖啡,数小时不间断折叠各类衣物,还能精准组装工厂所需的包装纸箱。在π*0.6的加持下,这些任务的成功率都达到了90%以上。然而,仔细阅读论文就会发现,比起连做13个小时咖啡,π*0.6真正的突 ...... henry 发自 凹非寺 量子位 | 公众号 QbitAI 看似轻描淡写,实则力透纸背。 Physical Intelligence刷屏全网的机器人基础模型π*0.6,一亮相就秀出了实力: 让机器人连续一整天制作意式浓缩咖啡,数小时不间断折叠各类衣物,还能精准组装工厂所需的包装纸箱。 在π*0.6的加持下,这些任务的成功率都达到了90%以上。 然而,仔细阅读论文就会发现,比起连做13个小时咖啡,π*0.6真正的突破在于引入了一种更直觉的学习方法Recap: 指导:用人类示范教它基础动作 辅导:纠错指导让它修正错误 练习:从自主经验中不断优化、变得更强 这彻底扭转了过去机器人只会逼近 “真值” 的模仿学习模式,让机器人能从自己的错误中成长。 就连网友也直呼: 从错误中学习,这不比人都强? 最强VLA模型π*0.6π*0.6延续了Physical Intelligence此前一贯的VLA(视觉-语言-动作模型)路线,是今年四月份发布π0.5以来最新的VLA模型。 总的来说,π*0.6的核心贡献在于提出了一种通用训练方法基于优势条件策略的经验与纠偏强化学习(RL with Experience & Corrections via Advantage-conditioned Policies,RECAP)。 RECAP让VLA能够使用奖励反馈和人类介入进行训练,其主要包含三个阶段: 离线RL:基于多机器人、多任务的示范数据(包括失败数据)训练价值函数和策略 微调:用人类示范将π*0.6适配到具体任务(咖啡/折衣服/组装盒子) 在线阶段:机器人自主执行任务,获得稀疏奖励,并结合专家在线纠偏,更新价值函数,再通过优势条件化改进策略 接下来,让我们具体来看。 首先,对于为什么RECAP选择价值函数,而不是标准的策略梯度,这里有个关键的巧思。 一方面,真实机器人数据极度异构:包括人类示范、专家干预、以及机器人在不同策略下的执行轨迹。标准的策略梯度方法需要on-policy的新鲜数据,难以有效吸收这些历史混合数据,因此天然不适合具身场景。 另一方面,VLA模型基于Flow Matching生成连续动作,这类模型没有显式的log π(a|s),导致无法像传统策略那样对直接求梯度。 换句话说,PPO、REINFORCE 这些算法在这种模型结构上根本施展不开。 因此,RECAP没有走传统RL的路线,而是采用了一个巧妙的“优势条件化”策略: 模型仍按监督学习方式训练,但额外给它一个输入,告诉它当前动作的优势值(advantage)。优势越高,代表“这个动作更值得模仿”。 于是整个流程变成了: 价值函数负责评价 → 优势条件化负责表达 → VLA用监督学习吸收所有数据 换句话说,RECAP用价值函数判断动作质量,再用优势条件化把原本需要RL求解的策略更新,重新写成了大模型最擅长的监督学习问题。 训练价值函数与策略提取: 为了让模型从异构数据中学习,首先需要训练一个能够识别“好坏”的价值函数。无论数据来自哪里(演示或自主尝试),处理过程如下: 计算经验回报:对每条轨迹,从当前时间步到结束计算累计回报,并归一化、离散化成201个区间,为价值函数提供训练目标。 训练分布式价值函数:用多任务分布式价值函数预测离散价值分布,通过最小化交叉熵损失进行训练,再提取连续价值函数,得到每个状态-动作的实际价值。 计算优势(advantage):用动作的实际回报减去价值函数预测,得到优势值,并二值化形成高/低优势指标,作为策略训练的额外输入,引导模型选择更优动作。 有了优势信号,我们就能实现高效的策略提取。这种方法完美满足了前文提到的对离线RL的需求: 充分利用多样化的离策略数据:包括最初的人类示范、专家干预,以及机器人自主执行的轨迹(既有最新策略的,也有早期策略的)。 可扩展性:方法需要能够应用于大型VLA模型,包括那些使用流匹配(flow matching)或扩散(diffusion)生成动作的模型。 同时利用优劣数据:既要有效利用近似最优的动作,也要利用次优动作的数据,这对于通过自主经验提升策略尤其重要。 通过这种设计,RECAP成功地在不依赖昂贵在线PPO更新的情况下,利用混合质量的离线数据实现了机器人的自我进化。 在线阶段:专家纠错 + 自主经验 在机器人自主执行阶段,RECAP通过两类数据持续优化策略: 专家纠错:专家远程干预纠正严重错误(如纸箱折叠顺序颠倒),每一次纠错动作都会被标记为“正向优势”,训练模型学习如何恢复错误。 自主经验:模型自主完成的轨迹,无论成功还是失败,都纳入训练数据。通过价值函数和优势指标,自动筛选有效信号,优化精细动作。 模型架构与性能 π*0.6是在π0.6基础上构建的,而π0.6又是对π0.5的升级版本。 π0.6的Backbone从Pi0、π0.5的Gemma(2.6B)扩展到Gemma3(4B),Action Expert参数量也升级到了860M。 在模型架构方面,π0.6延续了π0和π0.5架构,通过流匹配(flow matching) 和离散动作token 输出生成动作片段。 从实验来看,研究团队在三个高难度的现实任务中评估了模型:折叠多样化的衣物、组装纸箱(工厂环境)和制作浓缩咖啡。 在最难的任务(如折叠多样化衣物和制作咖啡)中,RECAP将任务的吞吐量(每小时成功次数)提高了一倍以上,相比于仅进行监督微调(SFT)的模型,RECAP将任务失败率降低了约2倍。 与此同时,模型表现出极高的稳定性,例如连续13小时制作咖啡、连续2小时折叠衣物而无需人为重置。 从失败经验中学习正如开头提到的,Recap最具启发性的地方,莫过于它让机器人能够从错误经验中学习。 俗话说“失败乃成功之母”,但在传统的模仿学习,乃至更广泛的监督学习中,逼近真值或最优解通常被认为是最直接、最有效的策略。 这种方法在大规模语言模型(LLM)和其他机器学习系统上确实表现出色,数学上也简洁优雅。 然而,对于现实世界的机器人,仅仅知道如何做对,却不知道如何从错误中恢复,就会成为关键障碍。 在LLM等生成静态输出的AI系统中,监督学习假设数据是独立同分布(i.i.d.),预测输出不会影响后续输入,因此偶尔的偏差不会带来致命问题。 但对于需要持续与外界互动的系统,例如机器人,情况则完全不同。 模仿学习中模型的每一次动作都会影响未来状态,一旦出现轻微错误,就可能进入训练数据未覆盖的新状态,从而触发滚雪球式误差。这些错误叠加后,任务可能彻底失败。 因此,要想让机器人“每次都成功”,光靠复制示范数据是不够的。 解决之道在于:让视觉-语言-动作(VLA)模型能够从自身实际犯过的错误中学习,就像人类通过练习不断纠正失误一样。 问题在于,这些经历该如何标注?如果简单地让模型复制过去的行为,它只会学会重复错误。关键是如何从“坏数据”中提炼出有效的训练信号。 Recap通过指导中辅以纠正,练习中辅以强化来实现这一点: 教练式纠偏(corrections)当机器人犯错时,专家通过遥操作介入,示范如何恢复、如何更好地完成任务。 不同于传统的示范教学,这里不是教“该怎么做”,而是教“当事情出错时该如何修正”。 这种针对性纠偏弥补了传统模仿数据的不足,是防止错误累积的关键。 强化学习(reinforcement learning) 然而,仅仅依靠人类提供纠正措施是远远不够的,机器人需要自主学习。 机器人需要根据一个回合的总体结果自行判断其行为的好坏,并迭代地学习执行好的行为,同时避免坏的行为。 由此,就引出了基于对错奖励的强化学习。 如上文所说,为了实现强化学习,核心在于解决信用分配(credit assignment)的问题。 比如,要知道机器人执行的哪些动作导致了好的结果,哪些动作导致了坏的结果。 这里,Recap通过训练一个价值函数(value function)来应对这一挑战,它可以预测当前状态相较于其他状态的优劣。 △图源:Reinforcement learning: An introduction举例来说,在经典的格子世界中,智能体会通过一次次尝试更新每个状态的价值:落在好格子上,价值提高;掉进坏格子里,价值降低。 随着价值评估逐渐准确,智能体自然会倾向于选择那些通向高价值状态的动作。 同样的逻辑放到机器人身上:价值函数的变化为模型提供了一个简单而强大的判断信号。 让价值上升的动作:代表机器人朝任务成功更近了一步,应当被强化; 让价值下降的动作:意味着偏离目标,需要被抑制或修正。 举例来说,在折叠衣服任务中(左图),红色区域表示机器人突然将衣服拉起的错误动作,对应价值下降;而绿色区域表示机器人正确完成折叠时,价值上升。 可以说,价值函数帮助机器人识别“关键步骤”与“错误来源”,让它真正具备在复杂真实环境中从经验中变强的能力。 当训练好价值函数后,下一步是“策略抽取”:让策略(即VLA模型)以价值变化为条件进行训练。 所有数据包括成功和未成功都被保留,同时告知模型哪些动作是有效的、哪些动作应避免。 这种优势条件化(advantage-conditioned)训练能够让模型在保留全部经验的前提下,从失败中学习,从而表现超越单纯示范数据的水平。 综上,Recap不仅让机器人学会了执行任务,更重要的是,它让机器人学会了自我纠正和优化策略,为后续复杂任务的鲁棒性和效率提升提供了可扩展的解决方案。 与此同时,如果从好数据(示范)少,坏数据(错误经验)多的视角来看,π*0.6 的突破可能更具深远意义 它证明了机器人能从真实执行中收集的 “不完美经验” 里,提炼出高效的学习信号,这也为后续机器人研究开辟了全新思路,提供了极具价值的探索方向。 参考链接: [1]https://www.pi.website/download/pistar06.pdf [2]https://www.pi.website/blog/pistar06 [3]https://www.physicalintelligence.company/download/pi05.pdf [4]https://x.com/svlevine/status/1990574916622856290 赞助本站
  • 《什么是外来入侵物种,为什么我们应该关注它们?》

    • 来源专题:外来生物入侵
    • 编译者:刘小燕
    • 发布时间:2021-01-27
    • 入侵物种是指外来物种(在任何生殖阶段,包括种子、卵、孢子或其他繁殖体),其引入会引起或可能造成经济损害、环境损害或对人类健康的损害。这些物种快速生长和繁殖,对它们所在的地区造成了重大干扰。大多数外来物种,包括我们大多数的食物和纤维来源,都是无害的,许多是高度有益的。只有一小部分的外来物种具有入侵性,但那一小部分会造成很大的破坏。(1)如果放任不管,入侵物种会限制土地使用。(2)入侵物种可能会降低户外运动爱好者享受狩猎、钓鱼、露营、远足、划船和其他户外娱乐活动的能力。例如,超过湖泊的入侵水生植物可能使人们 无法在湖中划船或游泳。(3)保守估计在美国,外来入侵物种每年造成1200亿美元的经济损失,包括直接成本损失(例如农作物的损失)和间接成本损失(例如与控制疫情以防止进一步蔓延相关的成本)。(4)在美国,几乎一半的本地物种由于入侵物种而濒临灭绝。(5)与对生物多样性的其他威胁相比,入侵物种仅次于栖息地破坏。(6)入侵植物的花粉增加了呼吸道过敏的严重程度。(7)西尼罗河病毒(WNV)是人类和动物的一种侵入性病原体。在2008年7月,疾病控制与预防中心(CDC)报告说,在美国有1086人死于WNV。(8)入侵物种改变了生态系统过程。这种变化的一个例子是斑马贻贝引起的五大湖生态系统的变化。另一个例子是入侵植物引起火灾的频率或严重程度的变化。这种变化使本地动植物难以或不可能在受影响的生态系统中生存。