《“最强具身VLA大模型”，究竟强在哪儿？.》

• 编译者： 梁美宏
• 发布时间：2025-11-26

导读：henry 发自 凹非寺量子位 | 公众号 QbitAI看似轻描淡写，实则力透纸背。Physical Intelligence刷屏全网的机器人基础模型π*0.6，一亮相就秀出了实力：让机器人连续一整天制作意式浓缩咖啡，数小时不间断折叠各类衣物，还能精准组装工厂所需的包装纸箱。在π*0.6的加持下，这些任务的成功率都达到了90%以上。然而，仔细阅读论文就会发现，比起连做13个小时咖啡，π*0.6真正的突 ...... henry 发自 凹非寺 量子位 | 公众号 QbitAI 看似轻描淡写，实则力透纸背。 Physical Intelligence刷屏全网的机器人基础模型π*0.6，一亮相就秀出了实力： 让机器人连续一整天制作意式浓缩咖啡，数小时不间断折叠各类衣物，还能精准组装工厂所需的包装纸箱。 在π*0.6的加持下，这些任务的成功率都达到了90%以上。 然而，仔细阅读论文就会发现，比起连做13个小时咖啡，π*0.6真正的突破在于引入了一种更直觉的学习方法Recap： 指导：用人类示范教它基础动作 辅导：纠错指导让它修正错误 练习：从自主经验中不断优化、变得更强 这彻底扭转了过去机器人只会逼近 “真值” 的模仿学习模式，让机器人能从自己的错误中成长。 就连网友也直呼： 从错误中学习，这不比人都强？ 最强VLA模型π*0.6π*0.6延续了Physical Intelligence此前一贯的VLA（视觉-语言-动作模型）路线，是今年四月份发布π0.5以来最新的VLA模型。 总的来说，π*0.6的核心贡献在于提出了一种通用训练方法基于优势条件策略的经验与纠偏强化学习（RL with Experience & Corrections via Advantage-conditioned Policies，RECAP）。 RECAP让VLA能够使用奖励反馈和人类介入进行训练，其主要包含三个阶段： 离线RL：基于多机器人、多任务的示范数据（包括失败数据）训练价值函数和策略 微调：用人类示范将π*0.6适配到具体任务（咖啡/折衣服/组装盒子） 在线阶段：机器人自主执行任务，获得稀疏奖励，并结合专家在线纠偏，更新价值函数，再通过优势条件化改进策略 接下来，让我们具体来看。 首先，对于为什么RECAP选择价值函数，而不是标准的策略梯度，这里有个关键的巧思。 一方面，真实机器人数据极度异构：包括人类示范、专家干预、以及机器人在不同策略下的执行轨迹。标准的策略梯度方法需要on-policy的新鲜数据，难以有效吸收这些历史混合数据，因此天然不适合具身场景。 另一方面，VLA模型基于Flow Matching生成连续动作，这类模型没有显式的log π(a|s)，导致无法像传统策略那样对直接求梯度。 换句话说，PPO、REINFORCE 这些算法在这种模型结构上根本施展不开。 因此，RECAP没有走传统RL的路线，而是采用了一个巧妙的“优势条件化”策略： 模型仍按监督学习方式训练，但额外给它一个输入，告诉它当前动作的优势值（advantage）。优势越高，代表“这个动作更值得模仿”。 于是整个流程变成了： 价值函数负责评价 → 优势条件化负责表达 → VLA用监督学习吸收所有数据 换句话说，RECAP用价值函数判断动作质量，再用优势条件化把原本需要RL求解的策略更新，重新写成了大模型最擅长的监督学习问题。 训练价值函数与策略提取： 为了让模型从异构数据中学习，首先需要训练一个能够识别“好坏”的价值函数。无论数据来自哪里（演示或自主尝试），处理过程如下： 计算经验回报：对每条轨迹，从当前时间步到结束计算累计回报，并归一化、离散化成201个区间，为价值函数提供训练目标。 训练分布式价值函数：用多任务分布式价值函数预测离散价值分布，通过最小化交叉熵损失进行训练，再提取连续价值函数，得到每个状态-动作的实际价值。 计算优势（advantage）：用动作的实际回报减去价值函数预测，得到优势值，并二值化形成高/低优势指标，作为策略训练的额外输入，引导模型选择更优动作。 有了优势信号，我们就能实现高效的策略提取。这种方法完美满足了前文提到的对离线RL的需求： 充分利用多样化的离策略数据：包括最初的人类示范、专家干预，以及机器人自主执行的轨迹（既有最新策略的，也有早期策略的）。 可扩展性：方法需要能够应用于大型VLA模型，包括那些使用流匹配（flow matching）或扩散（diffusion）生成动作的模型。 同时利用优劣数据：既要有效利用近似最优的动作，也要利用次优动作的数据，这对于通过自主经验提升策略尤其重要。 通过这种设计，RECAP成功地在不依赖昂贵在线PPO更新的情况下，利用混合质量的离线数据实现了机器人的自我进化。 在线阶段：专家纠错 + 自主经验 在机器人自主执行阶段，RECAP通过两类数据持续优化策略： 专家纠错：专家远程干预纠正严重错误（如纸箱折叠顺序颠倒），每一次纠错动作都会被标记为“正向优势”，训练模型学习如何恢复错误。 自主经验：模型自主完成的轨迹，无论成功还是失败，都纳入训练数据。通过价值函数和优势指标，自动筛选有效信号，优化精细动作。 模型架构与性能 π*0.6是在π0.6基础上构建的，而π0.6又是对π0.5的升级版本。 π0.6的Backbone从Pi0、π0.5的Gemma(2.6B)扩展到Gemma3(4B)，Action Expert参数量也升级到了860M。 在模型架构方面，π0.6延续了π0和π0.5架构，通过流匹配（flow matching） 和离散动作token 输出生成动作片段。 从实验来看，研究团队在三个高难度的现实任务中评估了模型：折叠多样化的衣物、组装纸箱（工厂环境）和制作浓缩咖啡。 在最难的任务（如折叠多样化衣物和制作咖啡）中，RECAP将任务的吞吐量（每小时成功次数）提高了一倍以上，相比于仅进行监督微调（SFT）的模型，RECAP将任务失败率降低了约2倍。 与此同时，模型表现出极高的稳定性，例如连续13小时制作咖啡、连续2小时折叠衣物而无需人为重置。 从失败经验中学习正如开头提到的，Recap最具启发性的地方，莫过于它让机器人能够从错误经验中学习。 俗话说“失败乃成功之母”，但在传统的模仿学习，乃至更广泛的监督学习中，逼近真值或最优解通常被认为是最直接、最有效的策略。 这种方法在大规模语言模型（LLM）和其他机器学习系统上确实表现出色，数学上也简洁优雅。 然而，对于现实世界的机器人，仅仅知道如何做对，却不知道如何从错误中恢复，就会成为关键障碍。 在LLM等生成静态输出的AI系统中，监督学习假设数据是独立同分布（i.i.d.），预测输出不会影响后续输入，因此偶尔的偏差不会带来致命问题。 但对于需要持续与外界互动的系统，例如机器人，情况则完全不同。 模仿学习中模型的每一次动作都会影响未来状态，一旦出现轻微错误，就可能进入训练数据未覆盖的新状态，从而触发滚雪球式误差。这些错误叠加后，任务可能彻底失败。 因此，要想让机器人“每次都成功”，光靠复制示范数据是不够的。 解决之道在于：让视觉-语言-动作（VLA）模型能够从自身实际犯过的错误中学习，就像人类通过练习不断纠正失误一样。 问题在于，这些经历该如何标注？如果简单地让模型复制过去的行为，它只会学会重复错误。关键是如何从“坏数据”中提炼出有效的训练信号。 Recap通过指导中辅以纠正，练习中辅以强化来实现这一点： 教练式纠偏（corrections）当机器人犯错时，专家通过遥操作介入，示范如何恢复、如何更好地完成任务。 不同于传统的示范教学，这里不是教“该怎么做”，而是教“当事情出错时该如何修正”。 这种针对性纠偏弥补了传统模仿数据的不足，是防止错误累积的关键。 强化学习（reinforcement learning） 然而，仅仅依靠人类提供纠正措施是远远不够的，机器人需要自主学习。 机器人需要根据一个回合的总体结果自行判断其行为的好坏，并迭代地学习执行好的行为，同时避免坏的行为。 由此，就引出了基于对错奖励的强化学习。 如上文所说，为了实现强化学习，核心在于解决信用分配（credit assignment）的问题。 比如，要知道机器人执行的哪些动作导致了好的结果，哪些动作导致了坏的结果。 这里，Recap通过训练一个价值函数（value function）来应对这一挑战，它可以预测当前状态相较于其他状态的优劣。 △图源：Reinforcement learning: An introduction举例来说，在经典的格子世界中，智能体会通过一次次尝试更新每个状态的价值：落在好格子上，价值提高；掉进坏格子里，价值降低。 随着价值评估逐渐准确，智能体自然会倾向于选择那些通向高价值状态的动作。 同样的逻辑放到机器人身上：价值函数的变化为模型提供了一个简单而强大的判断信号。 让价值上升的动作：代表机器人朝任务成功更近了一步，应当被强化； 让价值下降的动作：意味着偏离目标，需要被抑制或修正。 举例来说，在折叠衣服任务中（左图），红色区域表示机器人突然将衣服拉起的错误动作，对应价值下降；而绿色区域表示机器人正确完成折叠时，价值上升。 可以说，价值函数帮助机器人识别“关键步骤”与“错误来源”，让它真正具备在复杂真实环境中从经验中变强的能力。 当训练好价值函数后，下一步是“策略抽取”：让策略（即VLA模型）以价值变化为条件进行训练。 所有数据包括成功和未成功都被保留，同时告知模型哪些动作是有效的、哪些动作应避免。 这种优势条件化（advantage-conditioned）训练能够让模型在保留全部经验的前提下，从失败中学习，从而表现超越单纯示范数据的水平。 综上，Recap不仅让机器人学会了执行任务，更重要的是，它让机器人学会了自我纠正和优化策略，为后续复杂任务的鲁棒性和效率提升提供了可扩展的解决方案。 与此同时，如果从好数据（示范）少，坏数据（错误经验）多的视角来看，π*0.6 的突破可能更具深远意义 它证明了机器人能从真实执行中收集的 “不完美经验” 里，提炼出高效的学习信号，这也为后续机器人研究开辟了全新思路，提供了极具价值的探索方向。 参考链接： [1]https://www.pi.website/download/pistar06.pdf [2]https://www.pi.website/blog/pistar06 [3]https://www.physicalintelligence.company/download/pi05.pdf [4]https://x.com/svlevine/status/1990574916622856290 赞助本站