大模型把具身智能的路线改了:变的是能力来源、训练分工和研发方式

Latest Robot News editorial cover

10 月,宇树的一次内部测试里,机器人被安排去画画。据王兴兴说,它会自己换色、在下笔之间清洗画笔——这些行为,团队没有为它单独写过一行程序。十天前,他还说过一句更大的话:GPT-7 可能把具身智能这个问题”打穿”。

同一个月里,Physical Intelligence 和 Dream Labs 相继开放了机器人模型 API;Google 和 NVIDIA 则公布了”通用模型参与机器人研发”而不仅仅是”控制机器人”的进展。

把这几件事放在一起看,它们不是同一件事的四个版本。

真正变化的不是”大模型能控制机器人”,而是三样东西:能力从哪来、训练怎么分工、研发流程怎么跑。这三点都真实、可测,但也都只被部分验证——这一点要放在前面说清楚。

同一个模型,两项任务,差了一个数量级

要说明通用模型确实提供了可用的操作能力,最干净的证据,也是最不好看的那份。

对比条形图:积木放入碗内完成率 95%(20 次成功 19 次),拼图插入凹槽完成率 10%(20 次成功 2 次),使用同一个 GPT-6 Astra 模型与 YAM 机械臂
同一个模型、同一台机械臂、同一套代理框架,各测 20 次。差距不在模型的”知识”,而在这项任务是否需要接触级的精度。图:Latest Robot News 按 Robocurve 公开结果重绘。

Robocurve 用 GPT-6 Astra 控制 YAM 机械臂:把积木放进碗里,20 次成功 19 次,平均每轮 2.5 分钟;换成把拼图插进凹槽,20 次只成功 2 次,平均每轮 3.4 分钟。同一套硬件、同一个模型、同一套代理框架,成功率差出十倍,而且两项都很慢。

这个结果正好对应 DeepMind Gemini Robotics 研究负责人 Keerthana Gopalakrishnan 在 10 月访谈里做的区分:覆盖面和熟练度是两个问题。能尝试更多任务,不等于每项任务都做得好。通用知识帮得上长尾场景;接触精度、速度和纠错能力,仍要各自的训练与反馈。

对机器人团队的实操含义很直接:先测清现成模型能完成什么,再只给失败的那个环节补训练。可以少做的工作是真实的,必须自己做的工作也是真实的。

新 API 到底给了你什么

π 在 10 月 13 日发布的 API beta,提供数据上传、托管 fine-tuning 和云端 inference:用自己的机器人采数据,调用现成的 foundation model 做适配。Dream-1 报告的东西更激进一些——部分未参与训练的双臂平行夹爪机器人,可以不采本体专属示范,先接入测试。

能这样做的关键条件,是把动作接口放在末端而不是关节:模型输出夹爪的位置、朝向和开合,本地 IK 求解器再把目标转成关节指令。接口共用,经验才能跨本体;求解器在本地,所以可达范围、关节限制和运动约束仍然是你自己的问题。

FACT 模型总览图:左侧是人类带触觉与力信息的数据采集,中间是粗到细的力-动作-轨迹建模,右侧是移液、系鞋带、洗牌等下游任务微调
新训练栈的样子,来自 FACT 论文:左边是带力感知的人类操作数据,中间是”粗到细”的动作模型,右边是任务微调。值得看的不是架构,而是”什么算训练数据”。图:FACT 论文(arXiv 2610.19155)。

Dream-1 用的是 WAM,把视频和动作放在一起预测。共用接口帮助不同身体复用经验,但实际迁移仍取决于训练和本体差异:部分双臂夹爪的结果,不能直接推广到灵巧手——那里的接触是连续的,动作空间也大得多。

接进 API 之后,剩下的训练可以按目标分成 pre-training、mid-training、post-training 三段。行业里没有统一命名,各家流程也不一样。NVIDIA 今年 2 月公布的 EgoScale 是个具体例子:先用人类第一视角操作数据做 pre-training,再用对齐后的人机数据做 mid-training,最后针对下游任务做 post-training。”对齐”这一步存在的理由很朴素——人手和夹爪在结构、视角和动作表达上都不一样。

数据的问题变具体了

如果基座模型已经覆盖了某种能力,继续重复采集同类数据的收益就很有限。问题于是变成:你填的是哪个具体的洞。

伯克利教授、π 联合创始人 Sergey Levine 在 10 月的访谈里描述了这种迁移:模型起步时依赖示范;能力提高之后,语言指导、自主试错、人类视频会更有用。今天有效的配比,未必适合下一阶段。

第一人称人类视频在这轮变化里承担了很重的角色:它能扩大场景与操作的覆盖面,而且采集不必占用机器人——机器人工时贵,扩不快。但从人的活动里学到的经验,必须转成机器人可用的感知与动作表示,这正是 EgoScale 那类 mid-training 在解决的问题。

10 月李飞飞与合作者发布的 FACT,走的是另一条切面:力。带力测量的人类操作与机器人示范一起用于 pre-training,模型在粗动作规划之后用力预测细化动作;论文的消融实验支持了这些力信息的作用。

三条线索指向同一条规则:数据的价值看它补上了哪种能力,不能按时长计。缺场景覆盖就扩覆盖;接触控制不足就补物理信号;失败后无法恢复,就需要能教会它纠错的经历。否则只是多买了几块硬盘。

反馈闭环本身就是产品

机器人部署得越多,记录到真实差异和失败的机会就越多。但原始日志不是训练信号。它要经过结果标记、纠正采集或奖励构造,再回到训练和复测,才有机会变成更好的策略。

π 的 API 把这个闭环写得很明确:上传数据、fine-tuning、在真机上跑、根据失败决定下一轮补采什么。这个流程仍然需要开发者来组织——机器人接入 API 之后不会自动进化。

π 更早的两项研究,展示了把闭环”设计出来”而不是”碰出来”是什么样。2025 年 11 月的 π*0.6 用 RECAP,把示范、运行中的人工纠正和自主尝试结合起来,用强化学习利用结果信号——失败因此能进入训练,post-training 也可以在部署和测试之后继续进行。2026 年 4 月的 π0.7 把机器人数据、人类视频和自主执行经历放进同一个框架,并用质量、速度、策略等条件区分数据;团队还把 RECAP 训练中积累的执行经验蒸馏进 π0.7。在衣物折叠、制作咖啡和折盒测试中,一个通用模型达到了此前专项 RL 模型的成功率和吞吐量。

这是整套东西里影响最大的一条判断:在专项任务中获得的能力,有可能进入下一代 foundation model,后来者因此少做一部分适配。但 post-training 不会消失——新任务、新设备、更高的作业要求,仍然落在这一段。

仿真扩大试验,真机负责签字

通用模型也在进入研发流程本身:重建场景、生成训练数据、分析失败、修改程序,再把训练出的策略放到真机上测。机器人能力因此可以通过流程改进,而不必运行时都在线调用模型。

Google 在 10 月 13 日的 Gemini 4 Argon 机器人文章里,展示了 Real2Sim、物理校准和仿真辅助训练;NVIDIA 在 10 月 21 日的 Isaac 更新中,给出了结合 Astra、Isaac 与 Cosmos 的数据生成、训练和评估参考流程。

需要分清的是:3D 资产更容易生成,和仿真是可用的,是两件事。资产生成快,减少的是搭场景的人工;要让仿真帮上训练,接触、摩擦、运动响应仍须接近真实。物理解算器参数不对,模拟结果照样会把训练带偏——这和没有仿真一样糟。仿真负责扩大试验规模,真机提供校准和验收依据。

怎么判断”下一代模型打穿具身”

王兴兴那句话是个人预测,不是发布计划,也不是已验证的能力;宇树也没有公开画画那段演示背后的控制架构,所以 GPT-6 具体负责了哪些环节,目前不清楚。

但这个预测是可以检验的,而且检验要三件事一起报:

判断机器人能力进步的三张图:能力迁移(换任务、换场景、换机器人)、额外训练(新增数据、训练、人工调试)、作业质量(成功率、速度、连续运行、失败恢复)
三个维度要一起看:换任务、换场景、换机器人之后还剩多少能力;达到同样要求要补多少数据和调试;以及能不能持续稳定作业。图:原文配图。
  1. 能力迁移:换任务、换场景、换机器人之后,还剩多少能力。
  2. 额外训练:达到同样的作业要求,需要补多少数据和人工调试。
  3. 作业质量:速度、稳定性、连续运行和失败恢复,是拿得出手,还是只在镜头前成功过一次。

真正能推动具身路线的下一代模型,要能用更少的新增数据和人工调试,支撑更多任务中的可靠作业。任何只在单一任务、单一机器人、一个下午的测试里得到的结论——包括目前公开的大部分结果——都回答不了这个问题。

常见问题

GPT-6 真的让机器人学会了画画,而且没写新代码吗?
宇树说的是一次内部测试:机器人自主换色、清洗画笔,团队没有为此单独编程。但公司没有公开控制架构,也没有给出失败率,所以这应当被看作厂商对演示的描述,而不是经过测量的能力。

覆盖面和熟练度有什么区别?
覆盖面是模型能”尝试”多少任务,熟练度是每项任务做得多好。通用模型靠语义理解能快速抬高覆盖面,但接触密集型任务——插入、擦拭、装配——成功率可能仍远低于可用水平。

为什么”末端动作接口”能帮助跨本体迁移?
因为它把动作表达在许多机械臂共有的空间里:夹爪在哪、朝向如何、开合多少。本地 IK 求解器再把它转成关节指令,模型因此不必学习每台机器人的运动学——但可达范围、关节限制和动力学仍然与本体绑定。

仿真变好了,还需要真机数据吗?
需要。仿真能扩大试验规模、生成稀缺场景,但接触、摩擦和执行器响应必须对着硬件校准,最终验收也在真机上。现实的分工是:仿真负责广度,硬件负责真相。

只用人类视频够吗?
不够。第一人称人类数据能便宜地扩大场景与任务覆盖面,但要映射到机器人的感知与动作空间,而且不含接触密集任务需要的力信号与失败信号。它是配方里的一味,不是替代品。

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注