Hana's Blog

WorldArena 论文精读

Thu, 27 Aug 2026 00:00:00 GMT

import { ArxivRating } from '@/components/advanced' import Algorithm from '@/components/advanced/Algorithm.astro' import AlgorithmStep from '@/components/advanced/AlgorithmStep.astro' import { Aside } from '@/components/user'

1. 论文概述

【Paper】 WorldArena 针对 embodied world model（EWM）的评测碎片化问题，建立一套同时覆盖感知质量与功能效用的 benchmark。它在 RoboTwin 2.0 的双臂操作场景上评测 14 个代表性模型，并发布公开 leaderboard 与 EWMScore。

一句话总结

【Analysis】 论文真正要改变的不是某个视频指标，而是评价问题本身：一个视频即使清晰、连贯、很“像电影”，也可能无法生成有用的机器人数据、准确判断 policy，或规划出可执行动作。

核心贡献

【Paper】

六个感知维度、16 个自动视频指标：Visual Quality、Motion Quality、Content Consistency、Physics Adherence、3D Accuracy、Controllability。
三种功能测试：Embodied Data Engine、Embodied Policy Evaluator、Embodied Action Planner。
70 名标注者对 3,500 个视频进行整体质量、指令遵循、物理合理性与 pairwise win-rate 评测。
将归一化后的 16 个指标取算术平均，得到可解释的 EWMScore。
在 14 个模型上发现 perception–functionality gap：EWMScore 与人类判断高度相关（Pearson $r=0.825$），但与 action-planning 仅弱相关（$r=0.360$）。

2. 背景与相关工作

世界模型通过动作条件的视频或状态预测，为机器人提供“心理模拟器”。在 embodied pipeline 中，它既可以生成合成数据，也可以作为 policy 的虚拟环境，还可以直接根据指令规划动作。

【Paper】 既有 benchmark 多数把 EWM 当作视频生成器，只测 FVD、清晰度、运动平滑度等 perceptual fidelity；少量 embodied benchmark 则通常只覆盖闭环执行或单一模型类型。这样会遗漏两个关键问题：生成的视频是否遵守接触与几何约束？模型的预测是否足以支持下游 policy 学习和长时程控制？

【Analysis】 WorldArena 的定位更像一个“能力剖面”而不是单一排行榜：它允许我们区分“画面好”“动力学对”“能做数据引擎”“能当模拟器”和“能规划动作”这几种并不等价的能力。

3. 问题定义

给定初始观测 $o_0$、文本指令 $c$、动作序列 $a_{0:T}$ 和真实未来视频 $v^{gt}_{1:T}$，WorldArena 评估世界模型 $M$ 的两类输出：

$$ \hat v_{1:T}=M(o_0, c, a_{0:T}), \qquad \hat a_{0:T}=P(M,o_0,c). $$

Open-loop video prediction：固定初始帧（及文本或动作条件），比较生成视频 $\hat v$ 与 ground truth。
Closed-loop task utility：把模型接到 inverse dynamics model（IDM）或 policy，反复生成未来状态并在 RoboTwin 模拟器中执行。
Human judgment：自动指标难以表达的物理 plausibility、指令遵循和整体观感由人工补充。

最终目标不是只最大化一个视频分数，而是同时回答：模型是否看起来可信、是否遵守动作和物理、以及这种可信度能否转化为机器人任务成功。

4. 方法

4.1 Overall Architecture

【Paper】 评测流程由三条支路组成：视频质量分支计算 16 个指标，功能分支分别测试 data engine、policy evaluator、action planner，最后再用人类评测和 EWMScore 汇总；三条功能支路共享 RoboTwin 场景与 IDM 接口。

4.2 核心模块

六维视频质量

【Paper】

| 维度 | 指标与测量对象 | | --- | --- | | Visual Quality | MUSIQ Image Quality、LAION Aesthetic Quality、V-JEPA Similarity | | Motion Quality | RAFT Dynamic Degree、Flow Score、Motion Smoothness | | Content Consistency | DINO Subject Consistency、CLIP Background Consistency、光流 AEPE Photometric Consistency | | Physics Adherence | Qwen3-VL Interaction Quality、SAM 3 + NDTW Trajectory Accuracy | | 3D Accuracy | 深度图 Depth Accuracy、Qwen3-VL Perspectivity | | Controllability | Qwen3-VL Instruction Following、Qwen2.5-VL Semantic Alignment、Action Following 多样性 |

【Analysis】 这组维度刻意把“像素看起来好”与“机器人运动是否合理”拆开。例如 Flow Score 高只说明运动明显，不保证抓取接触正确；Trajectory Accuracy 则直接比较机械臂轨迹，能揭示两者差异。

三种 embodied task

Data Engine：world model 根据首帧和指令生成视频，再由 IDM 抽取 action，生成 paired video–action 数据；用这些合成数据训练 $\pi_{0.5}$，观察下游任务成功率增益。
Policy Evaluator：让 policy 的动作驱动 action-controllable world model 进行 rollout，并把模型中的成功率与 RoboTwin simulator 的成功率做相关性比较。
Action Planner：world model 直接根据首帧和文本指令生成视频，IDM 转成动作，在模拟器闭环执行并统计成功率。

人类评测

【Paper】 评分型评测让标注者按 1–5 分评价整体视频质量、Instruction Following 与 Physical Adherence，再归一化到 0–100；pairwise 评测则在同一 prompt 下选择更好的视频并计算 win rate。

4.3 关键公式

对第 $m$ 个视频质量指标，设原始分数为 $s_m$，论文用经验上下界 $l_m,u_m$ 做线性归一化：

$$ \tilde s_m=100\cdot\mathrm{clip}\left(\frac{s_m-l_m}{u_m-l_m},0,1\right). $$

其中 $l_m,u_m$ 是所有评测视频的第 1 和第 99 百分位边界；对于误差型指标（如 AEPE），实现中先做方向统一，使“越大越好”。EWMScore 是 16 项归一化分数的算术平均：

$$ \mathrm{EWMScore}=\frac{1}{16}\sum_{m=1}^{16}\tilde s_m. $$

【Analysis】 等权平均牺牲了任务特定的最优权重，却换来可解释性和跨模型可比性；它不应被理解为“真实机器人效用”的充分统计量。

4.4 Training

【Paper】 Benchmark 本身不训练一个统一的 world model，而是为每个被测模型提供统一的数据后处理、指标计算和功能测试协议。Data Engine 任务例外地包含两阶段训练：先在 RobotTwin 2.0 上 fine-tune world model 生成视频，再冻结 world model，用 VPP 风格的 diffusion policy head/IDM 抽取动作，训练不同数据量的 $\pi_{0.5}$。

4.5 Inference

【Paper】 对单个模型的运行时行为依评测角色而异：open-loop 只生成一段未来视频；policy evaluator 将 policy action 作为下一步条件反复 rollout；action planner 则从文本指令出发生成视频，再由 IDM 转成可执行动作。成功与否由 RoboTwin simulator 或 VLM judge 判定。

4.6 代码实现对照

【Code】 官方仓库将实现拆成 video_quality/ 与 embodied_task/。 video_quality/evaluate.py 解析 --dimension 和 YAML checkpoint 配置，实例化 WorldArenaBenchmark，再按维度调用 MUSIQ、RAFT、DINO、VLM、深度与轨迹等模块；因此指标可以按需分开运行，而不是必须一次跑完全部 16 项。

【Code】 embodied_task/policy_eval_release_bundle/vlm_policy_evaluator.py 负责读取 rollout 视频、调用 VLM 判定任务成功；calculate_policy_pearson_r.py 将 world-model 评测结果与 ground-truth simulator 结果对齐并计算 Pearson $r$。Data Engine 的 step1_prepare_latent_wan.py、step2_train_action_robotwin_wan.py 则把视频 latent 与 VPP policy 训练串起来。

【Code】 仓库还提供 run_evaluation.sh、run_VLM_judge.sh、配置 YAML 和 submission README；但模型权重、完整运行环境与所有第三方 checkpoint 不随仓库提供，复现实验仍需要自行准备依赖。

5. 实验

5.1 Experimental Setup

【Paper】 数据来自 RoboTwin 2.0 Clean-50：50 个双臂操作任务，每个任务 50 个 episode；论文使用 2,000 个视频训练 world model、500 个视频测试。共评测 14 个模型，包括 Wan 2.2/2.6、Veo 3.1、CogVideoX 等通用视频模型，以及 Genie Envisioner、GigaWorld-0、TesserAct、WoW、Vidar、IRASim、CtrlWorld 和 Cosmos-Predict 2.5 的 text/action 变体。

5.2 Main Results

【Paper】 EWMScore 排名中 Wan 2.6（61.86）、CtrlWorld（59.70）、Veo 3.1（58.87）位居前列，Genie Envisioner（43.65）最低。通用大模型通常在 Image/Aesthetic Quality 上强，embodied 模型在轨迹、主体一致性和物理相关指标上更有优势。

【Paper】 Data Engine 中，绝大多数模型生成数据训练出的 $\pi_{0.5}$ 仍落后于真实数据；只有 RoboMaster 和 WoW 在 Task 2 超过 real-data baseline。Action Planner 的直接成功率也远低于 $\pi_{0.5}$（Task 1/2 为 77%/66%），说明视频预测能力尚未转化为长时程控制能力。

5.3 Ablation Study

论文没有传统的“去掉一个模块”消融，而是用跨维度相关性和不同功能角色的对照验证 benchmark 设计：

指标与人类判断：EWMScore–human Pearson $r=0.825$，说明自动指标组合能近似主观总体质量。
感知与 Data Engine：相关性仅 $r=0.600$，视觉高分不保证合成数据能训练出强 policy。
感知与 Action Planner：相关性降到 $r=0.360$，表明闭环动作规划受动力学误差和长时程累积影响更大。

5.4 Generalization

【Paper】 WorldArena 在同一套 RoboTwin 协议上同时覆盖 text-conditioned、action-conditioned、通用视频与机器人专用模型，说明 benchmark 可以跨模型范式使用。仓库也公开 submission 格式、测试数据集和 leaderboard，允许新模型按相同协议加入比较。

【Analysis】 但这不是对真实机器人硬件的泛化证明：所有主要功能实验都依赖 RoboTwin 模拟器，真实部署中的相机噪声、接触建模和控制延迟仍未被覆盖。

6. 方法分析

6.1 为什么有效？

【Analysis】 EWMScore 与人类判断高度相关，是因为 16 个指标覆盖了从清晰度到指令遵循的互补证据，减少单一 FVD 对失败模式的盲区。三类功能任务则把评价从“预测得像不像”推进到“预测是否改变下游决策”。

6.2 核心创新

【Analysis】 核心创新是把 EWM 的三种使用方式写进 benchmark contract：数据引擎测学习增益、policy evaluator 测环境排序保真度、action planner 测闭环可执行性。这样“功能效用”不再是论文里一句口号，而是可重复的实验接口。

6.3 与已有方法的本质区别

| 评测 | 主要问题 | WorldArena 的补充 | | --- | --- | --- | | 传统视频 benchmark | 视频清晰、运动和一致性 | 增加物理、3D、可控性与 embodied task | | 单一闭环 benchmark | 能否完成某类任务 | 同时测数据生成、policy 排序和规划 | | 人工观感评测 | 人类觉得哪个更好 | 用自动 16 指标提供可扩展、可解释分数 |

6.4 关键假设

【Paper】 评测假设 RoboTwin 2.0 足以代表双臂 manipulation，且 IDM 能从生成视频中恢复有意义的 action；VLM judge 的成功判定也被视作可接受的任务标签。

【Analysis】 这些假设决定了 benchmark 更适合比较“当前模型在该场景下的相对能力”，而非给出跨 embodiment、跨 simulator 的绝对能力上限。

7. 局限性

7.1 作者明确提出的局限

【Paper】 作者将工作定位为持续扩展的 benchmark，未来计划纳入更多模型；当前实验集中于 RoboTwin 2.0 双臂操作，尚未覆盖更广泛的机器人 embodiment 与真实世界任务。

7.2 自己分析得到的局限

【Analysis】

EWMScore 对 16 项指标等权，可能掩盖关键安全维度（例如接触物理）上的灾难性失败。
经验百分位边界依赖当前 14 个模型和测试集；加入更强模型后，历史分数的可比性需要重新校准。
Data Engine 只用每个 world model 生成 25 条轨迹训练 policy，样本量较小，难以估计 scaling curve。
Policy evaluator 中 world model 成功率高于 simulator 可能来自对成功轨迹的偏置，相关性并不等于动力学真实度。
Action Planner 的 IDM、VLM 和 simulator 各自引入误差，失败归因仍不够细粒度。

8. 启发与研究思考

【Analysis】 对研究者而言，WorldArena 提供了一个很实用的实验纪律：发布 world model 时，至少同时报告一组感知指标、一个闭环功能指标和失败案例，而不是只展示最漂亮的视频。

一个值得继续追问的问题是：能否从 EWMScore 的六维向量学习“任务条件权重”，让抓取任务更重视 interaction/trajectory，让导航任务更重视 depth/perspectivity？另一个方向是把 policy evaluator 的相关性直接纳入 world-model 训练目标，优化的不再是像素级未来，而是对 action consequence 的可决策预测。

UMI-Bench 1.0 论文精读：把 UMI 数据到真实机器人评测串成一条可审计流水线

Thu, 27 Aug 2026 00:00:00 GMT

1. 论文概述

一句话总结

【Paper】 UMI-Bench 1.0 不是一个新 Policy，而是一套围绕 Universal Manipulation Interface（UMI）数据设计的 real-robot benchmark：它规定数据如何采集、场景如何重置、动作如何执行、结果如何记录，并用任务因素拆解泛化失败。

核心贡献

【Paper】 论文的贡献可以压缩为四点：

将 UMI-style wrist-view observation、action representation、数据 schema 和物理部署放进同一评测协议。
提供 10 个桌面任务（4 个 single-arm、6 个 bimanual），每个任务约 1,600--3,000 条示教，第一版合计约 20k demonstrations。
规定固定工作台、重置图像、scene JSON、rollout manifest 与人工评分，使一次实验可以被复盘和审计。
用两个任务相关因素构造 Seen/Seen、Seen/Unseen、Unseen/Seen、Unseen/Unseen 四个条件，并报告 Full Success Rate（FSR）与 0--100 Progress Score。

2. 背景与相关工作

【Paper】 仿真和 offline metric 无法完整反映接触动力学、相机伪影、摩擦、校准漂移、控制时序和操作员重置差异。RoboChallenge、RoboArena、ManipArena 等工作已经证明真实机器人评测需要统一协议，但它们没有围绕 UMI 的“数据到部署”耦合来设计。

UMI-style 数据的特殊性在于：wrist-view 相机、动作 chunk、机器人 embodiment、场景重建和执行器接口相互依赖。如果训练使用一种 wrist-camera 或 action convention，而测试换了相机安装、reset 方式或控制频率，最终分数混合了模型能力与评测偏差。【Analysis】 因此 UMI-Bench 的真正对象不是某个单独任务，而是“训练分布如何被搬运到物理世界”这条链路。

与纯数据集发布相比，UMI-Bench 额外固定了 episode specification、scene metadata、评分 rubric 和 rollout audit package；与远程机器人平台相比，它优先保证本地实验的可重复迭代。

3. 问题定义

【Paper】 给定 UMI-style demonstrations、任务 prompt、scene JSON 和一个待评测 checkpoint，基准需要在真实桌面机器人上执行一组固定 episode，并回答：

Observation：策略接收 wrist-view RGB（可选 proprioception），第三人称相机只用于 debug，不作为 policy input。
Action：动作接口由任务/策略配置指定，采用 action chunk 而非逐低层命令；每次 inference 返回 waypoint trajectory。
Environment：1.2 m × 1.0 m × 0.75 m 桌面，表面覆盖 5 cm × 5 cm acrylic grid，网格供操作员重置与记录，不假设策略能读懂。
Embodiment：FastTouch tabletop arm，支持单臂与双臂任务；wrist RGB 为 1280×1280、100 FPS，策略图像 resize 到 224×224。
Dataset：10 个任务、约 20k demonstrations；每任务 50 条 real-world evaluation episodes。
Metrics：FSR 衡量是否同时满足全部任务条件，Progress Score 对子目标给部分分；首版不把耗时、重试次数或 action length 作为官方主指标。

每个任务定义 Factor A（对象、外观、类别组合或材质变化）与 Factor B（位置、布局、姿态或动态变化）。四个条件的笛卡尔积让“物体没见过”和“几何/动力学没见过”可以分开统计。

4. 方法

4.1 Overall Architecture

【Paper】 整体数据流是：FastUMI Pro 采集示教 → 结构化 metadata 与训练 repository → checkpoint → 固定 episode list 和 scene reset → wrist-view rollout → manifest、轨迹、视频与人工评分 → FSR、Progress Score 及 task-factor diagnostics。基准的“架构”是协议组件之间的接口，而非神经网络层。

4.2 核心模块

Standardized UMI Data Collection

输入：任务定义、操作员示教、wrist RGB、TOF、IMU、gripper 与空间轨迹流。
中间模块：FastUMI SDK/ROS 初始化、stream check、相机与机器人标定检查、scene reset、录制、quality control、格式转换。
输出：HDF5 或 LeRobot-compatible episode，包含视频、timestamps、robot state、action chunks、scene metadata 与 quality flags。
为什么需要：让训练数据的 observation/action convention 与后续物理评测保持同源。

【Paper】 论文给出的检查频率包括 pose/IMU 500 Hz、RGB 60 Hz、TOF 30 Hz；导出时原始 60 FPS 流可对齐到 20/30/60 Hz training frequency。八维单臂 state/action 向量为 $[x,y,z,q_x,q_y,q_z,q_w,\mathrm{clamp}]$。

Scene JSON 与 Reset Image

每个 episode 记录 task id、object id/category/appearance/material、桌面 marker position、pose、target region、split 和 reset image。【Analysis】 这一步把“看起来差不多的场景”转成可查询的分布变量，后续才能按对象、布局和子目标定位失败。

Evaluation Runner 与 Audit Package

runner 接收 checkpoint、task config、episode list、scene JSON、calibration 和 action-space config，执行统一 action chunk，并保存 manifest、predicted targets、transformed poses、gripper command、state samples、trajectory plot 与可选视频。人工分数独立存储，避免把主观评分覆盖原始 rollout。

Task Suite

| ID | 任务 | 手臂 | 主要能力 | Factor-B 例子 | | --- | --- | --- | --- | --- | | T1 | Sequential Object Stacking | Single | 空间对齐 | stacking position | | T2 | Articulated Container Manipulation | Single | 铰链容器 | object position | | T3 | Tool-Mediated Stamping | Single | 工具接触 | stamping position | | T4 | Precision Slot Insertion | Single | 精细插入 | insertion position | | T5 | Bimanual Material Pouring | Dual | 双臂稳定与倾倒 | basket/cup layout | | T6 | Bimanual Packing and Transport | Dual | 协同搬运 | box position | | T7 | Dynamic Pick-and-Place | Dual | 动态抓取 | turntable speed | | T8 | Category Sorting and Placement | Dual | 语义分类 | placement position | | T9 | Long-Horizon Rearrangement | Dual | 长时序规划 | target layout | | T10 | Deformable Object Folding | Dual | 可变形物体 | initial position |

4.3 关键公式

进度分数与泛化差距

对一个条件单元 $c$，Progress Score 是按任务 rubric 归一化到 0--100 的子目标得分。Factor-A 与 Factor-B 的泛化差距分别写成：

$$ \Delta_{\mathrm{gen}} = S_{\mathrm{seen}} - S_{\mathrm{unseen}}, $$

其中 $S$ 是对应条件下的平均 Progress Score。【Paper】 论文强调分数来自 rollout 终止时的最终稳定物理状态；中途短暂失败但后来恢复，不会自动抹掉已完成的子目标。

Full Success Rate

$$ \mathrm{FSR}=\frac{1}{N}\sum_{i=1}^{N}\mathbf{1}[\text{all critical subgoals satisfied in final state}_i]. $$

$N$ 是该 task 的 rollout 数。【Analysis】 这使 FSR 更像“严格验收”，Progress Score 更像“过程诊断”；两者不能互相替代。

4.4 Training

【Paper】 UMI-Bench 不规定唯一的训练算法，而是提供统一数据、schema 和 baseline checkpoints。实验比较 $\pi_0$、$\pi_{0.5}$ 与 DreamZero；它们共享 observation interface、action space、task definitions、data split 和 evaluation episode list。

【Code】 官方公开仓库 haoxixi1/UMI-Bench 目前是项目页源码（HTML/CSS/JS、视频构建脚本与静态素材），没有可复现的 policy training loop、dataloader 或 loss 实现。因此不能把网页构建脚本误写成模型训练代码；训练细节以论文和各 baseline 原仓库为准。

4.5 Inference

【Paper】 每次 rollout 先依据 scene JSON 与 reset image 重建场景，再由 checkpoint 读取 wrist-view observation，预测 waypoint/action chunk，经 FastTouch SDK 执行，直到成功、达到 task-specific step budget、离开有效区域或触发安全停止。单臂任务最多 800--1,200 steps，T9 长时序任务为 1,800 steps；单臂 $\pi_0$/DreamZero 与双臂 DreamZero 默认最多 24 个 waypoint，双臂 $\pi_0$ 默认 50 个（长时序/动态任务 20 个）。

【Code】 项目页脚本只负责展示 rollout 视频和 poster，不包含机器人 runtime；因此实际 inference 行为应以论文附录和相应 baseline runner 为准。

4.6 代码实现对照

| 组件 | 论文规范 | 官方代码仓库现状 | | --- | --- | --- | | 项目页 | 展示 UMI-Bench、论文、视频、数据集和模型 | index.html、styles.css、script.js 与静态 assets | | 数据集 | UMI-Benchmark-v1 | Hugging Face 数据集链接：UMIbenchmark/UMI-Benchmark-v1 | | Checkpoint | $\pi_0$、$\pi_{0.5}$、DreamZero 基线 | Hugging Face 模型链接：UMIbenchmark/UMI-Benchmark-v1-checkpoints | | 评测 runner | checkpoint + episode + scene JSON + calibration | 论文附录描述了接口，但项目页仓库未公开 runner 源码 |

【Analysis】 这里的“open and reproducible”更准确地理解为协议、数据与结果包的开放；截至论文版本，读者仍需组合论文附录、Hugging Face 资源和各 baseline 的执行代码来复现实验。

5. 实验

5.1 Experimental Setup

【Paper】 每个任务 50 条 rollout，10 个任务、3 个模型共 1,500 次真实执行。FastTouch 控制回路内部 waypoint 以 400 Hz 采样，gripper 周期为 5 ms；机器人状态默认 30 Hz 记录。所有模型使用同一 episode list 和评分协议。

5.2 Main Results

【Paper】 平均 Overall Score 为：$\pi_{0.5}$ 55.84、$\pi_0$ 48.90、DreamZero 40.59。$\pi_{0.5}$ 在 10 个任务中的 6 个排名第一；$\pi_0$ 在 T1/T2 两个 single-arm 任务最强，DreamZero 在 T3/T6 有竞争力。

任务层面，T2 的 $\pi_0$ Overall Score 为 86.50，T6 的 DreamZero 为 72.50；T3（stamping）和 T9（long-horizon rearrangement）三种模型 FSR 均为 0%，说明“多阶段状态估计 + 最终精确放置”仍是瓶颈。

总体条件均值从 Seen/Seen 的 59.62 降到 Factor-A shift 的 53.45、Factor-B shift 的 45.33，再到 combined shift 的 40.19。【Analysis】 几何/动态分布变化造成的损失大于对象外观变化，表明策略仍依赖 demonstration-aligned motion prior。

5.3 Ablation Study

UMI-Bench 论文没有像策略论文那样消融网络模块，而是通过条件切分、task heatmap 和 subgoal rubric 做“协议级消融”：把同一 checkpoint 的对象变化、布局变化和组合变化分开，观察分数到底在哪个因素上坍塌。

以 T5 Bimanual Material Pouring 为例，论文同时记录抓篮、保持在目标上方、抓量杯、倾倒、返回量杯和返回篮子等子目标，并统计 first-failure distribution。【Paper】 这类诊断解释了“FSR 很低”是因为早期抓取失败，还是因为最后的返回/稳定性失败。

5.4 Generalization

Factor A 的变化包含颜色、材质、尺寸、纹理、类别组合；Factor B 的变化包含位置、姿态、目标区域、物体密度、转盘速度等。T7 特别把 Factor B 定义为动态速度（8/15/30 deg/s），而不是简单的位置移动；T8 的 Factor A 是 mahjong category combination。

【Analysis】 这种 task-defined factor 设计比统一的“随机扰动强度”更贴近真实失败原因，但也意味着不同任务的 Factor A/B 不能直接当作同一个物理量比较。

6. 方法分析

6.1 为什么有效？

【Analysis】 UMI-Bench 的有效性来自三个闭环：

分布闭环：采集端与评测端共享 wrist-view、action schema 和场景元数据。
执行闭环：reset、chunk 执行、状态记录和终止规则被固定，减少“同一个模型换机器就变分数”。
诊断闭环：FSR 告诉我们是否完成，Progress Score 和 first-failure 告诉我们在哪一步失败，Factor A/B 告诉我们是哪类分布偏移。

6.2 核心创新

【Paper】 创新点不是新的视觉编码器或 policy head，而是把 benchmark unit 从“一个任务视频”提升为“数据、场景、执行和评分的可审计 episode”。对于 UMI-style policy，这种接口级统一本身就是实验变量控制。

6.3 与已有方法的本质区别

与 simulation benchmark 相比：UMI-Bench 把摩擦、接触、相机与控制时序留在真实世界。
与 remote-robot benchmark 相比：它强调 local-first 的固定工作站和可重复 reset。
与 dataset release 相比：它规定 checkpoint 如何进入 episode、如何记录 rollout、如何从最终状态评分。
与 policy method 相比：它不主张某个模型更优，而是提供公平比较和失败归因的共同坐标系。

6.4 关键假设

【Paper】 设计隐含了几项假设：固定桌面工作站足以代表第一版 UMI-style tabletop deployment；wrist-view 是策略主要输入；5 cm grid 由人操作员可靠读取但不要求策略视觉识别；最终稳定状态可以作为跨任务评分的共同依据。

【Analysis】 这些假设让协议更可控，却限制了它对移动操作、大工作空间和高频闭环策略的外推能力。

7. 局限性

7.1 作者明确提出的局限

【Paper】 第一版聚焦 tabletop manipulation，不覆盖 mobile manipulation 或大工作空间；约 20k demonstrations 的规模仍小于大型 robot dataset；真实评测仍受操作员 reset、calibration drift、光照和硬件 timing 影响。

7.2 自己分析得到的局限

【Analysis】

每任务 50 条 rollout 对 FSR 的置信区间较宽，尤其在 0%--20% 区间，模型排序可能受偶然事件影响。
Progress rubric 依赖人工判断，跨实验室的评分一致性和 inter-rater reliability 仍需要量化。
Factor A/B 是任务相关定义，跨任务平均泛化差距时必须保留语义，不能简单解释为统一难度。
项目页源码公开了展示层，但训练与评测 runner 尚未形成一个可直接运行的官方代码包，复现成本仍高于“下载后运行”。

8. 启发与研究思考

UMI-Bench 给策略研究的启发是：下一代论文不应只报告一个 aggregate success rate，而应同时发布 scene JSON、reset image、action-space contract、rollout manifest 和失败子目标。这样才能回答“模型真的学会了任务，还是只记住了对象外观/位置”。

对 benchmark 设计者而言，值得继续推进三件事：扩大跨机器人 embodiment 的同协议评测；公开 runner 与自动化评分以降低人工成本；将时间、重试、碰撞和安全停止纳入可选但标准化的诊断指标。

【Analysis】 如果把 UMI-Bench 看成一条 measurement pipeline，那么它最有价值的产物不是某个模型的 55.84 分，而是让“数据分布 → 物理执行 → 失败因素”之间的因果链开始可追踪。

Universal Manipulation Interface 论文精读：让机器人从野外人类示教中学习

Thu, 27 Aug 2026 00:00:00 GMT

1. 论文概述

【Paper】 UMI（Universal Manipulation Interface）要解决的是一个很实际的矛盾：裸手视频足够便携却没有精确动作，传统 teleoperation 有动作却必须把机器人带到每个环境。作者把 GoPro、3D 打印平行夹爪和软指套在手上，直接在家庭、咖啡馆等环境采集“带动作的第一视角数据”，再把同样的摄像头和夹爪装到机器人上执行。

一句话总结

【Analysis】 UMI 的核心不是某个更大的 Policy，而是一层硬件与时序抽象：让训练时的人手数据和推理时的机器人数据在 observation、action 和 latency 三个维度尽量“长得一样”。

核心贡献

【Paper】

设计低成本、可携带的手持 3D 打印夹爪：155° 鱼眼镜头扩大上下文，侧镜提供隐式双目，GoPro IMU 与 ORB-SLAM3 恢复带尺度的 6DoF 轨迹。
用连续夹爪宽度、相对 EE（end-effector）轨迹和相对双臂位姿表达动作，减少精确全局标定与二值开合的限制。
在推理时显式匹配相机、机器人和夹爪的观测/执行延迟，避免动态任务中的时序错位。
将接口与 Diffusion Policy 解耦；同一数据可部署到不同机器人 embodiment，并在野外数据上展示 zero-shot 泛化。

2. 背景与相关工作

【Paper】 Teleoperation（ALOHA、SpaceMouse、VR 等）通常具有较小的 embodiment gap，但采集成本高、场景受限；被动人类视频覆盖广，却缺少可监督的动作并存在人-机器人形态差异。早期手持夹爪工作提高了可携带性，但受限于单目 SfM 的尺度歧义、窄视野和低精度动作，主要停留在 quasi-static pick-and-place。

【Analysis】 UMI 的切入点是把“数据采集接口”和“策略网络”分开优化：先让采集设备提供足够可靠的动作与视觉，再让任意序列 Policy（本文使用 Diffusion Policy，ACT 也可作为替换）学习这些动作。

3. 问题定义

【Paper】 给定手持夹爪在任意环境中的示教序列，学习一个策略，将同步的 RGB、相对 EE 位姿、夹爪宽度和历史 proprioception 映射到未来动作序列。

Observation：腕部 GoPro 鱼眼图像；相对 EE pose；连续 gripper width；双臂时加入 inter-gripper pose。
Action：相对于当前 EE 的一段 SE(3) 轨迹与连续夹爪宽度，而不是机器人 base 坐标系中的绝对位姿。
Embodiment：单臂或双臂，论文展示 UR5 与 Franka FR2 等平台。
Data：单个任务即可在野外多环境采集；cup arrangement 的扩展数据为 3 人、30 个地点、1400 条示教。

4. 方法

4.1 Overall Architecture

【Paper】 数据流为：GoPro 视频与 IMU → 视觉惯性 SLAM、镜像处理和夹爪跟踪 → 与机器人流对齐的相对观测 → Diffusion Policy → 带时间戳的相对 EE/夹爪动作。

4.2 核心模块

手持示教接口

【Paper】 780 g 的 3D 打印平行夹爪成本约 73 美元，GoPro 与配件约 298 美元。软指提供被动顺应性，扳机启动录制；连续 fiducial-marker 跟踪夹爪宽度。双臂只需再增加一个相同单元。

鱼眼与侧镜

155° 原始鱼眼图像保留中心分辨率并扩大场景上下文；直接矫正为针孔图像会把外围拉伸、中心压缩。侧镜在同一帧内生成两个虚拟相机，裁剪后做数字反射并交换左右镜像，令物体朝向在三个视图中一致。

视觉惯性 SLAM

【Paper】 基于 ORB-SLAM3 联合优化视觉和 GoPro 加速度计/陀螺仪约束，在运动模糊或低纹理时短暂维持跟踪并恢复真实尺度；map-then-localize 使不同示教共享场景坐标，从而计算双臂相对位姿。

策略接口

【Paper】 策略输入是同步观测序列，输出未来相对 EE 轨迹与夹爪宽度序列。相对轨迹每个时间步都相对于同一个当前 pose，避免 delta action 的误差累积，也不依赖难以获得的全局坐标。

4.3 关键公式

相对动作可写成：

$$a_{t:t+H}={(T_{t\rightarrow t+i}, g_{t+i})}_{i=1}^{H}$$

其中 $T_{t\rightarrow t+i}\in SE(3)$ 是相对于当前 EE 的目标位姿，$g$ 是连续夹爪宽度，$H$ 是 action horizon。

【Analysis】 与 delta 表达不同，$T_{t\rightarrow t+i}$ 不把前一步预测误差写入下一步参考系；与 absolute 表达不同，它不要求 SLAM 坐标和机器人 base 做高精度全局标定。

延迟补偿可表示为：

$$t_{execute}=t_{obs}+\Delta_{obs}+\Delta_{infer}+\Delta_{act}$$

推理时丢弃时间戳早于 $t_{execute}$ 的动作，仅调度未来动作。观测侧则以最高延迟（通常是相机）为基准，对夹爪和 proprioception 流做线性插值。

4.4 Training

【Paper】 UMI 不绑定特定 Policy；实验统一使用 Diffusion Policy，视觉骨干按任务采用 ResNet 或 CLIP ViT。数据先经过 SLAM 与机器人运动学可行性过滤，再组成同步序列训练。

【Code】 README 的可复现实例是 07_generate_replay_buffer.py 生成 Zarr 数据，随后运行 train.py --config-name=train_diffusion_unet_timm_umi_workspace；单卡测试目标为 RTX 3090 24 GB。训练配置、数据读取和真实机器人 replay 分别位于 configs/、umi/ 与 scripts_real/。

4.5 Inference

【Code】 scripts_real/replay_real_robot.py 通过 predict_action 得到 pose 与 gripper 序列，将动作转换为机器人控制器和夹爪的带时间戳 waypoint；执行循环会考虑帧延迟、命令延迟并丢弃过期动作。

4.6 代码实现对照

【Code】 官方仓库同时提供数据采集、SLAM pipeline（00_process_videos.py 至 07_generate_replay_buffer.py）、Diffusion Policy 训练入口 train.py、相机/夹爪/机器人 latency calibration 脚本以及 UR5、Franka 的 replay/evaluation 脚本。论文将接口描述为硬件无关，而代码通过具体 controller wrapper 和 eval_robots_config.yaml 将相对动作落到每种机器人。

5. 实验

5.1 Experimental Setup

【Paper】 四类任务覆盖 prehensile/non-prehensile、动态、双臂、可变形物体和超长时序；每个任务在随机初始状态评估，并单独做镜头、动作空间、延迟和双臂 proprioception 消融。

5.2 Main Results

【Paper】 主要结果如下：

| 任务 | 示教 | 成功率 | | --- | ---: | ---: | | Cup arrangement（UR5） | 305 | 20/20 = 100% | | Cup arrangement（Franka FR2） | 同一 checkpoint | 18/20 = 90% | | Dynamic tossing | 280 | 105/120 = 87.5% | | Bimanual cloth folding | 250 | 14/20 = 70% | | Dish washing | 258 | 14/20 = 70% |

5.3 Ablation Study

【Paper】 杯子任务中，去掉鱼眼降至 55%（11/20）；delta action 为 80%，absolute action 仅 25%；镜像未经数字反射为 85%，反射并交换左右后达到 100%。投掷任务关闭延迟匹配后由 87.5% 降至 57.5%；去掉双臂相对位姿后折衣由 70% 降至 30%；洗碗中不用 CLIP ViT、从零训练 ResNet-34 为 0/10。

5.4 Generalization

【Paper】 3 名示教者在 30 个地点收集 1400 条杯子示教；在咖啡馆金属桌和流水喷泉两个未见环境、未见杯子上，总成功率 43/60 = 71.7%，测试杯成功率 15/20 = 75%。只用实验室窄域数据的对照在新环境中为 0%，说明多样化 in-the-wild data 而不仅是预训练视觉骨干决定了泛化。

数据效率与跟踪精度也很关键：UMI 在杯子任务上的采集速度超过 SpaceMouse teleoperation 的 3 倍；投掷任务中 SpaceMouse 在 15 分钟内没有产生成功示教。SLAM 平均 ATE 为 6.1 mm / 3.5°，双臂相对位姿 RPE 为 10.1 mm / 0.8°。

6. 方法分析

6.1 为什么有效？

【Analysis】 UMI 同时压低了三个分布差异：腕部摄像头让视觉输入近似一致；相对轨迹消除全局坐标偏差；时间戳补偿让“看到”和“执行”处于同一时刻。这样 Diffusion Policy 面对的是更接近 i.i.d. 的监督信号，而不是用网络容量硬记住系统误差。

6.2 核心创新

【Paper】 创新在系统协同而非单点算法：鱼眼 + 侧镜补上下文/深度，VIO 补尺度/高速鲁棒性，连续夹爪补动作细节，相对表示补 embodiment，latency matching 补实时部署。

6.3 与已有方法的本质区别

【Analysis】 ALOHA 等 leader-follower 把机器人带到示教者身边；UMI 把“机器人末端的观测与动作接口”带到示教者手上。被动视频方法从视觉中猜动作，UMI 直接记录可执行的 6DoF 轨迹，因此能覆盖投掷、双臂折衣和洗碗等任务。

6.4 关键假设

【Analysis】 方法假设目标机器人能到达过滤后的示教轨迹，且能安装相似位置的腕部相机/夹爪；相对表示只在物体位于可达范围内提供 base 移动不变性；镜像、SLAM 和 latency 标定仍需要可靠工程流程。

7. 局限性

7.1 作者明确提出的局限

【Paper】 论文指出直接镜像会混淆视觉编码器，必须数字反射；绝对动作受标定误差影响明显；SLAM 在极端低纹理/强运动模糊时仍可能失败；野外杯子模型在直射阳光下表现较差。动态任务还会受到目标机器人关节速度和可达性的限制。

7.2 自己分析得到的局限

【Analysis】 UMI 把相机和夹爪设计成“近似同构”，这提高迁移性，却也限制了传感器视角与末端形态；跨机器人仍需为每个 embodiment 做运动学过滤、控制器和 latency 标定。1400 条示教的采集与 SLAM 后处理成本也意味着，规模化前仍需更自动的数据质量检测。

8. 启发与研究思考

【Analysis】 UMI 给 VLA/机器人基础模型的启发是：大模型之前，先统一数据接口。相对轨迹可以成为跨 embodiment 的 action token，场景级 map 可提供双臂关系，而 latency metadata 则可作为策略条件输入。下一步值得研究的是把 UMI 的野外数据与语言任务描述结合，并让策略显式预测可达性、失败恢复和执行时间，而不只预测几何 waypoint。

TouchAnything 论文精读：从第一视角视频估计双手触觉

Thu, 27 Aug 2026 00:00:00 GMT

1. 论文概述

【Paper】 《TouchAnything》同时贡献了数据集 EgoTouch、vision-to-touch 基准和一个可处理缺失视角的基线模型。EgoTouch 包含 208 个操作任务、1,891 个 episode、约 20 小时（约 210 万帧）视频，覆盖 1,000 多个物体和室内外场景。每个同步时间点包含头戴第一视角、左右腕部相机、42 个双手 3D 关节，以及两只手的连续压力图。

一句话总结

【Analysis】 论文的关键判断是：第一视角视频缺失的不是更多模型容量，而是被手掌或物体遮挡的接触证据；腕部相机提供了几何上互补的观察，因而可以把“看不见的触觉”变成可学习的视觉监督。

核心贡献

【Paper】

EgoTouch 数据集：首个同时提供多视角视频、双手姿态与真实稠密压力的 in-the-wild 双手交互数据集。
多视角基准：按 seen/unseen object 和 ego、单腕、双腕配置评估 tactile prediction 与 contact detection。
TouchAnything 模型：共享 DINOv2、view embedding、cross-view attention、pose-aware fusion 与 joint-level tactile decoder。
View dropout：训练时随机丢弃腕部视角，使同一模型可以在只有 ego、一个腕部或三视角都可用时推理。

2. 背景与相关工作

【Paper】 Ego4D、EPIC-KITCHENS 等第一视角数据很容易规模化，但通常只有 RGB，缺少接触力、压力分布和抓取稳定性等物理信号。EgoPressure 提供了压力监督，却主要是单手、受控的手-表面交互；OpenTouch 支持野外采集，但仍是单手单视角。GRAB、ARCTIC、OakInk 等数据集拥有双手或物体交互标注，但接触通常由解析模型或 MoCap 推断，不是真实压力。

【Analysis】 对 vision-to-touch 来说，手掌与物体的接触面恰好是第一视角最容易遮挡的区域。EgoTouch 的设计不是简单增加相机数量，而是把相机安装在手腕附近，让新增视角直接观察接触界面，同时保留头戴相机的全局上下文。

3. 问题定义

给定长度为 $T$ 的同步片段和可用视角集合 $\mathcal V\subseteq{V^{ego},V^{wL},V^{wR}}$，模型接收：

Observation：三路 $640\times480$ RGB（训练时缩放到 $224\times224$）和双手 42 个 3D 关节；
Target：每帧两张 canonical hand-shaped $21\times21$ 压力图，记为 $\mathbf M\in\mathbb R^{T\times2\times21\times21}$；
时间采样：默认 $T=8$，帧间隔为 2；
输出范围：压力归一化到 $[0,1]$，左、右手分别输出一个通道。

形式化地，目标是学习：

$$ \hat{\mathbf M}{1:T}=f\theta\left({V_v}{v\in\mathcal V},\mathbf P{1:T}\right),\qquad \mathbf P\in\mathbb R^{T\times42\times3}. $$

其中 $\mathbf P$ 是 WiLoR/Rokoko 来源的双手关节，$f_\theta$ 需要同时利用外观、时序、视角和手部几何。

4. 方法

4.1 Overall Architecture

【Paper】 每个视角经共享 DINOv2 提取 patch token，加入相机类型 embedding 后，在 view-level summary 上做 cross-view attention，再用 gate 加权得到统一视觉特征；时间 Transformer 建模片段动态，手部 pose encoder 与视觉 token 做 joint-to-visual cross-attention，最后由 joint-level decoder 生成左右手压力图。

4.2 核心模块

共享视觉编码与视角身份

输入：每个视角的 $T$ 帧 RGB。
编码器：冻结的 DINOv2 ViT-B/14，输出每帧 $N=256$ 个 patch token、维度 $D=768$。
View embedding：为 ego、wrist_left、wrist_right 各学习一个 $D$ 维向量并加到 token 上。
作用：共享 backbone 保持参数效率，view embedding 让模型知道 token 来自头部还是哪只手腕。

【Code】 src/models/vision_encoder.py 调用 forward_features 并取 x_norm_patchtokens；configs/touchanything_with_glove_aug_wilor.yaml 将 freeze 设为 true，因此 DINOv2 不参与反向传播。

Cross-view attention 与 gated fusion

【Paper】 每路 patch 先做平均池化得到 view summary。两个 Transformer layer 在 summary 之间交换信息，然后 view_gate 输出每个视角的标量权重，softmax 后对原始 patch 特征加权求和。这样腕部视角可以补足 ego 被遮挡的接触区域，质量较差的视角也不会被固定等权使用。

【Code】 MultiViewEncoder 的 _apply_view_dropout 始终保留 ego，并以配置概率独立丢弃腕部视角；只有一个活动视角时直接跳过 cross-view Transformer。

时序建模

【Code】 TemporalTransformer 对每个空间 patch 沿时间做 attention，再对每个时间点的 patch 做 spatial attention，最后经过 MLP 和 LayerNorm。这个 divided space-time 结构让模型同时捕捉接触发生/解除的时间变化与局部空间关系。

Pose encoder 与 pose-aware fusion

输入：$(T,42,3)$ 双手关节。
Pose encoder：每个 3D 关节先由 $3\rightarrow384\rightarrow768$ 的 MLP 投影，加可学习 joint position embedding，再由 2 层 Transformer 建模关节间关系。
Fusion：每个 joint feature 作为 query，访问时间建模后的视觉 patch；每层包含 joint-to-visual cross-attention、joint self-attention 和 FFN。
为什么需要：压力图位于手部坐标系，joint-level token 比一个全局 pose 向量更容易把视觉证据绑定到具体手指/掌部。

【Code】 pose_encoder.output_mode='per_joint'，fusion.type='cross_attention'，对应 (B,T,42,768) 的 joint features。

Joint-level tactile decoder

【Code】 JointLevelTactileDecoder 将 42 个 joint feature 投影到 128 通道，按左右手拆分；每个关节通过可学习 soft weights scatter 到 $8\times8$ 网格，再经过卷积 refinement、反卷积和双线性插值生成 $21\times21$ 压力图。左右手分别通过同一结构输出一个 sigmoid 通道。

4.3 关键公式

多视角融合

设第 $v$ 个视角的 patch 特征为 $F_v\in\mathbb R^{N\times D}$，summary 为 $s_v=\frac1N\sum_iF_{v,i}$。Cross-view Transformer 得到 $\tilde s_v$，gate 计算：

$$ \alpha_v=\operatorname{softmax}v(g(\tilde s_v)),\qquad F=\sum{v\in\mathcal V}\alpha_vF_v. $$

$g$ 是两层 MLP，$\alpha_v$ 是动态视角权重。它表达的不是“腕部永远更重要”，而是“当前片段中哪个视角更可靠”。

Contact-aware 重建损失

$$ \mathcal L=\lambda_{mse}\mathcal L_{MSE}+\lambda_{l1}\mathcal L_{L1}+\lambda_{tv}\mathcal L_{TV}. $$

【Paper】 默认 $\lambda_{mse}=1.0$、$\lambda_{l1}=0.5$、$\lambda_{tv}=0.01$。当真实压力 $M_{i,j}>0.1$ 时，像素权重设为 3.0，否则为 1.0：

$$ w_{i,j}=1+2,\mathbf1[M_{i,j}>0.1]. $$

加权 MSE/L1 防止稀疏压力图导致模型学成全零输出；TV 项为相邻网格施加空间平滑约束。

Volumetric IoU

$$ \operatorname{IoU}{vol}=\frac{\sum{i,j}\min(M_{i,j},\hat M_{i,j})}{\sum_{i,j}\max(M_{i,j},\hat M_{i,j})}. $$

它同时考察接触位置和压力大小；Contact IoU 则先把压力阈值化，只衡量接触区域重叠。

4.4 Training

【Paper】 数据按 episode 划分为 80%/10%/10%，避免相邻帧泄漏；训练样本是三路同步视频片段、42 个关节和两张压力图。使用 AdamW（$5\times10^{-5}$、weight decay 0.05），cosine schedule，10 个 warmup epoch。

【Code】 配置脚本使用 6 GPU、每卡 batch size 16、梯度累积 3（有效 batch size 288），默认训练配置为 100 epochs；论文实验描述为 25 epochs。该差异应以具体 checkpoint 的启动参数为准，不能把两者混写成同一个实验设置。代码还以 0.2 概率做 glove appearance augmentation，以减轻手套颜色偏差。

4.5 Inference

推理时不需要额外的 tactile 输入。调用者通过 views 字典提供任意视角子集，ego-only、ego+wrist_left 和全视角走同一网络；模型输出 (B,T,2,21,21) 压力图，再按阈值计算接触指标或渲染热力图。

4.6 代码实现对照

【Code】 官方仓库的主要对应关系如下：

| 论文概念 | 官方实现 | | --- | --- | | 共享 DINOv2 | src/models/vision_encoder.py | | 多视角、view dropout、cross-view gate | src/models/multi_view_encoder.py | | 时空 Transformer | src/models/temporal_transformer.py | | 42 关节 pose Transformer | src/models/pose_encoder.py | | joint-to-visual fusion | src/models/fusion.py 的 CrossAttentionFusion | | 压力图 decoder | src/models/pose_decoder.py 的 JointLevelTactileDecoder | | 加权重建与 TV | src/losses/tactile_loss.py | | HDF5 数据读取 | src/data/touchanything_dataset.py |

【Analysis】 论文主文的结构图是概念层面的描述，代码则明确了实现细节：patch token 数为 256、cross-view 层数为 2、temporal 层数为 3、decoder 中间网格为 $8\times8$。这些细节决定了模型的空间归纳偏置，但不是论文声称的额外算法贡献。

5. 实验

5.1 Experimental Setup

【Paper】 EgoTouch 使用头戴 RGB、双腕鱼眼相机、Rokoko Smartglove、16×16 压力手套和 HTC Vive Tracker，所有流在 30 Hz 时间线上对齐。五类环境为 Home、Workbench、Office、Retail 和 Outdoor。测试集同时报告 seen-object 与 unseen-object，后者检验新物体实例上的迁移。

主要指标：

Temporal Accuracy：接触出现/消失的帧级一致性；
Contact IoU：压力阈值化后的时空接触区域重叠；
Volumetric IoU：把压力大小也纳入 IoU；
MAE：归一化压力的像素平均绝对误差。

5.2 Main Results

【Paper】 Overall 结果如下（seen / unseen object）：

| 视角 | C.IoU | V.IoU | MAE | | --- | ---: | ---: | ---: | | Ego-only | 0.4792 / 0.4396 | 0.4311 / 0.3743 | 0.0456 / 0.0615 | | Ego + wL | 0.5030 / 0.4499 | 0.4575 / 0.3856 | 0.0437 / 0.0601 | | Ego + wR | 0.5024 / 0.4497 | 0.4572 / 0.3854 | 0.0437 / 0.0602 | | Ego + wL + wR | 0.5030 / 0.4496 | 0.4575 / 0.3852 | 0.0436 / 0.0601 |

相对 ego-only，全视角在 seen object 上带来 Contact IoU +5.0%、Volumetric IoU +6.1%；unseen object 上分别为 +2.3% 和 +2.9%。Temporal Accuracy 的提升较小且并不总是单调，说明腕部视角主要改善“在哪里接触、压力多大”，而不是单纯提高接触/非接触分类。

【Analysis】 单个腕部相机已经获得大部分收益，意味着真正关键的是至少一个能看到接触界面的视角；第二个腕部视角在更强的双手遮挡下才提供额外信息。

5.3 Ablation Study

【Paper】 View dropout 消融显示，未使用 dropout 时，模型从全视角切换到 ego-only 的 Volumetric IoU 相对下降 27.20%；使用 $p=0.3$ 后下降仅 5.78%。同时，全视角性能几乎不受损。

数据规模从 25%、50%、75% 增加到 100% 时，Contact IoU 和 Volumetric IoU 持续提高，没有明显饱和。【Analysis】 这说明当前瓶颈仍是交互多样性和覆盖范围，而不是已经足够强的 decoder。

5.4 Generalization

【Paper】 在 unseen object 上，多视角仍然有效，但增益比 seen object 小；Workbench 是最难的场景之一，Outdoor 的 Temporal Accuracy 也出现新增视角后的轻微下降。失败案例中，黑色手套与黑色短裤颜色接近，模型在尚未接触的第一帧幻觉出左手压力。

【Analysis】 这个结果把泛化问题拆成两类：腕部相机解决几何遮挡，却不能消除材质/颜色造成的视觉混淆；view dropout 解决传感器缺失，却不能替代跨物体的物理建模。

6. 方法分析

6.1 为什么有效？

互补几何证据：腕部视角看到掌面接触区，直接减少 ego-only 的不可观测区域。
姿态提供坐标系：42 个关节把压力预测从“图像像素”约束到左右手的结构位置。
接触加权损失：稀疏压力图中非接触像素占多数，3× contact weight 抑制全零捷径。
可变视角训练：随机缺失视角迫使模型学习可组合的表示，而不是记住固定三相机模板。

6.2 核心创新

【Paper】 最实质的创新是数据采集范式和问题设定：把第一视角、双腕视角、双手姿态与真实压力放在同一时间轴上，并把“缺失视角下的触觉估计”定义为基准。模型本身是一个清晰、可复现的 baseline，创新重点不在新的 backbone。

6.3 与已有方法的本质区别

| 路线 | 监督/视角 | 主要缺口 | TouchAnything 的补充 | | --- | --- | --- | --- | | Ego4D / EPIC-KITCHENS | 大规模 ego RGB | 无真实触觉 | 加入压力与双手姿态 | | EgoPressure | 单手 ego + pressure | 场景与手数受限 | 双手、多环境、双腕视角 | | OpenTouch | 野外单手 tactile | 缺少腕部互补视角 | 直接观察接触界面 | | MoCap/解析接触数据 | 解析或估计接触 | 非真实压力 | 连续压力图监督 |

6.4 关键假设

头戴 ego view 始终可用，只有 wrist view 会缺失；
训练与部署使用相同的压力手套/网格定义；
WiLoR 或 Rokoko 能提供足够稳定的 42 关节；
21×21 canonical grid 能表达不同手型和接触区域的空间对应；
视觉中存在可学习的外观线索来推断压力，极端遮挡或低对比度下仍可能不可辨识。

7. 局限性

7.1 作者明确提出的局限

【Paper】 当前数据全部来自触觉手套，可能带来手套外观偏差，限制裸手触觉估计。数据规模消融尚未饱和，模型仍然 data-hungry。当前 benchmark 主要评估 tactile estimation，尚未直接验证接触感知操控、抓取稳定性或机器人策略学习。

7.2 自己分析得到的局限

【Analysis】

传感器域差异：16×16 原始阵列被重映射为 21×21 网格，插值和手型 canonicalization 可能抹平细小峰值。
时序窗口有限：默认 8 帧、间隔 2 只覆盖短时接触，难以表达长程任务阶段或先接近后施力的因果关系。
压力与动作的闭环尚未建立：模型预测触觉，但没有把预测结果反馈给机器人控制器；因此还不能证明 tactile prediction 会提升真实操作成功率。
单一阈值假设：$0.1$ contact threshold 对不同物体、手指和传感器噪声未必一致。
相机质量与同步成本：三路相机、追踪器和两类手套提升了监督质量，也提高了真实部署的佩戴、标定与同步成本。

8. 启发与研究思考

【Analysis】

从触觉估计到触觉基础模型：EgoTouch 的规模仍小于纯视觉数据，但它提供了“视觉—姿态—压力”三模态对齐，可用于预训练 contact-aware encoder，再迁移到机器人策略。
用不确定性处理不可观测性：遮挡下的压力并非总能由 RGB 唯一决定。未来可以输出 pressure distribution 或 confidence，而不是单张确定性 heatmap。
视角选择可以主动化：当前 gate 只是被动加权。机器人可根据预测不确定性主动调整腕部相机或手腕姿态，形成 active perception。
从人手到机器人手：canonical hand grid 为跨 embodiment 对齐提供了接口，但仍需要手部拓扑、接触面积和执行器力矩之间的 retargeting。
最终指标应回到控制：更高 IoU 不一定意味着更好的抓取。下一步应把预测压力用于 grasp stability、contact-rich planning 和 tactile-enhanced world model，并报告真实机器人成功率。

SONIC 论文精读：自然人形机器人全身控制的规模化动作跟踪

Thu, 27 Aug 2026 00:00:00 GMT

1. 论文概述

【Paper】 SONIC（Supersizing mOtion tracking for Natural humanoId Control）提出一个反直觉但很实用的观点：humanoid 的可扩展基础任务不一定是为“走路”“起身”等行为分别设计 reward，而可以是逐帧监督的 physics-based motion tracking。作者在 Unitree G1 上训练 42M 参数策略，使用 100M+ 帧（约 611 小时、50 Hz）动作数据和 21k GPU 小时，展示从动作跟踪到交互规划、VR/视频遥操作以及 GR00T VLA 全身操作的一体化链路。

一句话总结

【Analysis】 SONIC 的真正产品形态不是一个“会模仿动作的策略”，而是一个把不同动作来源压到同一 64 维 token 接口的运动操作系统：上游可以是规划器、SMPL、VR 或 VLA，下游始终是同一个 G1 控制器。

核心贡献

【Paper】

把 motion tracking 作为可 scaling 的 foundation task。 数据从 4M 扩到 100M 帧、模型从 1.2M 扩到 42M 参数、训练从 2k 扩到 21k GPU 小时，test-content 和 test-repetition 的成功率都稳定上升。
Universal control policy。 三个专用 encoder（robot、human、hybrid）映射到共享 latent，经 Finite Scalar Quantization（FSQ）得到 universal token，再由 robot control decoder 输出关节目标；robot motion decoder 提供重建辅助监督。
Generative kinematic motion planner。 在同一动作数据上学习 latent motion in-betweening，按用户速度、方向、风格和技能 keyframe 实时生成 0.8–2.4 秒参考片段。
统一下游接口。 视频、文本、音乐经 GEM 生成的人体动作、VR 遥操作和 VLA 都可以通过同一 token 空间驱动 G1；VLA 在五类 loco-manipulation 任务上平均成功率为 75%。

2. 背景与相关工作

【Paper】 传统 humanoid 控制通常是小型 MLP + 手工 reward：每个新技能都要重新设计速度、姿态、接触和稳定性项。AMP、ASE、CALM 等 adversarial imitation 虽然共享一个 imitation objective，但当动作分布变得多样时，判别器的学习信号容易变弱并出现 mode collapse。

SONIC 选择 motion tracking，是因为每一帧都有明确的参考姿态，监督密度不会随着行为类别增加而稀释。动作捕捉领域已经积累了步行、舞蹈、运动、战斗和物体交互数据，因此“扩大数据和计算”比为每种行为编写 reward 更直接。

【Analysis】 这也解释了 SONIC 与单任务 locomotion specialist 的关系：SONIC 并没有牺牲稳定性来换多样性。论文中的 OpenHomie 对照显示，在 0–5 m/s 速度跟踪测试中，SONIC survival rate 为 98.5%，而专用控制器为 43.0%。

3. 问题定义

【Paper】 目标是在 Unitree G1（29 个 actuated joints）上学习策略 π(a_t | s_t)，跟踪来自机器人、人体或混合接口的未来动作命令。

| 项目 | SONIC 定义 | | -------------- | --------------------------------------------------------------------------------------------------------------------------- | | Observation | 10-step proprioception history：关节位置/速度、root angular velocity、root-frame gravity、上一动作；全部在 local frame 表达 | | Motion command | g_r robot motion、g_h SMPL human motion、g_m hybrid（稀疏头手 keypoint + 机器人下肢） | | Action | 目标关节位置，由每个关节的 PD controller 跟踪 | | Robot | Unitree G1，29 DoF；仿真 Isaac Lab / MuJoCo，真实部署 Jetson Orin | | Dataset | 约 700 小时原始 mocap；过滤不可执行片段后 611 小时、317,189 clips、100M+ frames | | Evaluation | test-content（182 个训练未见子类）、test-repetition（已见子类的新 take）和外部 PHUMA |

成功判定不是全局轨迹误差，而是 root height 或 end-effector height 偏离参考超过 0.25 m 即失败；MPJPE-L 在 14 个 body links 上计算，强调局部姿态与物理稳定性。

4. 方法

4.1 Overall Architecture

【Paper】 robot、human、hybrid 三类 motion command 分别编码，经过 FSQ quantizer 得到共享 universal token；control decoder 结合 token 与 proprioception 输出关节目标，motion decoder 重建 robot motion。不同应用只切换上游 motion generator 或 encoder，不重新训练控制器。

4.2 核心模块

Proprioception 与 motion encoder

输入： actor 可获得的 noisy proprioception 历史和一个 motion command。
Robot encoder E_r： 编码未来 F_r 帧机器人关节位置/速度。
Human encoder E_h： 编码未来 F_h 帧 3D human joints（SMPL）。它隐式学习 human-to-robot retargeting，而不是在运行时显式求逆运动学。
Hybrid encoder E_m： 当前帧的头/手稀疏 keypoint 加未来机器人下肢动作，适配三点 VR 遥操作。

三个 encoder 都是 MLP，但输入 schema 不同；多帧 lookahead 为策略提供 anticipatory context。

FSQ universal token

【Paper】 编码后的 latent 通过 FSQ 离散化为两个 token，每个 token 32 维、每维 32 levels，展平后是 64 维 universal token。相比 VQ-VAE，FSQ 不需要可坍缩的 codebook，更适合 33 类、8,447 子类的高多样性动作分布。

Control decoder 与 motion decoder

D_c(z, s_p) → a_t：将 token 和 proprioception 解码成目标关节位置，供 PD 控制器执行。
D_r(z) → ĝ_r：只依赖 token 重建 robot motion；对 human token 而言，这个分支就是训练期的隐式 retargeting 监督。

【Code】 仓库 gear_sonic/trl/modules/universal_token_modules.py 的 UniversalTokenModule 实现了 encoder → FSQ → decoder 流程，支持 g1、smpl、teleop 命名 encoder、可选 latent residual，以及 29 DoF body / 14 DoF hand 的层级动作拆分。默认配置 all_mlp_v1.yaml 将 num_fsq_levels=32、fsq_level_list=32、max_num_tokens=2 写死为 64 维 token。

Kinematic motion planner

【Paper】 planner 把当前 pose 和目标 keyframe 之间的 in-betweening 变成 latent token 预测。输入被下采样 4 倍，网络用 masked-token prediction 迭代确定高置信度 token；关键帧可以来自速度/方向/风格命令，也可以来自 squatting、crawling、boxing 等技能片段。root 的 x、y 位移与 heading 由 critically damped spring 生成，避免瞬时反向或过大速度命令。

4.3 关键公式

Motion tracking MDP

$$ \mathcal{M}=\langle\mathcal{S},\mathcal{A},\mathcal{T},\mathcal{R},\gamma\rangle,\qquad r_t=\mathcal{R}(s^p_t,s^g_t)+\mathcal{P}(s^p_t,a_t) $$

s^p_t 是 proprioception，s^g_t 是 motion command；R 同时约束 root、body-link、末端位姿和速度误差，P 惩罚不平滑或不稳定动作。策略输出目标关节位置，低层 PD 完成力矩级跟踪。

Universal token 的联合损失

$$ \mathcal{L}=\mathcal{L}{\mathrm{PPO}}+\mathcal{L}{\mathrm{recon}}+\mathcal{L}{\mathrm{token}}+\mathcal{L}{\mathrm{cycle}} $$

$$ \mathcal{L}{\mathrm{recon}}=\sum{x\in{r,h,m}}\left|D_r(z_x)-g_r\right|_2^2 $$

$$ \mathcal{L}_{\mathrm{token}}=|z_r-z_h|_2^2+|z_r-z_m|_2^2+|z_m-z_h|_2^2 $$

$$ \mathcal{L}_{\mathrm{cycle}}=\left|E_r\big(D_r(z_h)\big)-z_r\right|_2^2 $$

z_r,z_h,z_m 分别是三类 encoder 的 token。L_recon 让不同输入都能还原同一个 robot motion，L_token 直接拉近跨模态 token，L_cycle 约束 human→robot→robot encoder 的闭环一致性。FSQ 的梯度通过 straight-through estimator 传回 encoder；PPO 更新 encoder、quantizer、control decoder，辅助损失更新 encoder 和 motion decoder。

Critically damped root spring

$$ x(t)=x_T-\left[x_T-x_0+\left(v_0+\frac{c}{2}(x_T-x_0)\right)t\right]e^{-\frac{c}{2}t} $$

x_0,v_0 是当前状态，x_T 是目标 keyframe，c 是阻尼系数。论文对 pelvis x、y 和 heading 使用不同 c，将速度命令转换为约 1 秒后的平滑目标。

4.4 Training

【Paper】 训练在 Isaac Lab 中用 PPO，critic 可以看到 privileged simulator state，而 actor 只看到部署时可用的 noisy observation。每个 rollout 同时产生三类 command 的 token，并联合优化四项损失；domain randomization 覆盖物理参数、外部 push 和 motion command 扰动。数据采样采用按固定时长分 bin、按 capped failure rate 加权的 adaptive sampler。

【Code】 config/trainer/trl_ppo_aux.yaml 与 UniversalTokenModule 的 auxiliary-loss 接口将 PPO 和 token/reconstruction/cycle loss 放到一个 trainer；config/exp/manager/universal_token/all_modes/sonic_release.yaml 则组合 G1、teleop、SMPL 三种 encoder。代码仓库还提供 train_agent_trl.py、checkpoint 配置和 Isaac Lab evaluation 脚本。

4.5 Inference

【Paper】 运行时以 50 Hz 执行 policy、500 Hz 下发命令、100 Hz 接收操作者输入、10 Hz 运行 planner。planner 每 100 ms 或命令变化时重规划，生成 0.8–2.4 秒参考片段；control decoder 每次读取最新 proprioception 和 token。Jetson Orin 上 policy forward 为 1–2 ms，motion generation 约 12 ms。

【Code】 C++ TensorRT 部署位于 gear_sonic_deploy，Python 启动器是 gear_sonic/scripts/launch_inference.py。默认 checkpoint 需要 200 ms 左右的 10-frame lookahead；仓库还提供 80 ms、4-frame 的 low-latency teleoperation checkpoint。VLA 输出的 64 维 token 可与手部动作拼成 meta action，再由控制器解码。

4.6 代码实现对照

| 论文概念 | 官方代码位置 | 对照结论 | | ------------------------- | ----------------------------------------------------------------------------------- | ---------------------------------------------------------------------- | | 多 encoder + FSQ | gear_sonic/trl/modules/universal_token_modules.py | UniversalTokenModule 明确实现命名 encoder、FSQ 和多 decoder | | 32×32×2 token | config/actor_critic/universal_token/all_mlp_v1.yaml | 两个 token、每 token 32 维，展平为 64 维 | | PPO + auxiliary losses | trl/trainer/ppo_trainer_aux_loss.py、trl/losses/token_losses.py | PPO 与 recon/token/cycle 辅助目标联合训练 | | observation/action schema | config/manager_env/observations/、config/manager_env/commands/terms/motion.yaml | 命令按 tokenizer observation 组装，action 可拆 body/hand | | 部署 | gear_sonic_deploy/、gear_sonic/scripts/launch_inference.py | TensorRT/C++ 控制环与 Python VLA/相机接口分离 | | checkpoint | README Model Card、download_from_hf.py | 默认、low-latency、SONIC v1.1 三种 G1 checkpoint；论文实验对应最大模型 |

【Analysis】 当前仓库比论文更像一个持续演进的工程平台，包含 checkpoint 兼容、VLA launcher、数据采集和多 embodiment 配置；不能把 README 中后来发布的 v1.1 或 low-latency 结果倒推为论文实验结果。

5. 实验

5.1 Experimental Setup

【Paper】 训练数据覆盖 33 个大类、8,447 个子类；test-content 的子类与训练完全不重叠，test-repetition 只更换表演者和 take。真实世界评估使用 124 条动作序列；VLA 任务按严格 binary success 统计，每任务 10–20 次试验。

5.2 Main Results

【Paper】

数据从 4M 扩到 100M 帧、模型从 1.2M 扩到 42M 参数、compute 从 2k 扩到 21k GPU 小时，success rate 沿三条轴均显著提高；42M 模型在 test-content 达到 99.6% success、23.8 mm MPJPE-L。
与 BeyondMimic、Any2Track、GMT 比较时，SONIC 在 test-content / test-repetition / PHUMA 上分别达到 98.5% / 99.2% / 97.2% success；在 test-content 上 MPJPE-L 为 23.7 mm，比 BeyondMimic 的 40.9 mm 低约 42%。
与 OpenHomie 速度 specialist 对比，SONIC survival rate 为 197/200（98.5%），OpenHomie 为 86/200（43.0%），并在约 4 m/s 前保持稳定。
124 条动作的真实部署成功率为 123/124（99.2%），整体 MPJPE-L 为 25.7 mm；脚部 sim-to-real gap 最大（53.7 mm real vs. 29.0 mm sim）。

5.3 Ablation Study

【Paper】

| 配置 | test-content SR | MPJPE-L | | -------------- | --------------: | ------: | | FSQ | 99.3% | 26.6 mm | | VQ-VAE | 98.7% | 35.3 mm | | FSQ-16-16 | 96.9% | 35.7 mm | | FSQ-32-32 | 98.8% | 27.5 mm | | Robot encoder | 99.6% | 23.8 mm | | Human encoder | 99.6% | 24.4 mm | | Hybrid encoder | 99.2% | 26.5 mm |

FSQ 比 VQ-VAE 少 8.7 mm MPJPE-L；增加 token dimension 的收益大于单纯增加 quantization levels。移除 L_token 与 L_cycle 后跨 encoder divergence 增加约 8 倍，说明共享 token 不是自然出现的，需要显式一致性损失。

VLA action-space ablation 更直接：universal token + hands 的平均成功率为 68%，显式 SMPL pose + hands 只有 27%；soda-can-to-trash-can 从 0% 提升到 60%。

5.4 Generalization

【Paper】 泛化有三层：未见子类（test-content）、已见类别的新表演（test-repetition）和不同 retargeting pipeline 的 PHUMA。三者都保持高成功率，说明策略学到的是局部人体运动与物理稳定性先验，而非记忆固定轨迹。

【Analysis】 不过 baseline 使用了不同数据集和 retargeting pipeline，因此跨方法数字同时混入了数据规模、数据质量和评测协议差异；论文也明确提醒这不是严格 data-matched benchmark。

6. 方法分析

6.1 为什么有效？

【Analysis】 首先，逐帧目标姿态让每个时间步都有低方差监督，数据增加不会像 adversarial discriminator 那样把任务变成“区分整个动作分布”。其次，10-step proprioception history 与 future reference 让策略能提前准备接触和支撑脚。最后，FSQ token 把 VLA 的动作预测从连续高维 SMPL 姿态变成结构化 latent；小误差不会直接破坏整条运动学链。

6.2 核心创新

训练任务的 scaling 设计：把 humanoid control 的扩展瓶颈从 reward engineering 转移到数据、模型和 GPU 计算。
Universal token interface：一个离散瓶颈同时服务机器人、人体和 hybrid command，并为 VLA 提供稳定 action space。
Tracking + planner 的分层组合：planner 负责“想做什么”和连续过渡，tracker 负责物理执行；两者共享动作分布而不需要每个技能重训。
全身 loco-manipulation：token 覆盖脚和手，使 VLA 能在一个 action sequence 中同时抓取、行走、踩踏和投掷。

6.3 与已有方法的本质区别

【Analysis】 SONIC 不是“更大的 locomotion policy”，也不是传统 retargeting + tracking 的简单串联。它把 retargeting 变成训练期的 latent alignment，把 planner 变成可替换的上游，把动作空间变成跨接口共享的 token；因此新增应用主要是接入新的 motion generator，而非修改控制器 reward。

6.4 关键假设

人类 mocap 经 GMR/PyRoki retarget 后仍保留足够多的可执行运动信息。
未来若干帧 reference 和 10-step proprioception history 足以应对接触与平衡的短期不确定性。
不同 encoder 的“同一动作”可以被配对，因而 L_token/L_cycle 有明确监督。
64 维 FSQ token 的容量足够表达 33 类、8,447 子类动作，而不牺牲控制精度。

7. 局限性

7.1 作者明确提出的局限

【Paper】 论文没有对长时间运行的安全性和能耗给出形式化分析。极端外力或非常动态的动作仍可能导致失衡；domain randomization 和 spring filter 只能缓解而不能保证安全。

7.2 自己分析得到的局限

【Analysis】

100M 帧和 21k GPU 小时的训练成本仍然很高，数据清洗、retargeting 和多演员覆盖也是隐性工程门槛。
成功率定义偏向“是否摔倒/是否偏离”，并不等价于接触力、能耗、舒适度或任务完成质量。
real-world 足部误差明显高于上肢，说明脚端接触和地面模型仍是 sim-to-real 的主要薄弱点。
VLA 实验训练轨迹数量从 200 到 3,900 不等，且每个任务只有 10–20 次测试；跨机器人、跨场景的统计稳定性尚未证明。
共享 token 依赖动作配对和固定 embodiment decoder；换机器人形态时，是否能保留同一 token 语义仍需额外实验。

8. 启发与研究思考

【Analysis】 SONIC 给出的研究路线是“先学会稳定地执行人类动作，再在其上学习意图和任务”。这比让 VLA 直接回归每个关节的连续姿态更模块化：高层模型只需预测 token，低层控制器负责物理可行性。

对后续工作，我认为有三个值得验证的方向：

Token 的跨 embodiment 预训练。 如果 token 真的是运动语义而不只是 G1-specific latent，可以冻结 token space，只替换 robot decoder。
安全与能耗进入 universal objective。 在保持逐帧 tracking supervision 的同时加入接触风险、温升和能耗约束，可能比事后 safety filter 更有效。
从动作跟踪到闭环世界模型。 planner 目前主要在运动空间 in-between；若再加入视觉状态和物体 affordance，token 可以成为连接“身体如何动”和“任务需要什么”的中间语言。

SIMPLER 论文精读：用仿真可靠评测真实机器人操作策略

Thu, 27 Aug 2026 00:00:00 GMT

1. 论文概述

一句话总结

【Paper】 论文提出 SIMPLER（Simulated Manipulation Policy Evaluation for Real Robot Setups），将“在真实世界训练的机器人操作策略”放入为 Google Robot 与 WidowX/BridgeData V2 定制的仿真环境中评测。作者不要求做完整 digital twin，而是优先修正最影响评测相关性的 control gap 与 visual gap，并通过配对 sim-real 实验证明：仿真成功率能够较好地反映真实策略的相对排名、分布偏移敏感性和新型纹理鲁棒性。

核心贡献

【Paper】

提出一个面向真实机器人 setup 的可复用仿真评测套件，覆盖 RT 系列 Google Robot 与 BridgeData V2 的 WidowX 任务。
用离线轨迹做 controller system identification，减少相同动作在 sim 与 real 中产生的末端轨迹差异。
提出 Visual Matching：真实背景绿幕合成 + 物体/机器人前景纹理匹配；同时比较 Variant Aggregation 这一随机化替代方案。
引入 Mean Maximum Rank Violation（MMRV），与 Pearson correlation 一起衡量“仿真是否能正确传递策略改进信号”。
开源环境、策略推理、评测脚本和新环境构建流程，使其他研究者可以用 Gym API 批量评测自己的策略。

【Analysis】 论文真正改变的是评测目标：仿真不是用来证明“这一条 rollout 和真实 rollout 完全相同”，而是用来回答“策略 A 在现实中优于策略 B 时，仿真是否也会给出 A > B”。这个相对排序目标让环境逼真度从“越高越好”变成“对决策信号是否有用”。

2. 背景与相关工作

【Paper】 泛化操作策略覆盖的任务、物体和 embodiment 越来越多，但真实评测具有三个瓶颈：每次 rollout 需要占用实体机器人；不同实验室的相机、灯光和工作台难以复现；大规模 checkpoint 或数据增强消融的比较成本随任务数线性增长。现有 benchmark 往往固定硬件或只覆盖单一技能，难以服务 RT-1、RT-2-X、RT-1-X、Octo 这类 generalist policy。

仿真 benchmark（如 SAPIEN、ManiSkill、Isaac Sim、RLBench）能提供廉价、可控、可并行的场景，但多数工作在仿真中训练并在仿真中测试，不能保证“真实数据训练的 policy”在其中保持相同的行为。导航领域通常构造完整房间 digital twin；操作任务还要复现抓取接触、关节摩擦、物体材质和动态遮挡，完全复制现实的成本更高。

【Analysis】 SIMPLER 与传统 sim-to-real 的方向相反。它不问“sim 训练的策略能否迁移到 real”，而问“real 训练的策略能否在一个廉价 sim 中被可靠筛选”。因此 domain randomization 不再是训练时增加鲁棒性的手段，而变成评测时观察策略行为模式的对照组。

3. 问题定义

【Paper】 给定若干策略 $\pi_1,\ldots,\pi_N$，真实评测得到成功率 $R_i$，仿真评测得到 $R_{\mathcal{S},i}$。目标不是要求 $R_i=R_{\mathcal{S},i}$，而是要求二者在策略集合上的相对关系一致：如果 $R_i>R_j$，则应有 $R_{\mathcal{S},i}>R_{\mathcal{S},j}$。

一次 rollout 的观测是 RGB 图像和语言任务指令；动作使用 7 维末端执行器控制：世界坐标系平移增量、轴角旋转增量和夹爪开合。Google Robot 默认控制频率为 3 Hz，Bridge/WidowX 为 5 Hz；仿真内部约 500 Hz。

评测指标

Pearson 相关系数衡量线性一致性：

$$ r=\frac{\sum_i (R_i-\bar R)(R_{\mathcal{S},i}-\bar R_\mathcal{S})} {\sqrt{\sum_i(R_i-\bar R)^2}\sqrt{\sum_i(R_{\mathcal{S},i}-\bar R_\mathcal{S})^2}}. $$

【Paper】 Pearson $r$ 的问题是：它只看线性拟合，且对真实成功率很接近的一组策略非常敏感。论文因此定义两两策略的 rank violation：

$$ \operatorname{RV}(i,j)=|R_i-R_j|,\mathbf{1}\left[(R_{\mathcal{S},i}>R_{\mathcal{S},j})\ne(R_i>R_j)\right], $$

并取每个策略最严重的错误排序，再对策略求平均：

$$ \operatorname{MMRV}(R,R_\mathcal{S})=\frac1N\sum_{i=1}^N\max_j\operatorname{RV}(i,j). $$

MMRV 范围为 $[0,1]$，越低越好；它把“排错了多少”与“被排错的两个策略在现实中差多少”同时纳入。

4. 方法

4.1 Overall Architecture

SIMPLER 的数据流可以压缩成一句话：从真实 demo 或评测视频抽取 setup 信息，建立 SAPIEN/ManiSkill 环境；用 SysID 校准机器人控制器，用 Visual Matching 或 Variant Aggregation 生成观测；把 policy action 按真实机器人接口执行，统计每个任务和策略的成功率。

4.2 核心模块

Control Gap：离线系统辨识

【Paper】 输入是一小批真实演示轨迹中的动作 ${\mathbf a_i}$、末端位姿 ${(\mathbf x_i,R_i)}$ 和初始仿真控制器参数。输出是关节 PD stiffness 与 damping，使同一串开环动作在仿真中产生接近真实的 6D 末端轨迹。作者使用三轮 simulated annealing，每轮缩小搜索范围。

【Analysis】 这一步不是把物理世界完全辨识出来，而是对评测最敏感的“动作到末端运动”的闭环接口做校准。对于基于视觉的策略，几厘米的抓取偏差可能就会把成功变成失败，因此控制 gap 往往比物体质量的细节更优先。

Visual Matching：让策略看到相似的画面

【Paper】 Visual Matching 包含两个阶段：

Green screening：用在线 inpainting 从真实视频首帧移除机器人和前景物体；仿真渲染得到前景 segmentation mask $M$，再合成 $$I'=M\odot I_{\text{sim}}+(1-M)\odot I_{\text{real}}.$$
Texture matching：对差异最大的物体，先在真实图像中分割并对齐仿真姿态，再把真实 RGB texture unproject 到仿真 mesh；机器人 link 则可直接从真实图像挑选颜色并制作多套 texture。

【Code】 官方仓库的 rgb_overlay_path 将真实背景图传给 evaluator，环境通过 segmentation mask 生成前景合成；additional_env_build_kwargs 可选择 robot_init_x/y、物体位置、相机和纹理 variant。simpler_env/utils/env/ 提供观测转换，策略只接收与真实部署相同格式的 RGB 图像。

Variant Aggregation：不匹配，而是平均多个变体

【Paper】 作为替代方案，作者沿 background、lighting、distractor、table texture 四个轴各构造两个变体，平均所有变体的成功率。它类似 domain randomization，但用于评测而非训练。

【Analysis】 Variant Aggregation 的假设是：多个偏差的平均值会抵消单一场景的偶然性。实验却显示 Visual Matching 更可靠，说明对视觉敏感的 policy 会把“随机化范围”当成新的分布，而不是现实分布的无偏估计。

Environment Builder 与资产流程

【Paper】 环境基于 SAPIEN 构建，机器人 URDF 来自公开仓库或 ROS 导出；常见物体来自 Objaverse，少见物体通过扫描或单视图重建；尺寸在 Blender 中校准，碰撞几何用 CoACD 生成。刚体资产使用材料密度与摩擦系数的合理近似；柜门等 articulated object 需要手工建模。最后调节机器人和相机位姿，使固定物体边缘和初始夹爪位置与真实视频大致对齐。

【Code】 README 将代码分为 ManiSkill2_real2sim/（机器人、资产和环境）、simpler_env/evaluation/（评测循环）、simpler_env/policies/（RT-1/Octo 适配）和 tools/（指标、视频、SysID）。环境通过 simpler_env.make(name) 或标准 Gym API 使用。

4.3 关键公式

SysID 损失

$$ \mathcal L_{\text{transl}}=\frac1T\sum_{i=1}^T|\mathbf x_i-\mathbf x'i|2, \qquad \mathcal L{\text{rot}}=\frac1T\sum{i=1}^T\arcsin\left(\frac{|R_i-R'_i|_F}{2\sqrt2}\right), $$

$$ \mathcal L_{\text{sysid}}=\mathcal L_{\text{transl}}+\mathcal L_{\text{rot}}. $$

其中 $(\mathbf x_i,R_i)$ 是真实末端位置与旋转，$(\mathbf x'_i,R'_i)$ 是用同一动作在 sim 中得到的结果；$(\mathbf p,\mathbf d)$（PD 参数）隐含在仿真轨迹中。平移与旋转采用相加而不是额外权重，论文未报告跨 embodiment 的单位归一化细节。

Visual Matching 合成

$M$ 是仿真前景的二值 mask，$I_{\text{sim}}$ 是机器人和交互物体渲染，$I_{\text{real}}$ 是移除前景后的真实背景。该式只替换背景，阴影与遮挡仍由仿真前景近似。

分布偏移敏感性

对某一 shift，作者报告两个变体相对 base 的平均变化：

$$ \Delta\operatorname{Success}(\text{shift})=\frac12\sum_{k=1}^{2}\left(\operatorname{Success}(\text{shift},k)-\operatorname{Success}(\text{base})\right). $$

4.4 Training

SIMPLER 本身不训练新的 robot policy；训练对象是被评测的 RT-1、RT-1-X、RT-2-X 或 Octo，论文只使用其公开 checkpoint 和真实数据。SIMPLER 的“训练阶段”更准确地说是环境 calibration：从离线 demonstration 中抽取轨迹，优化控制参数，并准备背景、mesh、texture 与相机姿态。

4.5 Inference

【Paper】 推理时 policy 从仿真 RGB 与语言指令产生动作；Google Robot 以 3 Hz、WidowX 以 5 Hz 发送控制命令，底层在约 500 Hz 仿真频率下执行。长时程任务完成一个 subtask 后，环境更新语言指令并继续，直到最终成功或 episode 截止。

4.6 代码实现对照

【Code】 simpler_env/evaluation/maniskill2_evaluator.py 的 run_maniskill2_eval_single_episode 是实际 rollout 核心：构造 obs_mode="rgbd" 环境，设置 sim_freq=513、control_freq、最大步数和 segmentation camera；reset 时传入机器人初始位置/四元数及物体位置或 episode id。每个时间步调用 model.step(image, task_description)，把 world_vector、rot_axangle、gripper 拼成 7D action，再调用 env.step。

【Code】 simpler_env/policies/octo/octo_model.py 默认维护长度为 2 的 image history，预测 horizon 为 4、执行 horizon 为 1，并用 ActionEnsembler 融合重叠预测；这说明论文中的“policy inference”在代码里还包含具体的 action chunking 与 ensemble 策略。RT-1 适配位于 simpler_env/policies/rt1/rt1_model.py。

【Code】 simpler_env/utils/metrics.py 固化了论文中的 REAL_PERF 与 SIMPLER_PERF，并实现 pearson_correlation、mean_maximum_rank_violation。该文件还把每个 checkpoint 的 success rate 转成无序 trial 结果，以便进行 Kruskal–Wallis 分布检验。

【Analysis】 代码与论文的边界很清楚：论文提出“怎样设计有信息量的环境”，代码负责“如何批量运行 policy、保存视频并汇总指标”。因此复现实验时不能只安装环境；还要保证 policy 的 action ordering、控制频率、相机输入和 episode termination 与真实 setup 一致。

5. 实验

5.1 Experimental Setup

【Paper】 作者在 Google Robot 任务上评测 RT-1（converged、15% 和 begin checkpoint）、RT-1-X、RT-2-X、Octo-Base；在 BridgeData V2/WidowX 上评测 RT-1-X、Octo-Base、Octo-Small。Google Robot 的仿真结果对四种 arm/gripper texture 求平均，Octo 额外对三个随机种子求平均；总计约 1500 个配对 sim-real episodes。

任务包括 pick coke can、move near、open/close drawer、place apple in closed drawer，以及 WidowX 的 spoon-on-towel、carrot-on-plate、stack-cube、put-eggplant-in-basket 等刚体操作。

5.2 Main Results

【Paper】 Google Robot 三个任务上，Validation MSE、Variant Aggregation、Visual Matching 的平均指标如下：

| 评测协议 | MMRV ↓ | Pearson $r$ ↑ | | --- | ---: | ---: | | Validation MSE | 0.375 | 0.308 | | SIMPLER-VarAgg | 0.143 | 0.778 | | SIMPLER-VisMatch | 0.056 | 0.924 |

按任务看，Visual Matching 在 Pick Coke Can 的 MMRV/Pearson 为 0.031/0.976，在 Drawer 上为 0.027/0.942。论文报告 RT-1 Converged 与 RT-2-X 在 Google Robot 上通常同时获得较高 real/sim 表现，RT-1 Begin 与 RT-1-X 较低；BridgeData V2 上 Octo-Small 整体优于 Octo-Base 与 RT-1-X。个别 policy 对视觉差异敏感，例如 RT-1 15% 和 Octo-Base 的 sim-real 成功率变化明显。

【Analysis】 结果支持的不是“仿真成功率就是现实成功率”，而是“SIMPLER 的排序错误通常只发生在现实成功率接近的策略之间”。这正是 MMRV 比单纯 Pearson 更适合 checkpoint selection 的原因。

5.3 Ablation Study

【Paper】 SysID 消融中，论文给出的 control loss/MMRV 为：未校准设置 0.267/0.070、另一组参数 0.432/0.100，SIMPLER SysID 达到 0.131/0.031。视觉消融中，仅调整 drawer 或 robot texture、或只做 green-screen 都不能稳定改善相关性；同时使用 green-screen、drawer matching 与 robot matching 时，MMRV 为 0.050、real-sim success gap 为 0.136，最佳。

物理属性消融改变空可乐罐密度、夹爪静摩擦和柜门关节摩擦，成功率最多变化约 15%，但在合理参数范围内 MMRV 仍低、Pearson 仍高。把 Google Robot 环境移植到 Isaac Sim 后也保持良好相关性，说明对于这些以刚体为主的任务，具体 simulator 不是决定性因素。

5.4 Generalization

【Paper】 作者沿 background、lighting、distractors、table texture、camera pose 五个轴测试分布偏移。仿真和真实都显示 camera pose 与 table texture 影响较大，lighting 与 distractors 影响较小；对 solid table color 的平均下降约 4%（sim 约 2%），patterned texture 的下降约 25%（sim 约 24%）。

更有说服力的是新偏移预测：仿真中 Octo-Base 使用未调 arm texture 的成功率为 0%，换成 tuned texture 后为 29.3%，而 RT-1-X 对 arm texture 更鲁棒。真实世界把机械臂包上不同礼品包装纸后，仍观察到 Octo-Base 比 RT-1-X 更敏感，说明 SIMPLER 可以预测未在校准阶段显式设计的行为模式。

6. 方法分析

6.1 为什么有效？

【Analysis】 有三层原因：

先校准 action-to-motion 接口。 操作策略的错误常由抓取时序和末端位姿累积产生，SysID 直接最小化这类轨迹差。
把视觉差异集中到 policy 真正看到的像素。 绿幕保留真实房间背景，纹理匹配覆盖高敏感前景，避免为所有墙面和灯具做昂贵建模。
评测相对关系而非绝对值。 即使摩擦、阴影或接触仍不完美，只要这些误差不会系统性地改变策略排序，sim 就能作为开发信号。

6.2 核心创新

【Paper】 创新不是新的 policy architecture，而是一个可操作的 evaluation system：用 offline data 做控制校准、用半自动视觉合成降低建模成本、用 MMRV 定义评测质量，并以 paired experiments 验证这些选择。

6.3 与已有方法的本质区别

| 方向 | 训练/评测方向 | 目标 | SIMPLER 的区别 | | --- | --- | --- | --- | | Sim-to-real/domain randomization | sim 训练 → real 部署 | 提高迁移成功率 | real 训练 → sim 评测，关心排序信号 | | Digital twin | 尽可能复刻一个场景 | 逐帧/物理逼真 | 只建“足够能排序”的环境 | | Validation action MSE | 离线动作误差 | 选择 checkpoint | 直接执行闭环 policy，结果更贴近真实行为 | | 传统 rank correlation | 只比较名次 | 检查排序 | MMRV 还惩罚大幅度的错误排序 |

6.4 关键假设

【Paper】 该方法隐含四个假设：任务主要是刚体操作；真实 setup 的背景和相机在 episode 内近似固定；少量 demonstration 足以辨识关键控制参数；策略的真实性能差异不会被仿真误差完全淹没。

【Analysis】 如果两个策略只相差 1–2 个百分点，或者策略利用了仿真中不存在的接触细节，MMRV 也无法把不可辨识的差异恢复出来。SIMPLER 更适合做“粗粒度模型选择与鲁棒性诊断”，而不是替代最终真实验收。

7. 局限性

7.1 作者明确提出的局限

【Paper】 当前环境集中在刚体物体，尚未覆盖布料、软体和复杂可变形物体；green-screen 假设固定相机，不能准确建模真实阴影等细节；环境创建仍需人工整理资产、构造 articulated object 和调纹理，距离自动生成成千上万个高质量场景还有差距。

7.2 自己分析得到的局限

【Analysis】

校准数据与评测分布耦合。 如果 demonstration 只覆盖一种夹爪姿态，SysID 得到的参数未必适用于新的动作幅度或负载。
策略输入接口仍可能不一致。 真实系统的延迟、压缩、曝光和 proprioception 若没有在 simulator 中复现，视觉匹配只能修正外观，不能修正时序差。
成功标签比较粗。 二元 success rate 无法解释“抓住但放置偏了”等中间行为；视频和 episode stats 仍需人工审计。
MMRV 依赖策略集合。 增加一个极差或极好的 policy 会改变平均 rank violation，因此跨论文比较时必须固定 checkpoint 集合和任务集合。
GPU 与环境依赖重。 官方代码要求 NVIDIA GPU、特定 CUDA/NumPy 版本，并依赖 ManiSkill2 子模块；这会削弱“可复现”的门槛优势。

8. 启发与研究思考

评测环境也可以被学习。 可以把 MMRV 作为环境设计的 outer-loop objective，自动搜索相机、材质和控制参数，而不是手工决定哪些 gap 值得修正。
从排序扩展到诊断。 将 success rate 换成失败类型、接触阶段和动作延迟的分布，可构造“策略行为谱”，帮助定位是视觉、控制还是长时程规划导致失败。
为 VLA checkpoint 选择提供低成本闭环。 训练期间每隔若干步在 SIMPLER 上跑一次，可能比保存 validation MSE 更早发现策略已经学会或遗忘某种 embodiment 技能。
面向动态和软体任务的下一步。 对布料、液体和双臂协作，单纯刚体 simulator 不够；可以把可微物理、视频预测器和真实短片段校准结合起来，保持“相对性能相关”这一目标。
SIMPLER 的经验可迁移到其他 benchmark。 任何希望用 sim 做 offline policy selection 的系统，都应同时报告绝对误差、Pearson/Spearman 和带幅度的 rank violation，并公开 real-sim paired 数据。

SIM1 论文精读：让变形物理模拟成为零样本数据扩展器

Thu, 27 Aug 2026 00:00:00 GMT

1. 论文概述

【Paper】 《SIM1: Physics-Aligned Simulator as Zero-Shot Data Scaler in Deformable Worlds》研究一个很具体、但对具身学习很关键的问题：衣物的形状、接触和拓扑不断变化，真实示教昂贵，而传统刚体模拟生成的数据很难直接迁移。作者的判断是，模拟失败的根因不是“合成”，而是没有被真实世界约束。

一句话总结

【Analysis】 SIM1 把数据扩展问题改写成对齐问题：先把真实场景做成有公制尺度的数字孪生，再用稳定的软体动力学和人类式运动生成，让仿真样本不仅“看起来像”，而且在机器人控制下“反应得像”。

核心贡献

【Paper】

提出面向变形物体的 real-to-sim-to-real（R2S2R）数据引擎，统一处理几何、动力学和运动三类 sim-real gap。
用高精度扫描与网格后处理得到带纹理、亚毫米级几何精度的衣物资产；用 ARX ACONE 的 URDF 对齐双臂机器人。
在 Newton/VBD 基础上加入 Augmented Vertex Block Descent（AVBD）式应变约束，减少实时抓取、拉伸时的过度变形与接触不稳定。
将示教轨迹拆成 interaction 与 moving 区段，用 diffusion-based trajectory generation 补全运动，并以规则和视频判别器过滤失败样本。
在真实 T-shirt folding 上，纯合成数据训练的策略达到 90%（$\pi_{0.5}$）零样本成功率，并报告约 1:15 的合成/真实样本等价关系。

2. 背景与相关工作

【Paper】 刚体操作可以依赖成熟的资产库、抓取点和 pick-and-place primitive；衣物操作则同时受到连续形变、摩擦、遮挡和接触拓扑变化影响。少量真实示教覆盖不了这些状态，导致 VLA 或 imitation policy 在训练分布外快速失效。

传统 S2R 往往从随机化开始，但随机化只能扩大“错误模拟”的覆盖范围。SIM1 强调先做 R2S：几何尺寸要对应，机器人运动要对应，软体响应也要对应；只有在这个基础上，合成数据的规模才有价值。与只做资产重建的方案相比，本文还把在线软体求解和运动生成纳入同一个闭环。

3. 问题定义

【Paper】 给定少量真实或仿真遥操作轨迹 $D={\tau_i}$、真实工作空间的机器人和衣物，SIM1 需要生成一批带 RGB、机器人状态和动作的合成轨迹 $\tilde D$，使只用 $\tilde D$ 训练的 policy 能在真实机器人上执行。

| 维度 | SIM1 的设定 | | --------------------- | ---------------------------------------------------------------------------------------------------- | | Observation | 仿真中渲染的头部相机 RGB、双臂状态与衣物粒子/网格状态 | | Action Representation | 双臂关节/末端位姿轨迹与夹爪开合；扩散模块使用 16 维 EE 向量（左右各 3D position、四元数和 openness） | | Policy | 论文评估 $π_{0.5}$ 与 $π_0$，合成数据以 LeRobot 格式导出供 imitation learning | | Robot / Embodiment | ARX ACONE 双臂；仿真遥操作使用 ARX X5 映射到模拟机器人 | | Dataset | 1,000 条真实轨迹、200 条仿真源轨迹；生成数据最多扩展到 10k 条 | | Task | T-shirt folding 为主，另展示 towel flipping、shorts/long-sleeve folding、crumpled garment flattening |

【Analysis】 这里的目标不是学习一个“更强的模拟器评分”，而是让模拟器生成的监督在真实控制闭环中保持有效；因此最终指标必须是 real-robot success，而非仅仅是渲染逼真度。

4. 方法

4.1 Overall Architecture

【Paper】 数据流是：真实场景扫描与资产导入 → 通过行为匹配校准的软体模拟 → 轨迹分解、扩散补全、质量筛选和外观随机化 → 输出可用于策略训练的合成 episode。

4.2 核心模块

SIM1-Scene：真实场景数字化

【Paper】 衣物安装在 mannequin 上，用 EinScan Rigil Pro 获取多视角 RGB 与 LiDAR，融合成点云后移除 mannequin 点，再进行 Poisson reconstruction、补洞、平滑和 remeshing，最终得到带纹理的 OBJ。文中称几何精度可达亚毫米级。机器人则直接导入厂商 CAD 生成的 URDF，并校正根坐标与双臂相对标定；桌面等环境资产按真实测量尺寸放置。

【Analysis】 这个模块的关键不是把照片变成漂亮 mesh，而是保留接触点、桌面高度和双臂工作空间的公制关系。衣物尺寸偏差会同时改变碰撞、摩擦和可达性，后续求解器再准确也无法补偿这种系统误差。

SIM1-Sim：变形稳定的刚柔耦合

【Paper】 cloth mesh 的顶点是粒子、边是连接关系。每次外力作用后，先运行 Newton-VBD 更新，再检查每条边的伸长；超过阈值时激活虚拟弹性约束，把额外的拉力加入下一轮顶点优化，从而快速传播接触引起的应变。

【Paper】 模拟参数 $\Theta={\rho,E,\nu,\mu,\eta,\zeta}$ 分别表示密度、Young's modulus、Poisson's ratio、摩擦、恢复和 relaxation。作者不声称恢复真实材料参数，而是把真实双臂关节流送入模拟器，再比较布料下垂、折叠和接触行为，人工迭代参数直到达到操作层面的行为一致。

SIM1-DataGen：结构化变形操作合成

【Paper】 轨迹被拆成 interaction segments 与 moving segments。稳定抓取与接触片段直接从示教池中重用并随机重排；片段之间的运动由 conditional diffusion 根据历史和边界 pose 补全。这样做避免了在变形物体上自动寻找可靠 grasp point，也避免把接触片段粗暴切断。

【Code】 官方 components/datagen/splitter.py 的 SplitterFine 通过双夹爪位置变化阈值（默认 stable_thresh=0.01）检测 stable/moving 区间，合并相邻状态并把过短 stable 段并入 moving。components/datagen/datagen_core.py 中 DataGenerator 将稳定段组织成带 history/src/tgt/traj/mask/lengths 的 batch，送入 diffusion flow；扩散输出再经过 EE 轨迹平滑和 IK 转换回关节序列。

质量筛选与外观随机化

【Paper】 首先用衣物粒子状态的规则快速剔除明显失败样本，再训练 ResNet-18 + Transformer 的二分类视频判别器 $D(V)$。只有 $D(V)>\tau_{disc}$ 的轨迹进入 Blender 渲染；材质、灯光和相机参数被随机化，最后连同机器人状态与动作写成 LeRobot 数据。

【Code】 video_filtter.py 将正负视频按较小类平衡采样，抽取固定采样率的最多 8 秒片段，ResNet-18 提取每帧特征后由 Transformer 聚合，输出有效性分数。filter_cloth_quality.py 读取 replay USD 的最后一帧衣物顶点，用 $z_{max}$ 与 $y_{min}$ 阈值过滤；位置随机化时先用 Kabsch 对齐到参考 USD。代码中的过滤器是可解释的后处理，并非论文中所称的端到端可微物理判定。

4.3 关键公式

应变约束

对连接顶点 $i,j$ 的边 $e$，静止长度为 $l_0$，最大允许伸长比例为 $\xi$：

$$ C(e)=|e_i-e_j|-(1+\xi)l_0\le 0. $$

当 $C(e)>0$ 时约束激活。$e_i,e_j\in\mathbb R^3$ 是当前顶点位置，$\xi$ 控制允许的局部拉伸量。它把“布料不能被瞬间拉长太多”写成可检测的局部条件。

约束能量与增广更新

$$ E_{strain}^{(n)}(e)= \begin{cases} \frac12 k^{(n)}C(e)^2+\lambda^{(n)}C(e),&C(e)>0\ 0,&\text{otherwise} \end{cases} $$

其中 $k^{(n)}$ 是第 $n$ 次 Newton 迭代的 penalty stiffness，$\lambda^{(n)}$ 累积约束力。参数更新为：

$$ k^{(n+1)}=\min(k_{max},k^{(n)}+\beta|C(e)|),\qquad \lambda^{(n+1)}=\lambda^{(n)}+k^{(n)}C(e). $$

【Analysis】 逐步增加刚度比一次性设置很大 stiffness 更适合实时交互：先允许求解器找到可行方向，再逐渐把过度伸长压回阈值，降低局部发散风险。

扩散轨迹目标

给定干净轨迹 $x_0$、噪声/掩码等级 $k$、历史 $h$ 以及起止 pose $p_s,p_e$，论文训练 transformer 预测噪声残差：

$$ \min_\theta;\mathbb E\left[|\epsilon-\epsilon_\theta(g(x_0,k);h,p_s,p_e,k)|_2^2\right]. $$

$g$ 是把轨迹扰动到等级 $k$ 的 corruption function，$\epsilon$ 是真实噪声，$\epsilon_\theta$ 是条件模型输出。推理时它补全 interaction 片段之间的 moving 区间，而不是重新生成已经验证过的抓取接触。

4.4 Training

【Paper】 流程从 200 条仿真遥操作源轨迹出发。轨迹先按稳定/移动状态分段，再随机重用接触片段并用 diffusion 生成中间运动；规则过滤和视频判别器移除无效 episode，Blender 进行材质、灯光、相机随机化，最终生成 RGB、状态和 action 对齐的数据。

【Code】 run_pipeline.sh 把 apps/datagen_app.py --use_dp --mode fine、Kalman 平滑、apps/replay_app.py、关节可达性过滤和衣物质量过滤串起来。DataGenerator.__init__ 当前实现会将 use_dp 固定为 True 并加载 flow_ckpt_three.pth；因此 README 中的“可选 DP”在该入口上实际是强制启用的。生成后 ee16_to_joint() 为每个 16 维末端向量调用 Newton IK，并附加夹爪开合限制。

<Algorithm number={1} title='SIM1 synthetic-data training pipeline' inputLabel='输入' outputLabel='输出'

4.5 Inference

【Paper】 训练好的 policy 只接收真实机器人 RGB 与状态，不需要额外 real-data fine-tuning。真实控制器执行一段 action 后获得下一帧观测，整个过程是闭环的；论文把这种从纯仿真训练到真实部署称为 zero-shot sim-to-real。

【Code】 官方仓库主要开源数据生成、replay、过滤、渲染和 LeRobot 转换，并提供 replay_batch.sh 等脚本。真实 VLA policy 的训练/部署控制器不在该仓库中，因此动作执行频率、低层控制器和 checkpoint 细节应以论文实验系统为准，不能从代码仓库推断。

<Algorithm number={2} title='SIM1 zero-shot real-robot deployment' inputLabel='输入' outputLabel='输出'

4.6 代码实现对照

| 论文概念 | 官方代码位置 | 实际行为 | | ----------------- | ------------------------------------------------------------------------ | ---------------------------------------------------------------- | | 场景与资产路径 | scripts/sim1_asset_paths.py, download_assets.sh | 从 Hugging Face bundle 查找 acone、cloth、model 与参考 NPZ | | 轨迹分段 | components/datagen/splitter.py | 按夹爪变化阈值检测 stable/moving，并合并短片段 | | Diffusion DataGen | components/datagen/datagen_core.py, components/datagen/traj_df/ | 对 16 维 EE 特征做归一化、flow inference、平滑，再 IK 到关节空间 | | 物理 replay | apps/replay_app.py, newton/ | 重放轨迹并写出 NPZ/USD；求解器实现基于 Newton/Warp | | 质量过滤 | scripts/filter_joint_unreachable.py, scripts/filter_cloth_quality.py | 关节跳变/EE 可达性检查，加 USD 顶点阈值与 Kabsch 对齐 | | 渲染和导出 | components/render/, components/lmdb2lerobot/ | Blender 随机化渲染，转换为 LeRobot 风格数据 | | 论文中的 policy | 未在仓库完整提供 | 论文报告 $π_{0.5}$ / $π_0$ 结果，但官方仓库重点是模拟与数据栈 |

5. 实验

5.1 Experimental Setup

【Paper】 真实环境用 ARX ACONE 双臂和 kinesthetic teaching 收集 1,000 条轨迹；仿真在 RTX 4090 上运行，操作员通过 ARX X5 做同构遥操作，得到 200 条种子轨迹。每个配置评估 30 次，成功定义为衣物达到目标折叠构型且没有掉落或重新展开。

训练数据包括 200 条真实/仿真源轨迹或扩展后的 10k synthetic samples。泛化测试分别改变空间位置（平移最多 8 cm、旋转 ±15°）、衣物/桌面纹理及摩擦、灯光强度/方向和相机高度（±5°）。

5.2 Main Results

【Paper】 主要结果如下：

| 评测 | 结果 | | ------------------------ | ------------------------------------------------------------------------- | | $\pi_{0.5}$ in-domain | 真实数据 97%，sim-teleoperated 87%，sim-generated 90% | | $\pi_{0.5}$ from scratch | 真实数据 0%，合成数据 76% | | $\pi_0$ zero-shot / 泛化 | 论文摘要报告 zero-shot 76%，泛化提升 +56% | | 泛化收益（$\pi_{0.5}$） | spatial +50%，texture +13%，lighting +47%，viewpoint +40%（相对真实基线） | | 跨衣物部署 | 未见过的 polo shirt 上，合成策略 70%，真实数据基线 20% |

【Analysis】 这些数字支持两个层次的结论：在相同数据量下，物理对齐模拟可以接近真实示教；当数据规模扩大时，随机化带来的覆盖度开始超过少量真实数据的覆盖度。from-scratch 对照也说明结果并非完全依赖 $\pi_{0.5}$ 或 $\pi_0$ 的已有操作先验。

5.3 Ablation Study

【Paper】 消融表明模块是逐步累积的：

| 方法 | Pass rate | 平均 success | | ---------------------------- | --------: | -----------: | | Baseline（刚体式轨迹策略） | 0% | - | | + trajectory decomposition | 65% | 0% | | + diffusion-based generation | 38% | 33% | | + deformation-stable solver | 40% | 76% |

仅分段可以产生样本，但片段衔接不连续；加入 diffusion 后动作更像人类、in-domain 成功率达到 47%；加入变形稳定求解器后平均成功率提升到 76%，说明运动生成的外观合理并不等于接触动力学正确。

【Paper】 Figure 8 的拟合曲线给出数据等价关系：代表性的 $\pi_{0.5}$ in-domain 约 15 条 synthetic samples 才能提供 1 条 real demonstration 的训练价值；texture generalization 场景约为 5:1。这里的等价点来自拟合曲线，不应理解为所有任务和数据规模都固定遵循 15:1。

5.4 Generalization

【Paper】 Figure 6 展示 towel、shorts、长袖衣物和皱衣服等任务，说明数据生成管线并不绑定单一 T-shirt folding。真实部署还测试了训练和模拟中没有出现的 polo shirt，体现对材质、尺寸和纹理变化的迁移。

【Analysis】 泛化提升主要来自两种覆盖的叠加：几何/动力学对齐降低了合成监督的偏差，外观与位姿随机化扩大了视觉分布。若只做后者，模型可能学到大量与真实接触不一致的视觉捷径。

6. 方法分析

6.1 为什么有效？

【Analysis】 SIM1 的有效性来自三个误差源同时被约束：metric mesh 让碰撞位置对，AVBD 让接触下的应变传播对，interaction-preserving trajectory synthesis 让动作语义和接触时刻对。三者缺一时，数据会在策略训练中形成互相矛盾的视觉、状态与 action 标签。

6.2 核心创新

【Paper】对齐优先于规模：把 R2S 作为合成扩展的前置条件，而不是训练后再做 domain adaptation。
【Paper】面向实时刚柔耦合的稳定求解：应变约束在接触拉伸时自适应激活，而非只追求离线 cloth simulation 的高精度。
【Paper】接触片段复用 + 运动扩散补全：保留最难生成的 grasp/contact，生成相对容易的 moving transition。
【Analysis】质量筛选成为数据生成的一等公民：宁可丢弃失败样本，也不把物理错误传播给 policy。

6.3 与已有方法的本质区别

【Analysis】 MimicGen 一类刚体方法可以把轨迹按抓取点切片后重组；SIM1 不假设 deformable object 存在稳定可检测的 grasp primitive，而是从示教中直接复用接触片段。普通 domain randomization 只改变外观或位姿；SIM1 先校准行为，再随机化外观。单纯高保真 soft-body solver 也不够，因为它还需要在线双臂控制映射、轨迹生成与质量过滤才能成为数据引擎。

6.4 关键假设

【Paper】 少量示教中的 interaction segment 足以覆盖任务所需的有效接触模式。
【Paper】 通过专家视觉反馈可以把材料参数调到操作层面的行为一致，但不保证物理参数真实可辨识。
【Analysis】 训练和部署的机器人、相机布局与动作接口足够同构；若 embodiment 或控制频率变化很大，sim-real gap 仍可能重新出现。
【Analysis】 粒子阈值与视频判别器能筛掉主要失败模式；对极端遮挡、粘连或拓扑改变，过滤器可能失去判别力。

7. 局限性

7.1 作者明确提出的局限

【Paper】 材料校准仍需要针对每种衣物由专家调参，限制了对任意 cloth type 的全自动扩展。作者也只在有限真实任务上验证了 zero-shot transfer，不能据此断言所有变形物体都能达到相同收益。

7.2 自己分析得到的局限

【Analysis】 几何扫描、mannequin 分割、纹理映射和 URDF 标定本身是昂贵的工程流程；“减少真实示教”不等于消除现实采集成本。
【Analysis】 论文中的参数匹配依赖人工视觉判断，可能存在操作者偏差，也缺乏统一的行为距离指标。
【Analysis】 视频 discriminator 的正负样本来自模拟失败，若模拟器没有覆盖某种真实失败，过滤器无法发现分布外风险。
【Code】 官方仓库开源的是模拟/生成栈，真实 policy 的训练和部署控制器并不完整公开，复现实验成功率仍需要额外系统组件。
【Analysis】 1:15 等价关系来自特定任务和拟合区间；在更复杂的衣物拓扑、双手遮挡或高摩擦材料上，合成数据的边际收益可能饱和得更早。

8. 启发与研究思考

【Analysis】 SIM1 给具身数据扩展一个值得推广的顺序：先问“模拟中的 action 是否会让物体以真实方式变化”，再问“如何随机化更多外观”。对未来工作，我认为有三条路线很自然：

用可观测的布料轨迹、接触事件和成功率替代纯人工材料调参，形成自动 system identification。
把规则过滤器、视频判别器与真实少量回放组成 active data curation，让失败样本反过来更新模拟器。
将 R2S2R 的对齐信号暴露给 VLA policy，例如把应变、接触和不确定性作为辅助监督，减少策略只依赖纹理线索。

【Analysis】 论文最重要的启示并不是“仿真可以取代真实数据”，而是“只有行为对齐的仿真才具有可扩展的监督价值”。在变形操作中，几何、动力学和动作生成必须作为一个系统共同验证。

RoboTwin 2.0 论文精读：用可规模化仿真数据提升双臂操作鲁棒性

Thu, 27 Aug 2026 00:00:00 GMT

1. 论文概述

【Paper】 RoboTwin 2.0 面向双臂协作操作，提供数据生成器、超过 100,000 条专家轨迹、50 个任务、5 种双臂 embodiment 和统一 benchmark。核心不是提出一个新的 policy 网络，而是把“任务程序如何生成、场景如何变、不同机器人如何执行”变成可自动扩展的基础设施。

一句话总结

【Analysis】 RoboTwin 2.0 将仿真从“干净场景中的固定脚本”升级为一个带视觉反馈的程序合成闭环：MLLM 写任务代码，仿真执行十次暴露失败，VLM 定位原因，代码代理再修复；随后在物体、杂乱、光照、背景、桌高和语言上做结构化随机化，生成能迁移到真实双臂平台的数据。

核心贡献

【Paper】

RoboTwin-OD：731 个物体实例、147 个类别，带 placement、functional、grasp point/axis 与多粒度语言描述。
MLLM + simulation-in-the-loop 的专家代码生成器，在 10 次模拟试验和最多 5 轮修复中筛选可执行程序。
五个域随机化轴：clutter、lighting、background、tabletop height、language；并针对不同 DoF 的机器人生成候选抓取姿态。
50+ 双臂任务、5 种 embodiment 和 benchmark；代码生成 ASR 提升 10.9 个百分点，合成数据显著改善 VLA 的仿真与真实环境鲁棒性。

2. 背景与相关工作

【Paper】 双臂任务涉及交接、协同装配、工具使用和双物体同步移动。真实示教同时覆盖多种物体、语言、光照和硬件，采集成本随组合数快速增长，因此 simulation-based synthesis 很有吸引力。

已有工作主要有三类短板：

生成质量不可控：一次生成的脚本可能抓空、放错位置或根本无法运行，失败轨迹会污染训练集。
随机化过于表面：只换颜色或相机，而没有把 clutter、物理可行性、桌面高度和语言变化一起纳入。
忽视 embodiment 差异：Franka 的高 DoF 机械臂可以 top-down 抓取，Piper 等低 DoF 平台可能只能侧向接近；相同脚本并不等于相同可达性。

【Analysis】 因而 RoboTwin 2.0 的研究问题是数据工厂问题：如何让“任务程序质量”“环境覆盖度”和“跨机器人可执行性”同时可扩展，而不是只增加轨迹数量。

3. 问题定义

【Paper】 给定任务名称与自然语言目标，系统要输出能在指定 embodiment 上完成任务的 Python task program，并由它生成视觉、本体感知和动作轨迹。单条 episode 的 observation 包括多视角 RGB、关节状态和语言 instruction；action 是由 task API 驱动的末端位姿/夹爪控制序列，而非一个统一的离散 action token。

| 维度 | RoboTwin 2.0 设定 | | --- | --- | | 任务 | 50+ 个双臂协作任务，如 Handover Block、Stack Bowls、Open Laptop | | 资产 | RoboTwin-OD 731 instances / 147 categories | | Embodiment | Aloha-AgileX、Piper、Franka、UR5、ARX-X5 | | 数据 | 每个任务支持 clean 与 domain-randomized 轨迹；论文报告超过 100,000 条 | | 目标 | 生成高成功率专家程序，并评估 Easy/Hard 环境中的泛化 |

4. 方法

4.1 Overall Architecture

上图中的数据流是：RoboTwin-OD 与 skill API 提供可操作对象和动作原语，MLLM 生成 task code，模拟器执行并记录结果，VLM observer 给出视觉诊断，修复后的程序再进入随机化数据采集与 benchmark。

4.2 核心模块

RoboTwin-OD 与 affordance annotations

【Paper】 534 个自建 RGB-to-3D 物体、153 个 Objaverse 物体和 44 个 PartNet-Mobility articulated 物体组成资产库。每个对象有 15 条经人工核验的描述，以及 placement point、functional point、grasp point 和 grasp axis。

【Code】 官方仓库把对象与任务 API 放在 assets/、envs/ 和 envs/utils.py，具体任务类（例如 envs/stack_bowls_two.py）通过 grasp_actor、place_actor、move 等原语读写这些标注。这样新物体主要是资产和关键点配置问题，而不是重新手写整套控制器。

MLLM expert code generation

【Paper】 code-generation agent 读取 API 列表、函数调用示例、层级约束和任务描述，先生成 Python 程序。每轮执行 10 次，日志记录不可运行代码、左右臂抓取失败、错误放置和规划失败；VLM observer 逐帧查看关键步骤，报告失败时间点与可能原因。代码代理融合定量日志和定性视觉诊断，最多连续修复 5 轮，达到设置的成功率阈值即停止。

【Code】 code_gen/task_generation_mm.py 会写出 envs_gen/gpt_task.py（其中 task 是任务名），调用 insert_observation_points 注入观测点，再由 run() 汇总 success_rate、error_message 和 run_records。仓库默认每个候选程序最多尝试 5 次，test_gen_code.py 中的模拟评估以 10 次 rollout 形成成功率。

五轴 domain randomization

【Paper】

Clutter：从 OD 采样任务无关物体，使用碰撞感知放置，并排除与目标物视觉/语义相似的 distractor。
Background：由 1,000 个表面描述生成 20,000 张候选纹理，经人工筛选得到 11,000 张。
Lighting：随机化颜色温度、光源类型、数量、强度和位置。
Tabletop height：在合理范围内改变桌面高度，改变视角和空间关系。
Language：MLLM 生成任务模板与对象描述，再组合成多种 instruction。

【Code】 envs/_base_task.py 读取 domain_randomization 配置；官方 env_cfg/task_config/demo_randomized.yml 打开 random_background、cluttered_table、random_light，并把 random_table_height 设为 0.03。get_cluttered_table() 负责杂乱物体插入，table_z_bias 通过均匀采样改变桌高。

Embodiment-aware grasp adaptation

【Paper】 对每个对象预先标注多个抓取轴和接近方向，再叠加带 reachability bias 的角度扰动，并行尝试 motion planning。该模块为同一语义任务生成“适合当前手臂”的候选姿态，而不是强迫所有机器人复用一种 grasp。

4.3 关键公式

【Paper】 令任务程序为 $P$，场景随机变量为 $\xi$，模拟器执行结果为 $r(P,\xi)\in{0,1}$。代码生成阶段的目标可写成：

$$ P^* = \arg\max_P ; \mathbb{E}{\xi\sim\mathcal{D}{sim}}[r(P,\xi)] $$

其中 $\mathcal{D}_{sim}$ 包含动力学、感知和场景随机性。论文用 10 次 rollout 的平均值估计该期望；达到阈值便接受程序。

【Analysis】 对策略训练而言，随机化数据近似扩大了训练分布：

$$ \min_\theta;\mathbb{E}{(o,a)\sim\mathcal{D}{clean}\cup\mathcal{D}{rand}}[\ell(\pi\theta(o),a)] $$

这不是论文提出的新损失，而是解释为什么 clean 与 randomized 轨迹混合后，policy 对未见背景、clutter 和桌高变化更稳定。

4.4 Training

【Paper】 论文将生成的专家轨迹用于 ACT、DP、RDT、Pi0、DP3 等 policy。域随机化预训练实验使用 32 个任务、9,600 条轨迹（每任务 300 条），再在 5 个未见任务上用 50 条 clean demonstrations 做单任务适配。真实实验中 RDT 使用 1,000 条合成轨迹与 10 条真实示教，另设 synthetic-only 对照。

【Code】 数据采集入口是 scripts/collect_data.py 与 collect_data.sh；demo_clean.yml 和 demo_randomized.yml 控制场景开关，默认保存 RGB、qpos 和双腕相机数据。策略训练本身不在 RoboTwin 主仓库中，而是通过 XPolicyLab/外部 policy 代码读取 HDF5 或转换后的 LeRobot 数据。

4.5 Inference

【Paper】 benchmark 推理时固定 50 条 clean demonstrations 进行单任务训练，再在 Easy（干净）和 Hard（clutter、光照、纹理、桌高随机化）各执行 100 次 rollout。真实部署在 COBOT-Magic 双臂平台上，测试 seen/unseen background 与 clean/cluttered 四种组合。

【Code】 scripts/eval_policy.sh 统一启动 policy server 与 simulator；eval_policy_multitask.py 从任务配置读取 domain randomization，eval_policy_xpolicylab.py 将观测中的 language instruction 传给策略。RoboTwin 本身负责环境与成功判定，具体 action decoding 由 ACT、RDT、Pi0 等适配器实现。

4.6 代码实现对照

| 论文概念 | 官方代码位置 | 对照结论 | | --- | --- | --- | | MLLM 代码生成 | code_gen/task_generation_mm.py | 生成、插入观测点、执行和迭代修复均有实现 | | VLM observer | code_gen/observation_agent.py | 读取 episode 图像，输出步骤级诊断 | | Task API | envs/_base_task.py、envs/utils.py | grasp/place/move 等原语支撑任务脚本 | | 域随机化 | envs/_base_task.py、env_cfg/task_config/demo_randomized.yml | 五轴中的视觉/空间轴在配置中可开关 | | 数据采集 | scripts/collect_data.py | 支持多 embodiment、RGB/qpos/wrist camera 保存 | | Policy 训练 | XPolicyLab 与外部仓库 | RoboTwin 仓库提供环境和数据，不内置完整 VLA 训练器 |

5. 实验

5.1 Experimental Setup

【Paper】 评估分为四部分：自动专家代码生成、embodiment-aware grasping、策略鲁棒性预训练、真实世界 sim-to-real，以及 50 任务 benchmark。主要 backbone 包括 ACT、DP、RDT、Pi0、DP3。

5.2 Main Results

【Paper】

| 实验 | 关键结果 | | --- | --- | | 代码生成 | RoboTwin 2.0 + MM feedback 的 ASR 为 71.3%，Vanilla 为 62.1%；Top5-ASR 为 78.6% | | 迭代效率 | MM feedback 的平均修复轮数 CR-Iter 为 1.76，RoboTwin 1.0 为 2.42 | | 抓取适配 | 五种 embodiment 平均成功率从 52.2% 提升到 60.5%，增幅 8.3 个百分点 | | 仿真鲁棒性 | RDT + randomized 平均 24.8%，相对其 pretrained baseline 提升 31.9%；Pi0 + randomized 为 29.1% | | 真实 few-shot | 10 条真实示教 + 1,000 条合成轨迹，在四种条件下平均提升 24.4 个百分点 | | 真实 zero-shot | 仅合成数据在 unseen background 条件下仍提升 21.0/20.5 个百分点 |

【Analysis】 改进主要出现在低 DoF 平台和复杂环境：Franka/UR5 已有较大可达空间，抓取候选扩展的边际收益小；Piper 的成功率提升 22.7 个百分点，说明“数据多”之外，动作是否对 embodiment 可行同样关键。

5.3 Ablation Study

【Paper】 代码生成消融把 Vanilla、仅执行日志反馈（FB）和日志 + VLM（MM FB）分开。RoboTwin 2.0 上 ASR 依次为 62.1%、66.7%、71.3%，说明符号日志和视觉诊断具有互补性；单独视觉反馈并不是替代执行器，而是帮助定位语义层错误。

域随机化消融比较 clean 与 randomized 预训练。RDT 的平均成功率从 14.6% 提升到 24.8%，Pi0 从 24.9% 提升到 29.1%；增益在未见任务和随机化测试中更明显。

5.4 Generalization

【Paper】 benchmark 在 50 个任务上使用 50 条 clean demonstrations 训练，并用 100 rollouts 测 Easy/Hard。Hard 平均成功率为：RDT 13.7%、Pi0 16.3%、ACT 1.7%、DP 0.6%、DP3 5.0%。预训练 VLA 更抗域偏移，但 Pi0 从 Easy 到 Hard 仍下降 30.1 个百分点，说明通用预训练不能替代专门的 randomized data。

【Analysis】 DP3 在 clean few-shot 条件下较强，部分原因是仿真 point cloud 和背景分割近乎完美；这提醒我们 benchmark 的传感器假设会影响模型排名，真实部署时应报告感知噪声和标定误差。

6. 方法分析

6.1 为什么有效？

【Analysis】 RoboTwin 2.0 同时作用于三个误差源：MLLM 闭环减少“程序语义错误”，affordance/embodiment 适配减少“运动学不可行”，域随机化减少“训练与部署分布差异”。三者串联后，合成数据不再只是数量扩张，而是带有质量控制和覆盖度设计。

6.2 核心创新

程序级闭环：把执行结果变成可解释的 code repair 信号。
结构化随机化：五个轴分别对应真实部署中的视觉、空间和语言变化。
跨 embodiment affordance：抓取姿态候选显式编码机器人可达性。
生成器 + benchmark 一体化：同一任务 API 同时用于采集、训练和评测，降低复现实验的接口成本。

6.3 与已有方法的本质区别

【Analysis】 GenSim 类方法重点是从语言生成新任务；RoboTwin 2.0 更进一步，把任务生成、失败诊断、随机化和多机器人执行放在同一闭环。它的主要产物是“可反复运行的数据生成系统”，而非一次性的 task script 或单一 policy。

6.4 关键假设

模拟器中的碰撞、摩擦、相机和控制误差足以覆盖真实变化的主要部分。
物体 affordance 标注和 skill API 能表达 50+ 任务的关键交互。
MLLM/VLM 的诊断能从十次 rollout 中定位可修复原因。
语言、视觉和桌面随机化的组合不会引入与任务目标冲突的歧义。

7. 局限性

7.1 作者明确提出的局限

【Paper】 作者指出合成数据仍可能遗漏真实传感器噪声和罕见 edge case；embodiment adaptation 尚未建模 force/tactile feedback，因此对精细接触控制有限。未来工作包括提高 sim-to-real fidelity、支持更复杂的多物体任务与真实部署。

7.2 自己分析得到的局限

【Analysis】

VLM observer 依赖视觉帧和外部模型，诊断成本与延迟可能随任务长度增长；论文没有报告完整的 API 调用成本或失败诊断准确率。
50 个任务虽覆盖广，但大多仍是桌面短时操作；长时序、动态物体和接触力主导任务的外推尚未验证。
真实实验只在 COBOT-Magic 上展示四类任务，跨平台真实部署证据仍少于仿真 benchmark。
benchmark 的 Hard 条件主要是视觉/空间随机化，尚未系统加入遮挡、深度缺失、执行器延迟等更强感知与控制扰动。

8. 启发与研究思考

【Analysis】 RoboTwin 2.0 给 VLA 数据工程的启发是：扩充数据时要同时问“覆盖了哪些变化”“轨迹是否真的可执行”“是否适合目标硬件”。对后续研究，可以沿三条线推进：

将 tactile、force 和接触事件加入 affordance 与 success checker，让随机化从视觉域扩展到交互域。
把代码生成器产生的失败日志整理成可学习的 recovery policy，而不只用于离线修复脚本。
在 benchmark 中拆分语言、视觉、运动学和传感器噪声的独立贡献，报告每个域轴的 scaling law。

如果你的目标是训练一个新的 bimanual VLA，较稳妥的起点是先用 demo_randomized 数据做跨任务预训练，再用少量真实 demonstrations 做 embodiment 与相机标定适配；不要只在 clean simulation 上追求高成功率。

RoboDojo 论文精读：统一仿真与真实世界的通用机器人操作评测基准

Thu, 27 Aug 2026 00:00:00 GMT

1. 论文概述

一句话总结

【Paper】 RoboDojo 不是一个新的 Policy，而是一套把“能力诊断”和“物理部署验证”连成闭环的评测基础设施：仿真侧覆盖 Generalization、Memory、Long-Horizon、Precision、Open 五个维度，真实侧用三种双臂机器人检验接触、噪声和执行稳定性。

核心贡献

【Paper】 论文的贡献可以拆成四层：

统一的 sim-and-real pipeline：相同的 observation/action 接口连接 Isaac Sim 与真实机器人，减少从仿真到实体部署的策略侧改造。
RoboDojo Benchmark：42 个仿真任务和 18 个真实任务；仿真任务覆盖五个能力维度，真实任务覆盖 ARX X5、Piper、Piper X 三种 embodiment。
RoboDojo-RealEval：固定机械臂、相机、灯光、工作区、场景 reset 与评分协议，并支持远程云端评测。
XPolicyLab：将 30 个机器人策略接入同一代码框架，配套训练、部署、转换和 leaderboard 流程。

【Analysis】 这项工作的价值不在于“任务数量更多”本身，而在于把 benchmark 从一次性的成功率表格变成持续的诊断循环：仿真快速定位能力短板，真实平台检查这些改进是否真的能安全执行。

2. 背景与相关工作

【Paper】 现有操作 benchmark 往往有两个结构性问题。第一，任务虽然改变物体、布局或指令，但底层操作模式仍然相近，难以区分“看懂了新场景”和“真正学会了新能力”。第二，仿真与真实评测通常彼此割裂：仿真便宜且可扩展，却遗漏接触动力学、标定误差和执行噪声；真实机器人更接近部署，却昂贵、慢且难复现。

RoboDojo 将相关工作中的互补思想组合起来：CALVIN 一类工作强调语言条件的长时序执行，RoboTwin 强调跨场景泛化，RMBench 关注记忆，精细操作工作关注精度，而 RoboDojo 试图在同一套协议下同时测量这些能力，并额外加入开放语义与真实世界部署。

【Analysis】 因而它更像“能力剖面（capability profile）”而不是单一总分。一个策略可能在 Long-Horizon 得分较高，却在 Precision 或 Open 几乎失效；这种差异比一个平均成功率更适合指导下一轮模型设计。

3. 问题定义

【Paper】 给定一个带语言任务指令的双臂操作环境，策略接收同步的视觉与机器人状态观测，输出动作并完成 episode。RoboDojo 关心的不是某一个任务的最优策略，而是策略在多种能力维度和物理条件下的可靠性。

| 项目 | RoboDojo 定义 | | --- | --- | | Observation | 仿真或真实环境的 RGB 相机流、机器人状态与语言指令；真实平台使用头部相机和双腕相机 | | Action | 由各策略实现负责的关节、末端位姿或其他控制表示，通过统一接口发送给环境 | | Simulation embodiment | ARX X5 双臂，双臂基座间距 0.6 m | | Real embodiments | ARX X5、Piper、Piper X | | Simulation tasks | 42 个，分为 Generalization 12、Memory 6、Long-Horizon 8、Precision 8、Open 8 | | Real tasks | 18 个，每种 embodiment 6 个 | | Metrics | Success Rate（完整成功）与 Score（允许中间步骤部分得分） | | Evaluation budget | 仿真每任务 50 episodes；真实世界每任务 10 trials |

【Paper】 仿真训练数据包含 35 个任务目录、3,500 条轨迹、1,859,602 帧（约 20.66 小时，25 Hz）；真实示教包含 1,800 条轨迹、1,611,841 帧（约 17.91 小时，25 Hz）。Open 维度不进入仿真训练集，用于测试技能重组和开放语义迁移。

4. 方法

4.1 Overall Architecture

RoboDojo 的系统架构由三部分组成：配置驱动的 Isaac Sim 仿真平台、标准化的 RoboDojo-RealEval 真实平台，以及承上启下的 XPolicyLab。策略只需实现 observation 更新、action 预测、reset 和批量 query 等接口，就能在两种环境中运行。

【Paper】 数据流可概括为：任务配置与随机种子生成场景 → 环境输出统一 observation → XPolicyLab policy server 预测 action → 仿真或真实机器人执行 → success/score 记录并汇总到 leaderboard。

4.2 核心模块

配置驱动仿真与数字资产

输入：YAML 任务配置、随机种子、资产元数据。
中间模块：Isaac Lab vectorized interface、MagicSim manager、场景构造器和 success checker。
输出：可复现的刚体、关节体或可变形物体场景，以及逐 episode 的观测和评分。
作用：任务定义与 simulator runtime 解耦，同一套执行器可以替换物体、布局、灯光和 reset 分布。

【Paper】 资产库为每个物体记录类别、语言描述、放置区域、成功判定标注和 manipulation affordance。自动示教由 grasp、place、handover、insert、open、close、stack、push_up 等低层技能组合，并使用 cuRobo v2 规划；难以自动合成的任务则通过 VR teleoperation 收集。

Heterogeneous Parallelism

传统 vectorized simulation 克隆同一个场景模板，只改变 pose 或 seed。RoboDojo 让并行环境保留独立的对象类别、几何、干扰物数量、关节结构和布局，同时共享 stepping interface。

【Analysis】 这一步的关键是把“并行”与“场景同质化”解耦。它既保持 GPU 吞吐，又避免策略只在重复的桌面模板上刷分。

RoboDojo-RealEval

固定因素：机械臂和相机相对位姿、工作区几何、照明、桌面与场景布局。
评测界面：触屏网页用于 scene reset、运行策略、急停、视频采集和云端评分。
布局复现：把目标布局图与实时视频叠加，帮助评测者在每次 trial 前恢复一致初始状态。
部署模式：本地策略服务器或远程 policy server，通过统一通信协议连接真实机器人客户端。

【Paper】 真实任务并不与仿真任务一一配对，因此 RealEval 不是严格的 paired sim-to-real transfer benchmark，而是对仿真能力的物理世界补充测试。

XPolicyLab

XPolicyLab 统一数据转换、训练模板、部署流程、配置和评测脚本，同时保留每个 Policy 的内部架构。论文将 30 个策略接入共享代码库，使同一个实现可以先在仿真中快速迭代，再以很少的 policy-side adaptation 部署到 RealEval。

4.3 关键公式

分维度聚合

设五个能力维度为 $d\in{G,P,L,M,O}$，每个维度包含若干任务。论文最终的 overall 指标是维度均值：

$$ S_{\mathrm{overall}}=\frac{1}{5}\sum_{d}S_d,\qquad C_{\mathrm{overall}}=\frac{1}{5}\sum_{d}C_d. $$

其中 $S_d$ 是维度 $d$ 的平均 Success Rate，$C_d$ 是平均 Score。【Paper】 采用维度均值而不是所有任务直接平均，避免任务数量较多的维度主导总分。

真实世界部分得分

对一个 trial，三位 evaluator 分别给出包含中间子步骤的分数 $c_1,c_2,c_3$，最终分数为：

$$ C_{\mathrm{trial}}=\frac{c_1+c_2+c_3}{3}. $$

Success Rate 则只统计完整任务是否成功。【Analysis】 这解释了为何真实世界常出现“Score 明显高于 Success Rate”：策略完成了部分动作，却在最后对齐、接触或阶段切换时失败。

4.4 Training

【Paper】 RoboDojo 本身不是单一训练算法。仿真示教来自自动轨迹合成和 VR teleoperation，真实示教采用同 embodiment 的 leader-follower teleoperation；XPolicyLab 为不同模型提供统一训练入口。评测 leaderboard 中大多数仿真策略使用三个随机种子，每个任务每个 seed 运行 50 trials；真实策略按 embodiment 训练一个 seed。

【Code】 官方仓库公开的是 benchmark、仿真环境和评测基础设施，具体 Policy 的训练超参数由 XPolicyLab 中各模型目录维护；论文附录列出代表性模型的 foundation checkpoint、batch size 和训练步数。论文未声称所有 30 个模型共享同一优化器或损失函数。

4.5 Inference

【Paper】 推理阶段只依赖当前环境 observation 和任务指令。仿真中多个异构环境并行 step；真实世界中 policy server 通过通信协议返回 action，客户端负责机器人执行、reset、视频记录和安全终止。

4.6 代码实现对照

【Code】 论文给出的官方代码入口为 Luminis-Sim/Robodojo，项目文档和 leaderboard 分别位于 robodojo-benchmark.com 与 XPolicyLab.github.io。从论文与公开仓库的职责划分可确认：

benchmark 侧负责任务配置、资产、Isaac Sim/Isaac Lab 环境、异构并行、reset 与成功判定；
XPolicyLab 侧负责策略适配、数据转换、训练模板、policy server 和评测脚本；
RealEval 侧负责真实硬件客户端、布局复现、急停、视频和评分协议。

【Analysis】 这是一种“薄适配层”设计：策略作者不需要重写每个 benchmark 的数据加载和部署逻辑，但仍需处理自身的相机预处理、动作空间和控制频率。论文没有给出一个所有策略共用的神经网络架构，因此不能把 RoboDojo 误读成新的 VLA 模型。

5. 实验

5.1 Experimental Setup

【Paper】 仿真 benchmark 在 42 个任务、2,100 个 episodes 上评测（每任务 50 次），并报告五维 Success Rate 与 Score。Generalization 再拆为 25 个 standard 和 25 个 random episodes。真实 benchmark 在 18 个任务上运行 10 trials，共 180 次物理试验/策略，覆盖 ARX X5、Piper、Piper X。

【Paper】 仿真和渲染使用 8 张 RTX 4090；RealEval 的效率实验在同一局域网内用 RTX 4090 policy server。人类参考由有经验的 VR 或真实机器人 teleoperator 完成，并不参与策略排名。

5.2 Main Results

仿真 leaderboard（3 Jul. 2026 版本）最值得关注的不是某个模型夺冠，而是“整体仍处于低成功率区间”：

| Policy | Overall Score | Overall Success | 最强维度 | | --- | ---: | ---: | --- | | Hy-Embodied-0.5-VLA | 13.07 | 8.80% | Long-Horizon 25.74 / 14.92% | | Spatial Forcing | 12.38 | 8.04% | Generalization 14.12 / 9.33% | | $\pi_{0.5}$ | 11.41 | 6.91% | Open 1.98 / 1.67% | | X-VLA | 10.13 | 6.52% | Precision 18.32 / 12.00% | | Human teleoperation | 80.42 | 76.03% | 参考上限 |

【Paper】 Hy-Embodied-0.5-VLA 在平均、Memory 和 Long-Horizon 领先；Spatial Forcing 在 Generalization 领先；X-VLA 在 Precision 领先；$\pi_{0.5}$ 在 Open 维度领先但仍只有 1.67% 成功率。维度间的领先者不同，说明“整体更强”不等于“每种能力都强”。

真实世界的差距更大：$\pi_{0.5}$ 在 18 个任务上的 overall Score 为 22.9、Success Rate 为 12.8%；InternVLA-A1 为 12.0 / 7.2%，GalaxeaVLA 为 9.0 / 4.4%；人类 teleoperation 为 100 / 100。

【Analysis】 Score 与 Success Rate 的分离揭示了 physical execution bottleneck：策略往往能抓取、移动或放置其中几步，却无法稳定完成对齐、接触、阶段转换和错误恢复。

5.3 Ablation Study

论文没有把 RoboDojo 作为单一神经网络做传统“去掉某模块”的 ablation，而是对 benchmark 机制本身做受控比较：

异构并行：零动作 rollout 吞吐从 40.0 提升到 77.4 interactions/s，约 1.94×；加入 $\pi_{0.5}$ 推理后从 39.2 提升到 64.0，约 1.63×。
Standard vs Random：Hy-Embodied-0.5-VLA 从 21.98 降到 1.57（下降 92.9%）；Spatial Forcing 从 21.25 降到 6.98（下降 67.2%），说明空间 grounding 有帮助但仍不够。
跨 GPU 稳定性：不同 RTX 4090 上 overall Success Rate 的最大标准差为 0.5 个百分点，Score 最大标准差为 0.49。
真实重复性：$\pi_{0.5}$、InternVLA-A1、GalaxeaVLA 三轮复测的 overall Success Rate 标准差不超过 1.3 个百分点，Score 标准差不超过 1.2。

5.4 Generalization

【Paper】 Generalization 维度最多包含 25 个干扰物、随机背景、灯光、布局和目标物体；作者还提供 100 条与评测任务独立的 DLC trajectories 作视觉数据增强。Open 维度则故意不提供对应示教，测试模型能否把训练中见过的基础技能重组到新语义目标。

【Analysis】 结果显示，真正困难的是 scene-level shift 后的 metric grounding 与闭环控制，而不只是识别物体。Memory 任务要求记住已经离开视野的类别或演示顺序；Long-Horizon 要求保持阶段进度并处理双臂 handover；Precision 要求在狭窄接触空间中平滑修正；Open 则要求从语言意图落到可执行 affordance。这四类失败模式分别对应记忆检索、技能组合、接触控制和语义—动作对齐。

6. 方法分析

6.1 为什么有效？

【Analysis】 RoboDojo 有效的第一原因是把可诊断性写进任务设计：五个维度近似正交，策略的强弱不会被一个大而杂的总分掩盖。第二原因是异构并行让高多样性场景的评测成本可接受。第三原因是 RealEval 把硬件、reset 和评分中的隐变量固定下来，使跨时间、跨用户比较更可信。第四原因是 XPolicyLab 降低接入成本，让 benchmark 能快速覆盖多种 action representation 和模型范式。

6.2 核心创新

能力维度化：从“任务集合”升级为 Generalization / Memory / Precision / Long-Horizon / Open 的诊断矩阵。
仿真异构并行：并行环境不再要求场景同质化。
可复现真实评测：远程硬件、布局 replay、双盲评分和视频发布形成完整闭环。
一次接入、两处评测：统一 policy interface 连接 simulation 与 physical deployment。

6.3 与已有方法的本质区别

【Analysis】 RoboDojo 与 VLA/Policy 方法的区别在于它不改变模型参数，而改变“模型如何被测量”。与只测仿真的 benchmark 相比，它加入真实世界的执行稳定性；与只测真实机器人的平台相比，它提供大规模、可重复、细分能力的仿真反馈；与只改变物体或语言的泛化测试相比，它显式构造记忆、精度、工具使用、双臂协同和开放语义等不同难点。

6.4 关键假设

【Paper】 维度均值能比任务均值更公平地表示综合能力。
【Paper】 固定布局与隐藏验证布局能降低 leaderboard overfitting 和 gaming。
【Analysis】 真实任务虽不与仿真一一配对，但共享的能力信号足以支持定性比较；它不能直接给出严格的 sim-to-real transfer coefficient。
【Analysis】 统一接口减少工程差异，却无法消除各策略相机预处理、控制频率和 action horizon 的先验差别。

7. 局限性

7.1 作者明确提出的局限

【Paper】 真实世界评测受硬件成本、执行时间、人工 reset 和安全约束限制，因此只选取每种 embodiment 的 6 个任务，并非穷尽所有能力。Real benchmark 也刻意不构造仿真任务的一一对应版本。Leaderboard 仍需要隐藏布局、视频、checkpoint 与代码发布等治理流程来抵抗过拟合。

7.2 自己分析得到的局限

【Analysis】 第一，仿真数字资产和接触模型再丰富，也不能覆盖真实摩擦、柔性、传感器延迟和碰撞风险；因此高仿真分数不应被解释为部署保证。第二，真实每任务 10 trials 对低成功率策略的置信区间仍然较宽，任务级排名可能受偶然接触状态影响。第三，Score 的部分进度定义依赖 evaluator，跨任务的可加性弱于 Success Rate。第四，30 个策略的训练数据、算力和微调预算并不完全同质，leaderboard 更适合做系统诊断，不宜当作纯粹的模型架构竞赛。

8. 启发与研究思考

从平均分转向能力曲线：下一代 Policy 应报告五维 profile，并把 Precision、Memory、Open 的失败轨迹作为训练信号，而不是只优化熟悉的 pick-and-place。
把 execution stability 作为一等目标：真实世界暴露的 jitter、oscillation、contact instability 和 unsafe behavior，提示 action smoothness、接触感知和 recovery policy 应进入训练目标。
让 benchmark 反过来驱动数据设计：Generalization 的随机场景、Memory 的稀疏证据、Long-Horizon 的阶段切换和 Open 的新语义，都可以直接转化为针对性数据采集协议。
仿真—真实闭环而非单向迁移：仿真用于高频实验，真实平台用于最终校验；两者共享接口和日志后，可以研究“哪些仿真指标最能预测物理失败”，而不只是追求 paired task 的 transfer ratio。
开放 leaderboard 需要治理：隐藏布局、三随机种子、全 embodiment 覆盖、视频与代码发布，是让公开分数可复现、可审计的必要条件。

【Analysis】 RoboDojo 最重要的研究问题不是“谁在榜首”，而是：当一个策略在某个维度进步时，是否也改善了真实机器人上的安全性、平滑性和错误恢复？如果未来 benchmark 继续扩展任务并保持协议稳定，它可能成为连接 VLA 预训练、操作技能学习和真实部署工程的共同测量坐标系。

RoboChallenge 论文精读：用远端机器人做大规模 VLA 真实评测

Thu, 27 Aug 2026 00:00:00 GMT

1. 论文概述

【Paper】 RoboChallenge 关注的不是提出一个新的 Vision-Language-Action（VLA）policy，而是回答一个更基础的问题：当要在许多真实机器人、任务和候选模型上做评测时，如何兼顾可扩展性、可复现性与对不同控制范式的兼容性。论文给出在线真实机器人基础设施，并以 30 个桌面及桌边任务组成 Table30 初始 benchmark。

一句话总结

【Analysis】 它把评测接口从「主办方运行你的模型」翻转为「你的程序远程读取机器人状态、再把动作放进队列」；随后用图像对齐来约束人类 reset 的初始状态。前者减少部署摩擦，后者针对真实机器人基准中最隐蔽、也最容易扭曲排名的变量。

核心贡献

【Paper】

提出 remote robot 范式：模型与推理代码始终运行在参赛者一侧，平台提供带时间戳的观测、动作队列与调度 API。
建设包含 UR5、Franka Panda、Cobot Magic ALOHA、ARX-5 四类机器人的初始 10 台机器人 fleet，并提供多路 RealSense RGB-D 传感器。
提出 Visual Task Reproduction：让测试员把实时相机画面与留出的参考首帧对齐，降低 reset 分布和测试员策略对结果的影响。
发布 Table30：用 Success Rate（SR）和 Progress Score 区分「最终完成」与「已取得多少有效进展」，并报告五个已公开配置的基线结果。

【Code】 官方仓库 RoboChallengeInference 是参赛端示例、客户端与 mock server；它不包含论文中 $\pi_0$、$\pi_{0.5}$、CogACT 或 OpenVLA/OFT 的训练实现和 checkpoint。因此，本文对代码的讨论限定为评测通信与执行循环。

2. 背景与相关工作

【Paper】 模拟器 benchmark 覆盖范围大、成本低，但数字孪生无法穷尽现实中的相机漂移、接触、道具差异和人类布置误差。真实机器评测不可省略，然而常见的三种提交方式各有缺陷：提交 checkpoint / model files 会遇到 CUDA、框架与硬件不匹配；提交 Docker image 仍难调试；由评测端调用参赛者线上 Model API 则要求用户有稳定公网入口，并天然偏向「停机—推理—执行」循环。

【Paper】 论文特别指出 Real-Time Action Chunking 一类方法需要知道观测精确时间与动作排队状态，不能被简化为一个同步的 observation-to-action RPC。RoboChallenge 的目标因此不是仅托管若干任务，而是提供可让不同推理节奏和 temporal alignment 策略接入的真实机器低层接口。

【Analysis】 这与只比较固定 policy checkpoint 的 benchmark 有本质差异：RoboChallenge 的比较单位是「一个声明的模型与其运行时控制系统」。它获得了实现自由度，也把模型声明是否诚实的问题留给了协议与社区治理。

3. 问题定义

【Paper】 对一个任务 $\mathcal T$、参赛者控制程序 $\pi$ 与真实机器人 $R$，系统在时刻 $t$ 返回观测：

$$ o_t={I_t^{(1)},\ldots,I_t^{(V)}, q_t, t_{\rm robot}, n_t}, $$

其中 $I_t^{(v)}$ 是一个或多个 RGB / depth 相机流，$q_t$ 是与所选 action mode 对应的机器人状态，$t_{\rm robot}$ 是平台时间戳，$n_t$ 是尚待执行的动作数。参赛程序可在自己的机器上计算动作序列 $A_t=\pi(o_t,\mathcal T)$，连同每个动作的 duration 投递到 FIFO action queue；机器人按队列顺序执行。

【Paper】 评测目标不是让所有模型共享某种 action representation。论文的平台支持 joint 或 end-point / position 控制；单臂或双臂的可用相机与动作维度随机器人而定。输入输出的契约是「状态—动作队列」，而不是某个 VLA 的 token format。

| 要素 | RoboChallenge 的定义 | | -------- | ----------------------------------------------------------------- | | 观测 | 带时间戳的 RGB、depth、proprioception；代码示例以 pickle 字典返回 | | 控制 | joint 或 position，支持 left / right / 双臂等 mode | | 时序 | 独立 capture 与 action submission；客户端可以查看 pending queue | | 执行端 | 用户本地 GPU 与模型；平台侧只运行机器人与测试 harness | | 评测输出 | 每个 task 的 SR、Progress Score、视频与记录 |

4. 方法

4.1 Overall Architecture

【Paper】 RoboChallenge Site 集中托管真实机器人、相机与 action queue；Challenge Participant 在任意地点运行自己的 Transformer / policy，通过 API 拉取 observation、提交 action。平台不交换 Docker 镜像或 checkpoint，只承诺观测和队列的时序接口。

4.2 核心模块

Remote robot API

【Paper】 用户可发 capture request 得到 RGB、depth 与 proprioception，并把带 duration 的动作送入 FIFO 队列。已经提交的动作不可撤回；平台同时返回当前队列长度，使用户可以自行实现同步控制、temporal alignment 或 action ensembling。

【Code】 robot/interface_client.py 的 get_state() 请求 state.pkl，发送图像尺寸、image_type 和 action_type；post_actions() 将 actions 与 duration POST 到 /action。客户端先做 10 次 /clock-sync 采样，以两程时间的中点估计并平均 clock offset。每次动作提交会携带随机 hash，最多重试 5 次。

机器人与传感器

【Paper】 初始 fleet 含 UR5（6-DoF + Robotiq gripper）、Franka Panda（7-DoF，替换为 Robotiq gripper）、双 6-DoF 的 Cobot Magic ALOHA，以及桌面 ARX-5。论文列出选型约束：持续运行的耐久性、研究社区普及度、安全性，以及最高 100 Hz cyclic position control 与毫米级 repeatability。每台机器配有多台 RealSense RGB-D 相机，通常包括俯视主相机、腕部相机，单臂设置另有侧相机。

【Code】 README 指定 left_hand、right_hand、high 为状态请求的相机位置；mock server 根据 joint / pos 与 left/right 前缀校验动作长度。它是本地调试用的仿真接口，不是平台真实机器人驱动。

Visual Task Reproduction

【Paper】 人类测试员本身会造成很大方差：熟悉演示分布的人、第一次读任务说明的人、以及有动力为某个模型寻找「sweet spot」的人，会摆出不同的初始物体位置。平台从 demonstration 中抽取并留出 reference episodes；每次 rollout 将其中的首帧叠到实时预览上，测试员据此移动道具并检查桌面等因素。作者称之为 controlled tester，经验上其稳定性优于仅依赖「经验测试员」。

【Analysis】 它约束的是视觉输入而非物体的精确三维 pose。这很贴近 VLA 实际接收的信号，也避免了额外动作捕捉系统；但相机画面相似不必然代表遮挡、摩擦、物体重量或深度完全等价。

4.3 关键公式

【Paper】 Table30 把每个任务分为若干 stage，并令每个 stage 有 progress points $p_k$。第 $r$ 次 rollout 的未归一化进度可概括为：

$$ P_r=\sum_{k\in\mathcal C_r}p_k-0.5,n_r, $$

其中 $\mathcal C_r$ 是完成的 stages，$n_r$ 是 retry 次数。一个 stage 的 progress 若已降至负值，或连续失败 retry 超过 4 次，则该 rollout 被提前终止。论文将每个 rollout 的总 progress points 设为 10，每个 task 执行 10 次，故 task-level Progress Score 的满分为：

$$ \mathrm{PS}(\mathcal T)=\sum_{r=1}^{10}P_r\le 100. $$

【Paper】 Success Rate 则只衡量最终是否完成关键 stages：

$$ \mathrm{SR}(\mathcal T)=\frac1{10}\sum_{r=1}^{10} \mathbb{1}[\text{rollout }r\text{ 完成所有 critical stages}]. $$

因此一次在最后一步失败的执行可以有较高 PS、零 SR；多次重试后勉强完成则可有正 SR、较低 PS。两者不能互相替代。

4.4 Training

【Paper】 RoboChallenge 本身不训练统一 policy，也没有 policy loss、optimizer 或公共 checkpoint。平台为每个任务提供最多约 1,000 条 demonstration episodes；用户自行选择 VLA 与 fine-tuning 方案。论文的 Task-specific 设置使用每个任务的全部演示数据分别训练，典型地在 8 GPU 上耗时约一天；Generalist 设置从每个任务取约 50 条样本混合训练，但只混合同一种机器人，因此更准确地说是 machine generalist。

【Paper】 训练前，reference episodes 会从可训练演示中留出，以供 Visual Task Reproduction 使用；这使测试首帧不会直接落入同一批训练样本。论文没有报告这些基线的统一学习率、batch size、数据增广或 loss，不能把它们补写为 RoboChallenge 的标准训练配方。

4.5 Inference

【Paper】 评测时，平台给出可执行窗口，用户在本地加载权重、分配 GPU、warm-up 推理引擎。骨架程序在机器人状态正常且 action queue 清空时取观测、推理并提交动作；等待队列清空后再取下一帧，因而示例走的是 steady-state 的 observe–infer–act cycle。论文同时强调，低层异步 API 并不强制所有用户采用这一周期。

【Code】 robot/job_worker.py 只在 job status 为 ready 时启动机器人，循环中跳过非 normal 状态或 pending_actions != 0 的状态。demo.py 的 GPUClient.infer() 把完整 state 字典交给参与者实现的 DummyPolicy.run_policy()；示例默认请求 $224\times224$ 的三路图像、joint 控制和 0.05 秒 duration。这些是样例默认值，不是论文对所有 submission 的限制。

4.6 代码实现对照

| 论文中的能力 | 官方代码位置 | 可核对的实际行为 | | -------------- | --------------------------- | --------------------------------------------------------------------- | | 参与者本地推理 | demo.py | DummyPolicy 是待替换接口；GPUClient 将完整 state 传给用户 policy | | 任务调度与运行 | robot/job_worker.py | 轮询 job collection，遇到 ready 的 job 后启动并驱动执行循环 | | 状态与动作协议 | robot/interface_client.py | state.pkl 以 pickle 返回；/action 以 JSON 投递动作序列和 duration | | 时间对齐 | robot/interface_client.py | 对 /clock-sync 连续采样 10 次，使用平均 offset | | 离线调试 | mock_server/、test.py | FastAPI mock server 回放数据并校验 action mode / 维度，不连接真实平台 |

【Analysis】 代码把「模型」刻意留为用户的实现空位，这正体现 remote robot 的边界：平台标准化机器交互与调度，而不试图标准化 VLA 内部。但这也意味着同名模型可以配不同 temporal policy、后处理甚至人为干预；仅靠结果表无法完全归因到 base model。

5. 实验

5.1 Experimental Setup

【Paper】 Table30 的 30 个任务均发生在桌面或桌边，却覆盖摆花、整理餐桌、折布、插网线、扫码、开抽屉、扫垃圾、浇花等不同活动。平台按 precise 3D localization、occlusion / multi-view、temporal dependence、long horizon、多物体识别、双臂协作和 soft body 等能力组织难点。

【Paper】 每个 task 有 10 次 rollout；评分既看最后是否成功，也按 stage 累加 progress 并对 retry 罚分。作者的基线包括 $\pi_0$、$\pi_{0.5}$、CogACT 与 OpenVLA/OFT；论文的结果图和表实际列出了 $\pi_{0.5}$、$\pi_0$、CogACT 及两种 multi-task 配置共五个条目，不能据此推断未展示的 OpenVLA/OFT 数值。

5.2 Main Results

【Paper】 已报告条目的 30-task 平均值如下；SR 是百分比，PS 满分为 100：

| 设置 | 平均 SR | 平均 PS | | ----------------------------- | -------: | -------: | | $\pi_{0.5}$，Task-specific | 43.7 | 62.2 | | $\pi_0$，Task-specific | 28.3 | 47.6 | | CogACT，Task-specific | 11.7 | 21.8 | | $\pi_{0.5}$/multi，Generalist | 17.7 | 31.3 | | $\pi_0$/multi，Generalist | 9.3 | 20.6 |

【Paper】 $\pi_{0.5}$ 的 task-specific 曲线在 SR 和 PS 的各个排序百分位都领先。论文还观察到，在每任务仅约 50 条演示、按机器混合训练时，$\pi_{0.5}$/multi 在少数任务上能超过 task-specific 版本；这是一项关于该数据划分和基线的结果，并非对跨机器人通用能力的证明。

5.3 Ablation Study

【Paper】 该论文没有对一个新模型架构给出传统的模块消融表；其「ablation」更接近评测协议的设计诊断。作者让经验测试员、不了解数据的测试员和试图提升某个模型成绩的 adaptive tester 分别执行两个任务，发现测试者与物体摆放方式会显著改变 SR。后者还会在成功区域附近不断布置物体，形成 sweet-spot bias。

【Paper】 为检验环境变化，作者对输入图像人为加入背景、遮挡等扰动，观察 VLA 输出仍大体一致；它支持「不必进行光学级复现」的设计判断，但只是 proof-of-concept，不是所有视觉扰动与所有模型的严格鲁棒性结论。

5.4 Generalization

【Paper】 Table30 特意让任务难度、机器人、地点类别和目标物体性质多样化。跨任务平均表现最低的是 temporal（SR 5、PS 14）与 softbody（SR 8、PS 27）；precise3d 也偏难（SR 18、PS 38）。全体 30 个任务的平均为 SR 22、PS 37；simple-pick 标签的任务平均 SR 为 42。

【Analysis】 这些数字说明评测集能区分当前模型，却不等于已证明对未见机器人、移动底盘、触觉任务或开放环境的泛化。Table30 的初始范围仍是固定桌面附近、夹爪操作与现有四种机器形态。

6. 方法分析

6.1 为什么有效？

【Analysis】 远端访问让参赛者在熟悉的硬件和软件栈上保留完整控制循环，消除了「提交镜像在另一台机器跑不起来」这一与 policy 能力无关的失败源。视觉复现则将人类 reset 从隐含变量变成可操作流程：测试员不需要重演数据采集者的经验，只需要让模型实际会看到的画面接近 reference。

6.2 核心创新

【Analysis】 最大创新不是某个 action decoder，而是评测接口与 protocol 的共同设计。时间戳、观测 buffer、action queue 让复杂 online control 有接口基础；reference-frame reset 又约束了真实世界里最难消除的初始分布偏移。两者缺一不可：只有 API 会留下人为 reset bias，只有统一 reset 又会把控制范式锁死在固定 runner 中。

6.3 与已有方法的本质区别

| 维度 | 提交模型 / Docker | 评测端调用参赛者模型 API | RoboChallenge remote robot | | ---------- | --------------------- | ------------------------ | -------------------------------- | | 推理运行处 | 主办方机器 | 参赛者服务器 | 参赛者本地 / 自己的算力 | | 主要接口 | 权重或容器 | model input / output | 带时间戳状态与动作队列 | | 部署风险 | 环境、GPU、依赖不一致 | 公网可达性与服务维护 | 参与者需保持本地程序在线 | | 控制节奏 | 常被 runner 固化 | 多为同步 RPC | capture 与 action 可异步组织 | | 可核验性 | 可检查提交物 | 可检查服务调用 | 最弱：平台无法确认实际运行的模型 |

6.4 关键假设

【Analysis】 方法假定：（1）参考图像足以约束对 policy 重要的初始状态；（2）不同用户能正确将自己的归一化、坐标系和 action duration 适配到 API；（3）用户不会把声称的 generalist 置换为 task-specific 模型，或引入 human-in-the-loop；（4）公开录像、模型/代码发布倡议和社区监督能提供足够的诚信约束；（5）同一 task 的 10 次 rollout 足以描述该设置的随机性。

7. 局限性

7.1 作者明确提出的局限

【Paper】 推理运行在用户侧的直接代价是平台无法验证实际运行的模型是否与声明一致。用户理论上可以使用完全不同的方案、把本应是 multi-task generalist 的结果替换为独立调优的模型，甚至进行 human-in-the-loop 操作。论文的处理方式是信任参与者，并鼓励公开代码和模型。

【Paper】 固定的 reference test cases 也可能让 submission 对这些特定测试初态过拟合；作者称截至写作时尚未观察到这种情形，但没有将其排除。平台目前采用更重视单模型稳定性的 benchmark protocol；随机抽取模型且测试员不知道模型身份的 comparative protocol 尚只是未来计划。

7.2 自己分析得到的局限

【Analysis】 评测的可扩展性仍受物理运营约束：道具准备、测试员、设备维护和排期可使等待时间达到数小时至数天。其次，真实机器与多机器人设置增加生态有效性，却也让同一 policy 的结果同时受相机标定、夹爪、机械臂控制器和场地状态影响。最后，官方仓库只公开接口骨架与 mock server，未给出论文基线的完整训练配方；读者应将 Table30 视为公开的测量结果，而非已可端到端复现的全部 baseline pipeline。

8. 启发与研究思考

【Analysis】 一个成熟的真实机器人 leaderboard 不该只发布单一 SR，而应同时发布初态协议、每步或分阶段成绩、视频、控制频率、观测延迟、动作队列状态及可能的人工干预记录。RoboChallenge 已把视频和 logs 纳入结果的一部分；下一步可考虑加密版本化的 policy artifact、受限随机 reference set、盲测 comparative protocol，以及把 action trace 与模型身份做可审计绑定。

【Analysis】 对 VLA 研究者而言，Table30 的低分标签也给出很具体的方向：单帧策略难处理 temporal dependence，$224\times224$ 输入对 precise 3D 操作是瓶颈，soft body 需要比纯视觉模仿更可靠的状态估计或交互反馈。比起只提高平均 SR，更值得追问的是某种 memory、3D representation、触觉或 closed-loop recovery 是否确实改善了这些失败模式。

RoboCasa 论文精读：把日常机器人训练数据扩展到十万条轨迹

Thu, 27 Aug 2026 00:00:00 GMT

1. 论文概述

论文名称：《RoboCasa: Large-Scale Simulation of Everyday Tasks for Generalist Robots》作者：Soroush Nasiriany、Abhiram Maddukuri、Lance Zhang 等 发表会议：Robotics: Science and Systems（RSS 2024） 论文链接：arXiv:2406.02523 代码链接：robocasa/robocasa 项目主页：RoboCasa

一句话总结

【Paper】 RoboCasa 不是单一策略或单一基准，而是一套面向日常厨房操作的可扩展数据生产线：用多样的可交互场景承载任务，用 LLM 提议有语义的复合活动，再用少量人类遥操作示教驱动 MimicGen 大规模合成轨迹；实验表明，生成数据从每任务 100 条增加到 3,000 条时，多任务行为克隆的成功率持续上升。

核心贡献

【Paper】

构建厨房仿真框架：10 种平面布局与 12 种装修风格组合为 120 个场景，具有橱柜、抽屉和可改变状态的电器；资产库包含 2,509 个物体、153 个类别。
定义 100 个任务：25 个 atomic tasks 覆盖抓放、开关门/抽屉、旋钮、按钮、插入和导航等 8 类基础传感运动技能；75 个 composite tasks 由 LLM 辅助提出并由人工实现。
发布逾 10 万条轨迹的数据集：4 名操作者先收集每个 atomic task 的 50 条高质量示教，再以 MimicGen 扩增，从而降低大规模数据采集的人力门槛。
在仿真中展示清晰的规模趋势，并在真实厨房中证明与仿真数据共同训练可以优于只用目标真实数据训练。

2. 背景与相关工作

【Paper】 机器人学习的瓶颈常常不是模型，而是覆盖足够物体、场景和任务变化的交互数据。真实数据昂贵、采集慢、容易受硬件和安全条件限制；但过于简单的仿真环境又无法提供日常操作所需的丰富物体、可动家具与长程任务组合。

【Paper】 RoboCasa 建立在 RoboSuite 之上，选择厨房作为首个领域：它既包含抓取、放置等基础动作，也天然包含门、抽屉、开关与多物体整理等状态变化。论文将已有工作中的两个长处合并：一方面从大型仿真框架获得环境多样性，另一方面从 MimicGen 获得“少量真人 seed demonstration → 大量成功轨迹”的数据扩增能力。

【Analysis】 这篇论文的关键不在于宣称“仿真替代真实”，而是把仿真看作可控的数据规模杠杆。场景/物体/任务多样性、轨迹生成与策略学习在同一系统内闭环，因而能问一个更严格的问题：在其他训练条件不变时，扩充成功示教是否真的带来策略收益？

3. 问题定义

【Paper】 给定语言指令 $l$、过去 $H$ 个观测 $o_{t-H+1:t}$，策略预测未来动作序列。论文的主要多任务实验使用 Franka Panda 加 Omron 移动底座，并以行为克隆训练 BC-Transformer：观测由三个相机画面、末端执行器位姿和移动底座位姿构成，输出为连续机器人动作。

| 维度 | RoboCasa 论文设定 | | -------- | ---------------------------------------------------------- | | 环境 | 厨房；120 个由布局、风格与纹理组合的场景 | | 具身 | 轮式移动操作臂，也支持人形和带臂四足机器人 | | 基础技能 | 抓放、门/抽屉开关、旋钮、拨杆、按钮、插入、导航 | | 任务 | 25 个 atomic tasks + 75 个 composite tasks | | 观测 | 三路相机、末端执行器位姿、移动底座位姿、语言目标 | | 训练目标 | 从示教学习条件策略，评估新物体及未见场景风格下的任务成功率 |

【Paper】 对于 atomic tasks，目标是学习一个共享的多任务策略；对于由多个技能串联的 composite tasks，论文改为每个任务各训练一个策略，并比较从头训练与从 atomic-policy 初始化后微调。

4. 方法

4.1 Overall Architecture

【Paper】 RoboCasa 的数据流为：场景与资产随机化 → 任务规格 → 人类 seed demonstrations → MimicGen 轨迹扩增与成功筛选 → 多任务 imitation learning。论文的架构重点是数据生成与评测基础设施，而不是提出一个新的 policy network。

4.2 核心模块

可交互厨房与视觉随机化

【Paper】 论文收集常见厨房平面图并建模 10 种布局；再组合 Industrial、Scandinavian、Coastal、Modern 等 12 种风格。墙面、地板、台面和橱柜面板各有 100 张由 MidJourney 生成的纹理，可作为视觉 domain randomization。电器被处理为可关节化对象：例如微波炉门可开合、炉灶旋钮可旋转，且旋钮会触发炉眼点亮等状态变化。

【Analysis】 这里的随机化不是只改背景颜色。布局改变可达性，家具与电器改变交互状态，纹理改变视觉外观；三者分别覆盖几何、动力学前提与感知域。它们共同决定“同一个语言任务”是否会在训练集中呈现足够多的实现方式。

任务层级：atomic 与 composite

【Paper】 25 个 atomic tasks 将 8 类基础技能显式拆开，便于复用轨迹分段逻辑；75 个 composite tasks 则描述“准备咖啡”“解冻食物”“整理食品柜”等有语义的厨房活动。任务设计分两步：先让 GPT-4 列出 20 类高层厨房活动，再由 GPT-4 或 Gemini 1.5 为每类活动提出代表性任务。论文明确说明，LLM 输出会被过滤或修改，最终任务仍需人工编程实现。

MimicGen 轨迹扩增

【Paper】 MimicGen 先将一条 seed demonstration 分解为围绕参考物体的操作片段。面对新场景时，它按该参考物体的当前位姿变换每个片段、拼接为完整轨迹，并让机器人执行。只有最终成功的生成尝试被保留，因此生成过程带有 rejection sampling。

【Paper】 该过程依赖两个前提：任务需具有已知的 object-centric subtask 序列，且 seed trajectory 要带有相应分段标注。RoboCasa 利用 8 个基础技能的共享结构缓解人工负担，例如所有抓放任务都能复用“抓取参考物 → 放置到目标物”的分段模板和终止检测器。

4.3 关键公式

【Paper】 论文的策略学习部分采用条件行为克隆。令 $o_{t-H+1:t}$ 是长度为 $H$ 的观测历史，$l$ 是语言指令，$a_{t:t+A-1}$ 是要预测的 $A$ 步动作序列，则可写为：

$$ \hat a_{t:t+A-1} = \pi_\theta(o_{t-H+1:t}, l) $$

训练以示教动作监督预测动作：

$$ \mathcal L_{\mathrm{BC}}(\theta) = \mathbb E_{(o,l,a)\sim \mathcal D} \left[\sum_{j=0}^{A-1} \ell!\left(\hat a_{t+j}, a_{t+j}\right)\right] $$

其中 $\mathcal D$ 可为人类遥操作数据或 MimicGen 生成数据；$\ell$ 是动作误差。【Paper】 原文将具体 BC-Transformer 实现交由 RoboMimic，并未在正文为该损失指定单独的新公式；上式用于明确其监督对象，而非论文额外提出的算法贡献。

【Paper】 轨迹生成的缩放变量是每任务示教数 $N$：Human-50、Generated-100、Generated-300 与 Generated-3000 仅在数据来源/规模上变化。实验由此将“更多生成数据是否有用”转化为受控比较。

4.4 Training

【Paper】 首先，4 名操作者用 3D SpaceMouse 为每个 atomic task 收集 50 条示教，共 1,250 条；每条示教均在随机厨房布局、风格和 AI 纹理下采集。随后，MimicGen 以这些示教为种子，对 24 个 non-navigation atomic tasks 每个合成 3,000 条轨迹，得到 72,000 条；另有 28,000 条使用 AI 生成物体的轨迹，组成逾 10 万条的发布数据。

【Paper】 主实验用 RoboMimic 的 BC-Transformer 训练四个多任务数据设置。模型读取过去 10 帧观测和语言目标，预测未来 10 步动作；每步重规划一次。三个相机各用一个 ResNet-18 编码器，视觉特征由 FiLM 融合，再输入约 2,000 万参数、6 层的 Transformer。训练 50 万个 gradient steps，学习率 $10^{-4}$ 并使用 warmup。

4.5 Inference

【Paper】 每个控制时刻，策略取最近 10 个观测、三路图像和语言目标，输出未来 10 步动作，但只执行第一步，下一时刻重新规划。这个 receding-horizon 设计让策略可用新的视觉反馈修正先前预测。

4.6 代码实现对照

【Code】 官方仓库当前主分支已是后续的 RoboCasa365，而非论文 2024 初版：README 标注其扩展到 365 个任务、2,500+ 厨房场景及更多数据。因此下列代码观察描述的是项目的当前实现，不能当作原论文的实验设置。

| 论文中的角色 | 当前代码位置 | 可核查行为 | | -------------- | -------------------------------------------------------------------------- | ---------------------------------------------------------------------------- | | 仿真任务入口 | robocasa/__init__.py | 注册 RoboCasa 环境，支持以 Gymnasium 方式创建任务。 | | 人类示教采集 | robocasa/scripts/collect_demos.py | 接收键盘/SpaceMouse 等设备输入，逐步执行动作，并将成功 episode 汇总为 HDF5。 | | 数据集索引 | robocasa/utils/dataset_registry_utils.py | 按 pretrain、target、real split 和 human/MimicGen 来源返回数据元信息。 | | 数据下载与格式 | robocasa/scripts/download_datasets.py、docs/datasets/using_datasets.md | 当前发布数据支持 LeRobot 格式下载。 | | MimicGen 使用 | docs/use_cases/mimicgen.md | 文档给出以已有 seed demonstrations 为起点生成新轨迹的流程。 |

【Analysis】 代码演进本身很有信息量：论文建立的是“可扩展的接口与数据生产范式”，而非固定 100 任务的封闭系统。阅读复现实验时应固定到论文对应版本或数据快照；直接使用今日主分支能获得更多功能，却无法复现本文表格里的任务数与数据规模。

5. 实验

5.1 Experimental Setup

【Paper】 atomic-task 对比包括 Human-50（25 task、每 task 50 条，合计 1,250 条）与 Generated-100/300/3000（24 task，分别合计 2,400/7,200/72,000 条）。训练图像使用 AI 纹理，评估时换为人工精选纹理；每个 task 在 5 个固定评估场景运行 50 次，并只评估未见物体实例。五个场景中有两个使用训练未见的风格。

【Paper】 composite-task 实验选择 ArrangeVegetables、MicrowaveThawing、RestockPantry、PreSoakPan 和 PrepareCoffee：每个任务只有 50 条人类示教，比较从零训练与在 Generated-3000 atomic policy 上微调。真实机器人实验使用 DROID 硬件上的 Franka Panda，覆盖 counter→sink、sink→counter、counter→cabinet 三个抓放任务；每任务收集 50 条、横跨 5 种物体类别的真实示教。

5.2 Main Results

【Paper】 在 24 个 atomic tasks 上，Human-50 的总体成功率为 28.8%，Generated-3000 为 47.6%。从图中可见 Generated-100、Generated-300、Generated-3000 随数据量增大而逐步提升，说明收益并非只来自“生成轨迹替换人工轨迹”，还与规模直接相关。

【Paper】 不同技能的难度并不均匀：门/抽屉开关和按钮按压的成功率较高；抓放和插入较难。作者将其归因于物体可供性多样、精细接触要求更高等因素。该差异提醒我们，“总成功率提升”并不等于每种具身能力都已被解决。

【Paper】 真实机器人中，Real only 在 seen objects 上平均成功率为 13.6%，Real + Sim 为 24.4%；在 unseen objects 上则由 2.6% 升至 9.3%。论文报告 seen-object 平均值相对提高 79%。这些结果支持仿真数据可作为真实小数据训练的补充，但绝对成功率仍有限。

5.3 Ablation Study

【Paper】 论文最核心的 ablation 是数据规模：Generated-100、Generated-300、Generated-3000 共享生成机制与策略训练设置，区别是每 task 的保留示教数。总体柱状图从 34.9%、35.2% 到 47.6% 上升，而 Human-50 为 28.8%。因此作者的结论是：经过成功筛选的自动生成轨迹能以较低人工成本形成可缩放的训练集。

【Paper】 附录还以相同观测编码器比较 Diffusion Policy 与 BC-Transformer：在单阶段 PickPlaceCounterToSink 上，BC-Transformer 达到 56%，Diffusion Policy 为 12%。作者指出两者采用的 observation history 不同（BC-Transformer 为 10，Diffusion Policy 为 2），因而这不是对架构能力的完全隔离比较。

5.4 Generalization

【Paper】 仿真评估刻意把训练纹理与评估纹理分离，并保留未见物体实例、未见厨房风格，测试的是视觉与物体泛化，而不只是回放训练场景。

【Paper】 对 composite tasks，从 atomic 数据预训练后再微调优于从零训练，并使 5 个任务中的 4 个获得非零成功率；但整体仍然困难。作者观察到的失败包括精细操作失误和阶段间切换失败。

【Analysis】 真实迁移与 composite 微调共同描述了一个边界：RoboCasa 的规模化数据能提供有用先验，但长程阶段组合与 sim-to-real 的视觉/控制差异不会因单纯增加单阶段成功轨迹而自动消失。

6. 方法分析

6.1 为什么有效？

【Analysis】 MimicGen 让少量高质量示教承担“结构模板”的角色，把变化最大的部分——物体位置、场景配置和资产外观——交给仿真反复实例化。相比让人类为每种厨房状态重新遥操作，这种分工更适合规模化。

【Analysis】 生成过程仅保留完成任务的轨迹，避免把明显失败的动作作为 BC 标签；而 receding-horizon BC-Transformer 又能在每步使用最新观测重规划。前者提高监督数据的有效密度，后者降低动作序列一次预测到底的脆弱性。

6.2 核心创新

【Paper】 论文的创新组合可概括为：

面向日常操作而设计的高交互性、大规模厨房仿真资产与场景。
将 LLM 用于扩展“应该做什么”的任务语义空间，而不是让 LLM 直接控制机器人。
将 MimicGen 与共享基础技能、自动分段逻辑耦合，系统化扩增多任务示教。
用数据规模曲线、复合任务微调与真实 co-training 三组实验检查数据集是否真正对学习有用。

6.3 与已有方法的本质区别

【Analysis】 单纯的 domain randomization 常把随机化视为缩小 sim-to-real 差距的手段；RoboCasa 还把它作为制造训练分布覆盖度的机制。单纯的 benchmark 常给定任务和数据；RoboCasa 重点展示如何持续生产数据。与端到端大模型路线相比，论文采用的 BC-Transformer 相对朴素，这反而使性能提升更容易归因于环境和数据规模。

6.4 关键假设

【Paper】 MimicGen 假设 task 能写成已知的 object-centric subtask 序列，并需要带分段信息的 seed demonstrations；这对高度结构化的厨房基础技能有效，但不适用于任意开放式操作。

【Paper】 实验也假设仿真中的成功状态和物体位姿足够可靠，能够自动筛除失败生成轨迹。现实世界中通常没有同等完美的状态访问与 success oracle。

7. 局限性

7.1 作者明确提出的局限

【Paper】 作者指出，composite task 的微调成功率仍低；MimicGen 轨迹虽满足任务成功，但可能出现抖动或碰撞。作者建议未来利用仿真状态自动检测并过滤这些不良轨迹。

【Paper】 LLM 虽能提出活动和任务，但场景与任务实现仍需要人工引导和编程。论文还明确缺少高灵巧操作、可变形物体操作和双臂操作，并计划从厨房扩展到更多环境、结合其他模拟器、互联网视频与真实机器人数据。

7.2 自己分析得到的局限

【Analysis】 论文的规模曲线主要来自 atomic tasks，且只对 24 个 non-navigation tasks 用 MimicGen 扩增。因而它强力证明了“可分段的短程操作可以规模化”，却尚未证明长程、全身移动与开放世界任务具有相同的缩放规律。

【Analysis】 生成器的成功筛选可能使数据偏向容易完成的轨迹，弱化接触边界、恢复动作和罕见状态。BC 在这种数据上变好，并不保证机器人遇到失败前兆时也会更会纠错。

【Analysis】 Real + Sim 提升明显但绝对数值仍低，说明相机标定、控制频率、控制器和光照差异仍是不可忽略的 sim-to-real gap；不能把该实验读为“仅凭仿真即可部署”。

8. 启发与研究思考

【Analysis】 RoboCasa 提供的最有价值视角是把数据集当作系统，而不是一个静态下载文件。若要追求通用机器人，研究者需要同时设计：哪些状态变化值得被模拟、任务如何被组合、少量人类示教如何成为可复用模板、生成数据如何做质量控制，以及评测如何隔离“更多数据”与“更容易测试”的影响。

【Analysis】 一个自然的后续方向是让高层模型提出并验证新任务候选，但保留可执行性检查、碰撞/平滑度过滤及人工审核；另一个方向是为 composite task 显式学习子任务切换、失败恢复与层级策略，而非期望单一扁平 BC policy 自动从 atomic pretraining 中获得长程组合能力。

Open X-Embodiment 论文精读：用跨机器人数据训练 RT-X 通用策略

Thu, 27 Aug 2026 00:00:00 GMT

1. 论文概述

论文名称：《Open X-Embodiment: Robotic Learning Datasets and RT-X Models》

作者：Open X-Embodiment Collaboration（作者按字母顺序列出）

论文链接：arXiv　项目主页：robotics-transformer-x.github.io

官方代码：google-deepmind/open_x_embodiment

一句话总结

【Paper】 本文的核心不是提出一个全新的网络，而是把分散在不同实验室、机器人和任务上的示教数据统一起来，并用 RT-1 与 RT-2 的跨具身版本（RT-1-X、RT-2-X）验证“大而杂”的机器人数据是否能带来正迁移。

核心贡献

【Paper】

发布 Open X-Embodiment（OXE）数据集：1M+ 条真实机器人轨迹、60 个已有数据集、22 种 robot embodiments，覆盖 527 skills 与 160,266 tasks，数据来自 21 家机构（数据池包含 34 个 robotic research labs）。
将数据转换为 RLDS 格式，使不同相机、动作空间和 episode 结构可以被统一读取。
在 9 种机械臂的数据混合上训练 RT-1-X 与 RT-2-X，系统评估跨具身 co-training 的 in-distribution、OOD generalization 和 emergent skills。
证明容量是关键：RT-1-X 在小数据域平均成功率比原方法高约 50%，而 55B 的 RT-2-X 在跨机器人新技能上达到约 3 倍于 RT-2 的表现。

2. 背景与相关工作

【Paper】 NLP 和 Computer Vision 已通过大规模预训练模型从“每个任务一个模型”走向通用 backbone；机器人学习却仍经常为每个任务、环境和机器人单独训练策略。原因不只是数据量小，更是 embodiment、相机、坐标系和控制频率都不一致。

过去的跨机器人工作通常显式缩小 embodiment gap：共享 action representation、加入 embodiment conditioning、学习可迁移表征，或把机器人与环境因素解耦。OXE 采取了相反的实验立场：先做粗粒度数据对齐，直接把多种机器人数据喂给同一个 Transformer policy，观察是否已经存在正迁移。

【Analysis】 这使论文更像一项基础设施与 scaling study：它把“能否训练机器人通用模型”的瓶颈，从单一算法设计转移到数据标准、混合策略和模型容量。

3. 问题定义

【Paper】 给定语言指令 $l$、最近的图像历史 $I_{t-H+1:t}$ 和机器人状态，学习一个能在不同 embodiment 上执行的策略：

$$ \pi_\theta(a_t \mid I_{t-H+1:t}, l, e), $$

其中 $e$ 表示由数据集约定的动作解释（例如绝对位置、位置增量或速度），而不是显式输入给模型的统一 embodiment id。

| 项目 | 论文设定 | | --- | --- | | Observation | 每个数据集选择一个 canonical RGB camera view，并统一分辨率；输入还包括自然语言 task instruction | | Action | 7-DoF end-effector action：$x,y,z$、roll/pitch/yaw 和 gripper；另加 episode termination，共 8 个维度 | | Action representation | 每个维度均匀离散为 256 bins；归一化后按 embodiment 反归一化 | | Dataset format | RLDS serialized TFRecord，支持变长 episode、不同相机模态和并行读取 | | Training mixture | 实验时使用 9 个 manipulator 的机器人数据；OXE 完整仓库包含 22 种 embodiment | | Inference | RT-1 在本地运行，RT-2 通过云端服务查询，控制频率约 3–10 Hz |

【Analysis】 这里的“统一”并不是把所有机器人变成同一坐标系：论文明确保留各数据集原本的 absolute/relative/velocity 语义，因此模型输出的同一个 token 在不同 embodiment 上可能对应完全不同的运动。

4. 方法

4.1 Overall Architecture

【Paper】 两个模型共享“图像 + 语言 → 离散 end-effector action”的接口：RT-1-X 使用 FiLM-conditioned EfficientNet 与 decoder-only Transformer；RT-2-X 则把动作序列写成文本 token，与 Web-scale vision-language 数据 co-fine-tune。

4.2 核心模块

Open X-Embodiment Dataset 与 RLDS

输入：来自 60 个数据集的原始 episode，可能含多个 RGB/深度相机、点云和不同自由度动作。
处理：选定一台 canonical camera，调整图像分辨率；将原动作映射为 7-DoF end-effector 字段并逐数据集归一化。
输出：RLDS episode，包含 observation、action、语言标注和 episode 边界。
为什么需要：没有共享 schema，DataLoader 无法在不同机构的数据之间切换，跨具身训练也就无法复现。

【Code】 官方仓库的 README 说明每个数据集都是 RLDS episode；Colab 展示了 tfds.load、episode 可视化、批处理和 checkpoint 推理。仓库还提供数据集元数据 spreadsheet，但没有在代码仓库中放入完整的 1M+ 轨迹。

RT-1-X：机器人专用 Policy

输入：长度为 15 的 RGB 图像历史和 USE language embedding。
视觉编码：ImageNet-pretrained EfficientNet-B3 + FiLM，将语言条件注入视觉特征；Token Learner 压缩为 81 个 image tokens。
时序建模：8 层 Transformer，默认 8 heads；动作 token 作为占位 token 拼接到图像 token 后。
输出：每个时间步 11 个 token，覆盖 termination、3 个 world-vector、3 个 rotation、gripper 和 base 相关维度。

【Code】 models/rt1.py 中 RT-1-X 推理配置为 num_image_tokens=81、num_action_tokens=11、layer_size=256、vocab_size=512，并将 world_vector_range 改为 (-2, 2)。代码默认不使用前一时刻 action token，而是将其置零。

RT-2-X：VLM-to-VLA

【Paper】 RT-2-X 基于 RT-2-PaLI-X（ViT + UL2），把 8 维离散动作写成类似自然语言的数字序列，在约一比一的 WebLI/VLM 数据与机器人数据混合上 co-fine-tune。这样 Web pretraining 提供视觉和语言泛化，机器人数据把抽象语义落到 action tokens。

【Analysis】 RT-2-X 的关键增益不是新的 action decoder，而是让高容量 VLM 有足够参数吸收跨机器人、多任务分布；这也解释了 RT-1-X 在大数据域出现 underfitting，而 55B RT-2-X 能恢复性能。

4.3 关键公式

动作离散化对每个连续维度 $a^d$ 使用数据集专属范围 $[l_d,u_d]$：

$$ k^d = \left\lfloor \frac{\operatorname{clip}(a^d,l_d,u_d)-l_d}{u_d-l_d}(V-1) \right\rfloor, $$

其中 $V$ 是词表大小，$k^d\in{0,\ldots,V-1}$。【Paper】 RT-X 论文主实验描述 256 bins；【Code】 JAX RT-1-X 示例使用 vocab_size=512，说明开源 checkpoint/config 与论文版本存在实现差异。

两个模型都使用分类交叉熵：

$$ \mathcal L(\theta)=-\sum_{t,d}\log p_\theta(k^d_t\mid I_{t-H+1:t},l). $$

【Code】 RT-1 的 tokenize_action 先对各字段 clip、归一化并转成整数 token；detokenize_action 再按相同范围还原连续动作。代码中 terminate_episode 是 3 类 one-hot，而运动与夹爪字段按 vocab bins 解码。

4.4 Training

【Paper】 RT-1-X 仅使用机器人数据；RT-2-X 采用机器人数据与原始 VLM 数据约一比一的 co-fine-tuning。动作在离散空间上进行 categorical cross-entropy 训练。实验混合数据来自 RT-1、QT-Opt、Bridge、Task Agnostic Robot Play、Jaco Play、Cable Routing、RoboTurk、NYU VINN、Austin VIOLA、Berkeley UR5、TOTO 和 Language Table 等数据集。

4.5 Inference

【Code】 models/rt1_inference_example.py 将输入图像 resize 到 300×300、缩放到 [0,1]，JAX forward 后对最后时间步的 action logits 做 softmax/argmax，再调用 detokenize_action。若预测出的 termination 无效，示例代码回退到 base pose 模式。

4.6 代码实现对照

| 论文描述 | 官方代码对应 | 需要注意的差异 | | --- | --- | --- | | RT-1-X 架构 | models/rt1.py 的 RT1、ImageTokenizer、Transformer | JAX 实现默认使用 SwiGLU FFN，并提供 Token Learner 开关 | | Action tokenization | tokenize_action / detokenize_action | 示例 checkpoint 使用 512 vocab，论文正文写 256 bins | | 数据读取 | colabs/Open_X_Embodiment_Datasets.ipynb | 依赖 TFDS/RLDS；完整数据通过外部 bucket/TFDS 获取 | | 推理 | models/rt1_inference_example.py | 只提供 RT-1/RT-1-X JAX 推理示例；仓库未提供 RT-2-X 训练实现 |

5. 实验

5.1 Experimental Setup

【Paper】 论文共进行 3,600 次试验，覆盖 6 个真实机器人。小数据域包括 Kitchen Manipulation、Cable Routing、NYU Door Opening、AUTOLab UR5 和 Robot Play；大数据域包括 Bridge 与 RT-1 paper data。比较对象是各数据集原作者方法、单数据集 RT-1，以及 RT-X。

5.2 Main Results

【Paper】 在 5 个小数据域中，RT-1-X 有 4 个超过 Original Method；图中均值约为 Original Method 的 1.5 倍，提升主要来自数据稀缺域的正迁移。

【Paper】 在大数据域，RT-1-X 在 Bridge 上为 27%、Google Robot 任务上为 73%，低于单域 RT-1 的 40% 和 92%；55B RT-2-X 则分别达到 50% 和 91%。这说明小模型无法充分吸收大而杂的数据，高容量 VLM 才能在数据丰富域中维持竞争力。

5.3 Ablation Study

| 设置 | Emergent skills | RT-2 generalization | | --- | ---: | ---: | | RT-2 55B，仅 Google Robot action | 27.3% | 62% | | RT-2-X 55B，完整 robotics data | 75.8% | 61% | | RT-2-X 55B，去掉 Bridge | 42.8% | 54% | | RT-2-X 5B，history=2 | 44.4% | 52% | | RT-2-X 5B，无 history | 14.5% | 30% | | RT-2-X 5B，从零开始且无 Web pretraining | 0% | 1% |

【Paper】 完整 RT-2-X 55B 在 Google Robot 上执行 Bridge 数据中出现、但 Google Robot 原始数据没有的技能，成功率达到 75.8%，约为 RT-2 的 3 倍。去掉 Bridge 后降至 42.8%，支持“跨机器人数据带来技能迁移”的解释。

5.4 Generalization

【Paper】 在 unseen objects、backgrounds 和 environments 的 RT-2 generalization 测试中，RT-2 与 RT-2-X 接近（62% vs 61%）。因此 OXE 的主要新证据不是进一步提升已有 VLM 的视觉泛化，而是让目标机器人获得原数据集中不存在的行为技能。

【Analysis】 这一区分很重要：跨 embodiment co-training 对“看起来不同”的场景未必有额外收益，但对“做什么”有明显收益；数据中的技能覆盖和模型容量共同决定正迁移能否发生。

6. 方法分析

6.1 为什么有效？

【Analysis】 OXE 同时扩大了三种覆盖：物体/场景、语言技能、机器人 embodiment。对小数据域，其他机器人的相似操作提供了视觉与动作先验；对大模型，Web pretraining 负责语义和视觉抽象，机器人混合数据负责把抽象语义落到控制动作。

6.2 核心创新

【Paper】 真正的创新组合是“社区数据协作 + 统一 RLDS schema + RT-X 基线模型 + 可复现实验”。论文有意不把贡献包装成新的 Policy architecture，而是建立一个可持续扩展的 X-embodiment substrate。

6.3 与已有方法的本质区别

【Analysis】 以往方法通常先学习 embodiment-invariant representation 或显式做 action translation；RT-X 只做粗粒度字段对齐，不输入 embodiment id，也不对坐标系做统一转换，直接让 Transformer 在数据中学习条件化的动作语义。这种简单性降低了接入成本，但把压力转移给数据质量与模型容量。

6.4 关键假设

【Paper】 7-DoF end-effector action 足以覆盖本文评估的机械臂任务。
【Paper】 每个数据集可以选出有代表性的 canonical camera，并接受不同视角仍存在较大差异。
【Analysis】 模型能够从视觉和语言上下文隐式推断动作字段的 embodiment-specific 语义；当传感器或执行器差异更大时，该假设可能失效。

7. 局限性

7.1 作者明确提出的局限

【Paper】 实验没有覆盖 sensing/actuation modality 差异极大的机器人，也没有测试对全新机器人（训练中未出现的 embodiment）的泛化；论文没有给出何时正迁移、何时负迁移的通用判据。

7.2 自己分析得到的局限

【Analysis】粗对齐的动作语义存在歧义。 相同的 token 可能表示绝对位姿、增量或速度，训练数据的比例变化会改变策略的隐式坐标系。
【Analysis】数据混合存在长尾与来源偏差。 Franka 数据在场景多样性上占主导，xArm 与 Google Robot 贡献了大量轨迹；采样权重会直接影响迁移方向。
【Analysis】图像单视角限制了可观测性。 README 明确 RT-1-X 当前只接收 workspace RGB，不接 wrist camera、in-hand camera 或 depth。
【Analysis】评估主要是成功率。 论文证明了行为是否完成，却较少报告动作平滑度、能耗、碰撞风险和跨实验室部署成本。

8. 启发与研究思考

从“统一动作空间”转向“可解释的动作条件”。 后续模型可以显式输入 embodiment、坐标系和控制模式，减少同一 token 多重语义造成的负迁移。
数据规模之外还要研究 mixture law。 OXE 提供了规模，但哪些数据应过采样、哪些技能能跨机器人迁移，仍需要 dataset-level attribution 与 gradient conflict 分析。
用 RLDS 作为机器人数据的公共 ABI。 统一 schema 的价值不只在下载方便，它还允许不同 Policy、评估器和仿真器复用同一数据管线。
评估“新机器人”而非只评估“新技能”。 真正的 robot generalist 应在训练未见的 kinematics、camera 和 actuator 上零样本或少样本适配。
RT-X 是路线而非终点。 论文展示了正迁移可行，但也清楚暴露了容量、数据偏差和传感器异构性三个下一阶段瓶颈。

Open-H-Embodiment 论文精读：让医疗机器人也拥有可扩展的基础模型数据

Thu, 27 Aug 2026 00:00:00 GMT

1. 论文概述

论文名称：《Open-H-Embodiment: A Large-Scale Dataset for Enabling Foundation Models in Medical Robotics》
作者：Open-H-Embodiment Consortium（首位作者 Nigel Nelson 等）
发表形式：arXiv 预印本（2026）
论文链接：arXiv:2604.21017
数据集：Hugging Face
代码：Open-H 数据仓库、GR00T-H、C-H-S-S

一句话总结

【Paper】 医疗机器人领域真正缺的不是又一个窄任务策略，而是能跨机构、跨设备、跨任务共享的训练数据。Open-H 收集 119 个数据集、780 小时的同步视频与运动学，覆盖 20 种平台和 33 类任务；在此之上，GR00T-H 证明医疗领域的 post-training 能提升 VLA 的长程成功率，Cosmos-H-Surgical-Simulator（C-H-S-S）则证明单个动作条件世界模型可以服务多种手术机器人。

核心贡献

【Paper】

建立首个大规模、跨具身、多机构的医疗机器人数据集：超过 50 家机构、125,815 个 episode、780 小时配对视频和运动学，统一为 LeRobot v2.1 格式。
发布 GR00T-H：在 601 小时真实手术子集上 post-train GR00T-N1.6-3B，支持相对末端执行器控制和具身专属 action head。
发布 C-H-S-S：在 9 种具身、32 个数据集上微调 Cosmos-Predict 2.5-2B，用 44 维统一动作空间生成未来手术视频。
给出可复现实验：GR00T-H 在 SutureBot 上达到 25% 端到端完成率（其他基线为 0%），在 29 步离体缝合序列上达到 64% 平均子任务成功率。

2. 背景与相关工作

【Paper】 通用机器人已经通过 Open-X-Embodiment、Octo、OpenVLA 等工作验证了“跨具身数据 + 大模型预训练”的规模效应，但手术机器人仍停留在 JIGSAWS（约 3 小时）、SutureBot（约 6 小时）等单机构、单平台数据集。临床数据采集还要面对 IRB、隐私、专有控制接口、同步和安全审查，导致数据难以公开和复用。

这造成了一个特殊的 domain gap：手术动作比普通桌面抓取更长程、更接触密集，也更依赖组织形变和器械状态。论文引用的 SutureBot 结果显示，直接把通用 VLA 拿来做缝合，甚至不如在单一平台上从零训练的 ACT。问题因此不只是模型容量，而是模型没有见过足够多的医疗视觉—运动关联。

【Analysis】 Open-H 的关键判断是把“医疗机器人基础模型”拆成两层：先用统一数据学习可迁移的视觉、语言和运动先验，再在目标机构用少量数据做具身/任务适配。这与为每台机器人单独训练一个 policy 的路线不同，也让世界模型、视觉表征和规划器共享同一数据基础设施。

3. 问题定义

【Paper】 数据层面，Open-H 要求每个样本至少有同步视频和运动学，并附带任务 prompt、平台说明、同步方式、控制坐标系和数据多样性等 README 元数据。数据覆盖五种环境真实性层级：数字仿真（84 小时）、benchtop/phantom（119 小时）、ex vivo（75 小时）、in vivo（3 小时）和临床人体手术（499 小时）。

| 维度 | Open-H 设定 | | --- | --- | | 观测 | 单目/双目内窥镜、wrist/第三视角 RGB、深度、超声，部分数据含 gaze 与力 | | 动作 | 原始关节或笛卡尔轨迹；GR00T-H 统一为相对 EEF + 6D rotation | | 具身 | Versius、da Vinci、dVRK、MIRA、BiTrack、Maestro、Franka、UR5e 等 20 个平台 | | 任务 | 缝合、打结、组织操作、peg transfer、超声扫描、内窥镜导航等 33 类 | | 规模 | 119 数据集、125,815 episodes、780 小时 | | 发布格式 | LeRobot v2.1；视频 MP4、运动学 Parquet，CC-BY-4.0 |

【Paper】 GR00T-H 学习的是从多视角视觉与语言到相对末端动作 chunk 的映射；C-H-S-S 学习的是给定当前帧和未来运动学，生成 12 帧后续视频。两者共享数据，但前者输出动作，后者预测动作造成的视觉后果。

4. 方法

4.1 Overall Architecture

【Paper】 数据经 LeRobot v2.1 统一后，一路进入 GR00T-H 的 VLA post-training，另一路进入 C-H-S-S 的动作条件视频生成；前者用于真实机器人控制，后者用于仿真评估与合成数据。

4.2 核心模块

Open-H 数据层

输入：各机构原始视频、关节/末端轨迹、语言或阶段标注。
处理：转换为 LeRobot v2.1，并为每个数据集保留平台专属 README；对超声参数、手术阶段、主动器械等扩展字段提供规范。
输出：可由统一 DataLoader 读取的多具身 episode。
为什么需要：仅统一张量维度会隐藏 clutch、线缆迟滞、未驱动器械等语义；README 把这些“数据外知识”显式交给下游用户。

GR00T-H Policy

基础模型：GR00T-N1.6-3B 的 VLM backbone + DiT action expert。
动作表示：所有数据转成相对 EEF 控制，平移为相对位移，旋转用连续的 6D rotation；每个机器人配置保留独立 action head。
采样：601 小时真实手术数据；Versius 采样比例封顶 20%，其余按数据规模采样。
归一化：按数据集统计量做 weighted moment matching，统计到每个具身、动作维度和 chunk 时间步，z-score 后裁剪到 [-5, 5]。
为什么有效：相对动作减少模型学习每种机器人的 forward kinematics；独立 head 则允许吸收不同器械的线缆伸缩、磨损和映射差异。

Cosmos-H-Surgical-Simulator

输入：一张 context frame 与 12 个动作向量。
中间模块：Cosmos-Predict 2.5 的 VAE latent、2B DiT 去噪器和按时间步注入动作的 MLP。
输出：12 帧未来视频；自回归连接 6 个 chunk 可得到 72 帧轨迹。
统一动作空间：44 维向量，较短的具身动作通过 zero-padding 对齐；平移采用 relative 格式，旋转采用 6D 表示。
用途：重放真实动作评估视频预测，也可作为 policy 的 in-silico 环境和合成数据生成器。

4.3 关键公式

GR00T-H 的跨具身动作归一化

对具身 $e$ 的动作 chunk $a^{(e)}_{1:K}$，论文采用逐维、逐时间步的 z-score：

$$ \tilde a^{(e)}{k,d}=\operatorname{clip}\left(\frac{a^{(e)}{k,d}-\mu^{(e)}{k,d}}{\sigma^{(e)}{k,d}},-5,5\right) $$

$k$ 是 chunk 内时间步，$d$ 是动作维度，$\mu$ 与 $\sigma$ 来自按训练混合比例加权合并的统计量。【Analysis】 保留 $k$ 维度让模型区分“马上执行”的动作和 chunk 尾部动作，避免一个全局统计量抹平时间结构。

C-H-S-S 的动作条件生成

$$ \hat v_{t+1:t+12}=F_\theta\left(v_t,,a_{t:t+11},,\epsilon\right) $$

其中 $v_t$ 是当前视频帧的 latent，$a$ 是 44 维动作序列，$\epsilon$ 是扩散噪声，$F_\theta$ 是 Cosmos DiT。模型训练每次预测 12 帧，推理时将最后一帧作为下一 chunk 的 context。

评估使用逐帧 L1 和 SSIM：

$$ L1=\frac{1}{N}\sum_{i=1}^{N}|\hat I_i-I_i|,\qquad SSIM(\hat I_i,I_i) $$

【Paper】 L1 衡量像素误差，SSIM 衡量结构相似度；它们只能评价 open-loop 重放，不能直接证明闭环手术物理正确。

4.4 Training

【Code】 open_h/prepare_datasets.sh 依次复制 modality.json、生成 stats.json 和 temporal_stats.json；gr00t_h_config.yaml 记录具身标签、数据路径、混合比例和训练参数。C-H-S-S 仓库的 scripts/README_ACTION_SPACE.md 明确实现了 44D zero-padding、每具身归一化和 12 步 action chunk。

4.5 Inference

【Code】 GR00T-H 的独立推理入口是 scripts/deployment/standalone_inference_script.py；C-H-S-S 提供 scripts/.../inference_open_h.py，按 JSON manifest 加载不同具身。代码仓库还提供 TensorRT、动作统计计算和批量 episode 评估脚本。

4.6 代码实现对照

| 论文描述 | 官方代码对应 | 需要注意的实现细节 | | --- | --- | --- | | 统一数据格式 | open_h/prepare_datasets.sh、各 embodiment modality.json | 先生成 temporal stats，否则训练会失败 | | 具身专属动作投影 | open_h/embodiments/*_config.py 与 GR00T projector index | 同平台不同机器也可使用不同配置 | | GR00T-H 多具身训练 | open_h/gr00t_h_config.yaml、launch_train.py | N1.7 仓库当前 README 记录 16 具身/34+机构；论文 v3 的统计为 20 平台/50+机构，版本口径不同 | | C-H-S-S 44D 动作 | scripts/README_ACTION_SPACE.md、action_conditioned.py | 44D 是每时间步维度，样本动作张量为 (12, 44) | | 推理与评估 | inference_open_h.py、cosmos_h_surgical_simulator_quant_eval.py | 量化评估是 open-loop action replay |

5. 实验

5.1 Experimental Setup

【Paper】 主要 policy 对比包括 GR00T-H、未 post-train 的 GR00T-N1.6、ACT 和用 50 小时 dVRK 子集适配的 LingBot-VA。SutureBot 端到端实验包含 needle pickup、handover、throw、extraction、knot tying 五个阶段，每个模型 20 次尝试。OOD 实验改变 wound 配置和光照；data-efficiency 实验使用约 33% 或 100% 的本地微调数据。另在 Versius Peg Transfer、MIRA needle pickup 和皮肤猪肉离体缝合上验证跨具身性能。

5.2 Main Results

【Paper】 结果呈现出明显的长程优势：

| 评估 | GR00T-H | GR00T-N1.6 | ACT | LingBot-VA | | --- | ---: | ---: | ---: | ---: | | SutureBot 端到端完成（20 次） | 5/20（25%） | 0/20 | 0/20 | 0/20 | | OOD 三任务平均 | 54% | 30% | 5% | 未报告 | | 33% 微调数据三任务平均 | ≈47% | ≈20% | ≈47% | 未报告 | | 100% 微调数据三任务平均 | ≈73% | ≈37% | ≈50% | 未报告 |

在端到端实验中，GR00T-H 到 throw 阶段仍保留 12/20 条轨迹，GR00T-N1.6 和 ACT 都只有 4/20；这说明 post-training 主要改善了错误累积后的恢复能力，而不是只提升早期抓取。

【Paper】 在 dVRK-Si、CMR Versius 和 MIRA 三个平台上，GR00T-H 都显著优于 GR00T-N1.6，总体平均差异的 Fisher 检验为 $p<0.001$。这支持“共享 backbone + 具身专属 head”比单平台策略更能抵抗设备变化的结论。

5.3 Ablation Study

【Paper】 29 步、290 次离体实验的平均成功率为 64%。needle pickup、handover、set-down needle 和三步 knot tying 基本接近满分；readjust、open wound、抓取 suture tail 以及两步 cut suture 明显较弱，切线步骤只有 20–30% 左右。

【Analysis】 这不是“模型整体不会缝合”，而是误差集中在快速、细接触和组织形变相关动作。因而最有价值的下一轮数据并非盲目扩大所有任务，而是针对切割、抓尾线和组织接触采集 failure/recovery demonstrations。

5.4 Generalization

【Paper】 C-H-S-S 在 25 个数据集上做 72 帧自回归重放，每个 episode 使用 3 个随机种子。benchtop 场景保持较低 L1 和较高 SSIM，tissue-based 场景误差更高、种子方差更大；原因包括内窥镜光照、器械遮挡、湿组织高光和可变形解剖结构。chunk 边界的 sawtooth 误差存在但幅度有限，说明模型能维持跨 chunk 的场景状态。

6. 方法分析

6.1 为什么有效？

【Analysis】 Open-H 同时解决了三个瓶颈：

统计覆盖：更多平台和机构让模型看到器械、视角、光照和动作风格的变化。
表示对齐：相对 EEF + 6D rotation 把不同机器人的控制问题映射到共同坐标系。
评估闭环：C-H-S-S 和 Cosmos-Surg-dVRK 把昂贵的真实机器人试错变成可批量的视频 rollout 筛选。

6.2 核心创新

【Paper】 真正的创新不在单个 Transformer 层，而在“数据基础设施 + 两种基础模型验证”的组合：Open-H 让跨具身医疗数据可用；GR00T-H 验证策略迁移；C-H-S-S 验证世界建模迁移。三者共同把医疗机器人从单任务 benchmark 推向可扩展的研究平台。

6.3 与已有方法的本质区别

【Analysis】 JIGSAWS、SutureBot 等数据集是“一个平台、一个任务族”的 benchmark；Open-H 是“多平台、多真实性层级、多模态”的 corpus。ACT 直接从头学习某一任务的动作分布，而 GR00T-H 先学习医疗领域先验再进行小数据适配。单平台 Cosmos-Surg 模型只能回答“这台机器人会发生什么”，C-H-S-S 试图回答“在训练分布内的多台机器人上，这个动作会发生什么”。

6.4 关键假设

【Paper】 统一 LeRobot schema 和相对动作足以保留跨平台迁移所需的信息。
【Analysis】 具身专属 action head 可以吸收硬件差异，但不能自动解决未见平台的动力学和安全约束。
【Paper】 open-loop 视频指标能反映世界模型的基础 fidelity；闭环策略安全性仍需额外指标与真实实验。

7. 局限性

7.1 作者明确提出的局限

【Paper】

GR00T-H 的 25% 端到端 SutureBot 完成率和 64% 离体平均成功率距离临床可靠性仍很远。
所有自主评估都在 phantom、benchtop 或 ex vivo 条件进行；活体组织的出血、运动和刚度变化尚未覆盖。
模型没有检测组织撕裂、器械故障或患者移动的显式安全机制。
Open-H 以成功示教为主，失败轨迹不足；这会限制 world model 对异常状态的建模。
C-H-S-S 的 L1/SSIM 只适用于有 ground truth 的 open-loop replay，不能衡量闭环工具位置和物理接触真实性。

7.2 自己分析得到的局限

【Analysis】 数据时长的 64% 来自 Versius 临床流程，平台和任务分布并非均匀；“780 小时”不能简单等价为 780 小时同质量的动作监督。论文 v3 与当前代码仓库的版本也存在口径差异（论文报告 20 平台，GR00T-H README 介绍 16 个具身），复现实验必须锁定 commit、数据清单和模型版本。

此外，统一 44D zero-padding 解决了张量接口，却可能让模型把“未使用维度”当作缺失值而非结构性信息；未来需要显式 action mask、动力学约束和风险预测。最后，临床部署还要求不确定性估计、可中断控制和审计日志，这些不属于当前 policy/world-model 训练目标。

8. 启发与研究思考

数据治理本身是模型创新。 对医疗机器人，schema、同步、平台 README 和许可协议与网络结构同等重要。
从“成功率”转向“可诊断性”。 29 步实验暴露了 cut suture、抓尾线等具体失败模式，下一步应围绕失败类型主动采样。
世界模型应成为训练基础设施。 如果 C-H-S-S 能进一步加入工具轨迹、组织接触和风险标签，就可以支持策略筛选、反事实数据生成和安全回归测试。
跨具身不等于零样本通用。 共享 backbone 负责迁移视觉—语言先验，具身 head 和少量本地数据仍负责精确控制；两者的边界值得单独研究。
临床价值需要新的指标。 工具尖端偏差、组织损伤风险、动作可逆性和人类接管频率，比单纯像素 SSIM 更接近真实手术需求。

Open-AoE 论文精读：把智能手机第一视角视频变成具身学习基础设施

Thu, 27 Aug 2026 00:00:00 GMT

1. 论文概述

论文名称：《Open-AoE: An Open Egocentric Manipulation Dataset and Toolchain for Embodied Learning》
作者：Zishuo Li、Bowen Yang、Changtao Miao 等 AoE Team 以及 Ant Group、浙江大学、香港大学等机构
论文链接：arXiv:2607.14183
代码与数据：Open-AoE GitHub、Hugging Face 数据集、ModelScope 数据集

一句话总结

【Paper】 Open-AoE 不是单独发布一批视频，而是把“手机采集 → 质量筛选 → 手部/相机重建 → 原子动作标注 → 机器人与模型训练”做成可复用的开放闭环。首个版本约含 2,000 小时真实操作视频，来自 500+ 贡献者和 400+ 手机型号。

核心贡献

【Paper】

发布 Open-AoE-2000H：视频与去畸变 RGB、相机内参和 6-DoF 轨迹、双手 MANO 重建、有效性掩码、双语原子动作标注在同一时间轴上对齐。
开放四阶段数据生产流程：端侧在线检测、离线质量检查与场景标注、重建与语义标注、三道质量门和人工抽检。
开放三套下游工具：AoE-Visualization、AoE-Reconstruct-Retarget、AoE-Training-Ready，分别服务于数据审查、跨具身运动转换和模型训练。
用统一审计验证数据的视觉多样性、语义覆盖、图文一致性和训练样本产出，而不是只报告总时长。

2. 背景与相关工作

【Paper】 具身模型的瓶颈不是互联网图像，而是能描述“手如何接近物体、相机如何移动、动作何时开始和结束”的真实交互数据。机器人遥操作信号精确但昂贵；AR/VR 或定制头戴设备能提供手部和相机信息，却提高了采集门槛；Ego4D、EPIC-KITCHENS 等被动视频规模大，但通常缺少可直接用于控制的几何和时间标注。

Open-AoE 继承 AoE（Always-on Egocentric）的手机采集思路，试图解决两个断裂：第一，如何低成本、长时间地获得自然操作；第二，如何把原始视频加工成 VLA、World Action Model（WAM）、World Model 和机器人重定向真正能消费的格式。【Analysis】 因而本文的主要创新更接近“数据基础设施设计”，而不是提出一个新的 policy 网络。

3. 问题定义

【Paper】 每个样本是一段带统一帧索引的第一视角操作片段，核心输入输出如下：

| 层级 | 输入 / 输出 | 作用 | | --- | --- | --- | | 观测 | 原始与去畸变 RGB、相机内参、设备信息 | 视觉建模与质量审查 | | 几何 | 双手 MANO pose/shape、21 关节、有效性、相机 6-DoF 轨迹 | 手物交互与跨具身转换 | | 语义 | 英文原子动作、verb、object、hand、bbox、置信度，以及中文描述 | 任务意图和时间边界 | | 下游动作 | 110D dense MANO、48D wrist-fingertip、20/26D hand+camera、机器人关节或 EEF | 按模型需要适配，而非强行统一成一个 action |

【Paper】 数据集覆盖 8,000+ tasks、400+ scenes 和 400+ consumer-phone models。论文明确区分了“人手运动表示”和“机器人控制表示”：例如 28-DoF 是重定向后的机器人关节空间，而 world-model recipe 的 26D 是人手 20D 加相机 6D，两者不可互换。

4. 方法

4.1 Overall Architecture

【Paper】 数据从手机端的 consent、自动录制和隐私控制开始，经过四阶段处理后形成同步的 RGB、MANO、相机运动和 action text；同一证据层随后被 Visualization、Reconstruct-Retarget 和 Training-Ready 复用。训练和推理的具体操作分别见 4.4 与 4.5。

4.2 核心模块

A. 端侧采集与离线质量控制

输入：手机摄像头视频、设备状态和佩戴状态。
输出：通过合规检查、去隐私和帧率固定的 qualified Parts。
模块：端侧手部可见性检测、边界截断提醒、佩戴/稳定性检查、低照度补光与过热/存储保护；离线再检查黑帧、曝光、旋转、编码完整性、第三人称视角、抖动和敏感信息。
为什么需要：让错误在数据源头被拦截，减少带宽和后续重建成本。人脸等隐私内容会被像素化，元数据中的身份字段被匿名化。

B. 场景标注与时间切片

【Paper】 合格视频先按连续合格/不合格区间切成 Parts，固定帧率并保留统一 process-tag。随后由 Qwen3.7-Plus 做语义级合规判断、有效动作判断，并从 closed-set label tree 中选择 domain、scene、task 和 salient objects。

C. 相机与手部重建

【Paper】 DROID-W 估计相机轨迹；针对手持和穿戴采集重新调节 robust kernel，以抑制抖动和躯干运动。两手检测器提供 bbox 和跨帧关联，HaWoR 从 bbox 重建 3D MANO，再用 SLAM 对齐尺度并变换到世界坐标。最后通过 global bundle adjustment 联合优化手网格、动态物体掩码和相机轨迹，减少分段重建的尺度漂移。

D. 原子动作与质量门

【Paper】 从重建网格提取 21-joint keypoints，并生成带英文描述的语义片段；人类复核纠正模型幻觉。交付前依次通过：

completeness gate：手部重建有效帧比例足够高；
correctness gate：重定向到 28-DoF 机器人空间时 IK 失败率低；
consistency gate：相机轨迹连续、无突跳。

E. 三条下游工具链

AoE-Visualization 用 Rerun 风格的时间线同时显示去畸变视频、MANO mesh、21-keypoint skeleton、future wrist trail 与 world-frame 3D 视图。【Code】 aoe-visualization/visualize.py 支持 --sample 或 --data_dir，每个样本输出 AoE_output_vis.mp4；没有 OpenGL 时会回退到 NumPy 着色渲染。

AoE-Reconstruct-Retarget 接入 EgoInfinity、Do-as-I-Do 等重建路线，并提供 Phantom（Unitree G1 + Dex3/Inspire）、Retarget Galbot 和 Retarget Lab。输出可以是 4D hand-object asset、机器人可执行轨迹或保留原场景的 robotized video。

AoE-Training-Ready 按任务暴露多个 action interface：dense MANO 适合细粒度手部监督，wrist-fingertip 或 EEF/关节表示适合机器人，hand+camera 表示适合第一视角视频动力学，latent/weak action 则服务于世界模型。

4.3 关键公式

110D dense MANO 表示

【Paper】 每只手 55D，由有效性、腕部平移、腕部 axis-angle、速度和 45D MANO pose 组成：

$$ \mathbf{s}^{hand} = [v,; t_{xyz},; r_{aa},; \dot t_{xyz},; p_{MANO}] \in \mathbb{R}^{55},\qquad \mathbf{s}^{both} = [\mathbf{s}^{left},\mathbf{s}^{right}] \in \mathbb{R}^{110}. $$

其中 $v$ 是 0/1 有效标记，$t$ 单位为米，$r_{aa}$ 为弧度制 axis-angle，$\dot t$ 为米/秒，$p_{MANO}$ 为 45 个关节旋转参数。坐标是当前 OpenCV 相机坐标系（$x$ 向右、$y$ 向下、$z$ 向前），所以速度同时包含手和相机的相对运动。

World-model 的 26D hand+camera action

【Code】 ACTION_SPEC.md 定义 hand action 为 20D：左右手各含 wrist xyz、rotation 6D 和 gripper open/close proxy；可追加相邻帧相机相对运动的 6D（平移 3 + axis-angle 3）：

$$ \mathbf{a}{t} = [\mathbf{h}{t},; \Delta \mathbf{c}{t}] \in \mathbb{R}^{26},\qquad \Delta T_t = T{c2w,t}^{-1}T_{c2w,t+1}. $$

【Analysis】 这一定义把相机自运动显式当成 action condition，避免模型把头部/手机移动误认为物体动力学。它和重定向侧的 28D 机器人关节向量属于不同问题。

训练窗口产出

【Paper】 对长度为 $L_q$ 秒的序列，以 history $h=2$ 秒、future $f=2$ 秒、stride $\Delta=2$ 秒构造窗口：

$$ N_q = \max\left(0,\left\lfloor\frac{L_q-h-f}{\Delta}\right\rfloor+1\right). $$

每小时产出率为 $Y=\sum_qN_q/\sum_qL_q/3600$，相对无边界上限的保留率为 $\eta=Y/(3600/\Delta)$。这个指标只衡量边界和时间不连续造成的损失，不把下游任务过滤混进来。

4.4 Training

【Paper】 数据生产训练链路是：上传后先筛选与匿名化，再做时间切片、语义标注、相机轨迹估计、MANO 重建和原子动作复核，最后通过三道质量门交付。下游转换不是简单改文件后缀，而是根据目标模型选择 action semantics：VLA 使用可归一化的状态/动作，WAM 使用 hand+camera 的 next-state 条件，世界模型则可只保留视频或使用弱 MANO 监督。

【Code】 LeRobot converter convert_open_aoe_to_lerobot.py 将样本写为 observation.images.front、observation.state、action 和 task；默认输出 224×224 图像、30 FPS。110D action 的字段名显式记录左右手 valid、wrist、velocity 和 MANO pose，动作对应下一帧手状态。各模型子目录还提供 SmolVLA、GR00T N1.7、H-RDT、VITRA、DreamZero、LingBot-VA、Ctrl-World、iVideoGPT、GenieRedux、LAOM、AdaWorld 和 DreamDojo 的独立 recipe。

4.5 Inference

【Paper】 推理阶段不再运行采集端的筛选和重建，而是直接读取已对齐样本：VLA policy 从图像、语言和状态预测机器人动作；WAM 或 action-conditioned video model 读取当前帧与 hand+camera action 预测下一帧；重定向模块则把手腕/手指目标送入 IK、dex-retargeting 或 TCP 求解器。

【Code】 Visualization 的 CLI 对一个样本或目录逐段渲染；Retarget Lab 以 trajectory_6dof × hand_source × retargeting 组织 12 个组合单元。训练 recipe 的 launcher、patch 和依赖均放在各自目录，不会把某一模型的命令伪装成仓库级标准。

4.6 代码实现对照

| 论文描述 | 官方仓库实现 | 对照结论 | | --- | --- | --- | | 可视化数据浏览器 | aoe-visualization/visualize.py 与 aoe_vis | 支持单样本/批量渲染，OpenGL 不可用时回退 NumPy | | 数据规格 | open-aoe-2000h/README.md、ACTION_SPEC.md | 明确目录、坐标系、字段和 20D/26D action 差异 | | LeRobot 训练适配 | aoe-training-ready/lerobot/scripts/convert_open_aoe_to_lerobot.py | 默认 224px、30 FPS，导出 state/action/task 与视频 | | 多模型训练 | aoe-training-ready/*/README_OPEN_AOE.md | 每个模型独立依赖、转换器和 launcher，不存在全局统一格式 | | 跨具身重定向 | aoe-reconstruct-retarget/phantom、retarget_galbot、retarget-lab | 覆盖 G1、Galbot/Galaxea、Sharpa、XHand 等路线 |

5. 实验

5.1 Experimental Setup

【Paper】 数据分析主要在随机抽取的 100 小时上进行，并与 OpenEgo、EgoDex、EgoXtreme 比较。视觉多样性使用 CLIP embedding；语义/时间分析统计 action vocabulary、覆盖率、片段时长与密度；一致性由 Idefics2 逐序列评分；训练效用使用 2 秒 history、2 秒 future、2 秒 stride 的窗口规则。

5.2 Main Results

【Paper】 Open-AoE 在 3,000 次平衡随机试验的六项视觉指标均值上排名第一：Effective Rank 97.43、Participation Ratio 40.47、Meaningful Coverage 19.89、Normalized Cluster Entropy 0.712、Effective Clusters 16.29、kNN Domain Mixing 0.0775。论文特别指出，前两项和 kNN mixing 的优势在所有试验中都保持第一，说明设备、场景和采集者带来的变化并非只由少数样本贡献。

【Paper】 语义方面，Open-AoE 的主 action 字段包含 32,407 个自然语言描述、8,030 个 object strings、175 个 verbs 和 135 个 scenes；评估时间线覆盖率为 99.99%，平均片段 9.64 秒、密度 13.97 segments/min。

5.3 Ablation Study

严格意义上，本文没有像 policy 论文那样逐模块移除的 ablation；它做的是数据属性审计。【Paper】 一致性评估中，Open-AoE 的 Idefics2 sequence-macro 为 4.583/5（95% bootstrap CI [4.557, 4.608]），85.4% 序列达到至少 4 分，只有 2.2% 处于不高于 2 分的低分区间。

【Analysis】 这些比较支持“标注完整且视觉支持度高”，但不能直接推出某个数据字段对机器人成功率的因果贡献。相机多样性改善泛化仍是需要受控训练实验验证的假设。

5.4 Generalization

【Paper】 训练窗口分析显示每小时约 1,760 个候选 history-future windows，相当于理论上限 1,800 的 97.8%；98.93% 条目至少有一只有效手，98.02% 双手均有效；bbox 有效率 100%，平均置信度 0.947。所有五类主要 supervision（action、bbox、confidence、hand pose、camera pose）都具有近乎普遍的序列级覆盖。

【Analysis】 这里的“泛化”主要体现为视觉域、场景、贡献者和手机光学系统的覆盖，而不是在一个统一机器人 benchmark 上报告成功率。真正的跨机器人泛化仍依赖具体模型 recipe、重定向后端和硬件评测。

6. 方法分析

6.1 为什么有效？

【Analysis】 Open-AoE 的有效性来自三个互补的对齐：

时间对齐：动作边界、视频帧、手部和相机轨迹共享帧索引，减少下游重新同步。
因果拆分：手的运动与相机自运动分别可用，世界模型不必把视角变化当成物体变化。
表示分层：同一段证据可按模型需要变成 MANO、EEF/关节、hand+camera 或 latent action，避免一个 action vector 同时牺牲手部细节和机器人可执行性。

6.2 核心创新

【Paper】 真正的创新不是“2,000 小时”这一单一数字，而是把低门槛采集、结构化生产、跨具身重定向和模型适配放在同一个开源仓库中。【Analysis】 这使数据集从静态 corpus 变成可以被贡献者、重建方法作者和模型团队共同迭代的 infrastructure。

6.3 与已有方法的本质区别

被动 egocentric dataset 通常只给 RGB 与粗粒度标签；Open-AoE 额外提供 MANO、相机轨迹、原子动作和质量门。
机器人数据集通常以某一种 embodiment 为中心；Open-AoE 先保留人类运动证据，再由不同后端映射到 G1、Galbot、Sharpa 或 XHand。
多数数据发布不包含训练接口；Open-AoE 将 LeRobot、GR00T、SmolVLA、WAM 和 World Model recipe 分开维护，明确每种格式的语义边界。

6.4 关键假设

【Paper】 手机视频经过筛选和重建后，足以恢复可用于学习的手物几何与相机运动。
【Analysis】 MANO 和 IK 的质量门能作为下游可用性的代理，但低 IK 失败率不等于真实机器人接触动力学正确。
【Analysis】 设备和 FOV 多样性有望形成自然 sensor-domain randomization；该收益需要跨相机、跨机器人控制实验确认。
【Paper】 当前训练适配器按模型分别定义，不能假设一个 recipe 的 action layout 可直接迁移到另一个模型。

7. 局限性

7.1 作者明确提出的局限

【Paper】 报告没有把手机采集数据宣称为真实机器人数据的替代品；robotized video 仅用于保持场景和任务进度的配对视觉信号，不能替代真实硬件执行。不同数据集的 action ontology 也不一致，因此词汇量比较不是严格控制的共享本体 benchmark。

7.2 自己分析得到的局限

【Analysis】 单目视频下的遮挡、透明物体、接触力和物体 6D pose 仍然难以可靠恢复；bundle adjustment 只能缓解尺度/坐标问题，不能凭空产生触觉。
【Analysis】 端侧自动录制和离线 VLM 标注会引入选择偏差：被过滤掉的失败、遮挡或非典型动作可能正是鲁棒策略需要的 hard negative。
【Analysis】 98% 左右的手部有效率来自已筛选的交付集，不能直接代表自然部署时的观测缺失率。
【Analysis】 20D gripper proxy 只是开合标量，ACTION_SPEC.md 明确说明当前 recipe 尚未完成 MANO forward kinematics 到指尖动作的统一升级。
【Analysis】 许可证、MANO 权重、第三方机器人资产和外部模型 checkpoint 分开管理，复现实验仍需要额外下载和遵守各自许可。

8. 启发与研究思考

把数据管线当作模型的一部分。 对具身学习而言，时间切片、坐标系、质量门和 action semantics 会直接改变训练分布，不能只把它们当工程脚本。
相机动作值得成为显式变量。 在第一视角视频中，解释视觉变化至少需要区分 observer motion、hand motion 和 object motion；26D hand+camera 是一个简单但可检验的起点。
跨具身学习可以先学“关系”再学关节。 双手角色、腕部轨迹、接触时序和释放时刻比某一机器人的绝对关节角更容易迁移。
下一步应做因果 ablation。 固定视频和模型，只分别加入相机轨迹、MANO、原子动作和手机域随机化，才能回答哪些字段真正带来泛化。
开放基础设施需要闭环反馈。 未来贡献不应只增加小时数，还应回传重建失败、重定向失败、真实机器人回放和模型错误案例，让数据筛选规则随下游需求演化。

OmniUMI 论文精读：让机器人从人类对接触的感觉中学习

Thu, 27 Aug 2026 00:00:00 GMT

1. 论文概述

【Paper】 UMI（Universal Manipulation Interface）让人类在机器人不在场的地方采集示教，但传统 UMI 主要记录 RGB 与轨迹。OmniUMI 认为，擦除、插入、脆弱物体抓取等任务的关键不是几何位置，而是“接触发生了什么”：手指施加了多大抓取力、末端承受了什么外部力矩、触觉表面如何变形。

一句话总结

【Analysis】 OmniUMI 的真正贡献是把 sensing、human demonstration、policy interface 和 controller 一起设计：同一个可换夹爪 embodiment 既采集多模态物理交互，也尽量原样出现在部署端。

核心贡献

【Paper】

一个同步采集 RGB、深度、轨迹、触觉、内部抓取力和外部 interaction wrench 的紧凑手持接口。
通过电机化 gripper 的 bilateral feedback 让操作者感受到抓取阻力；手持 embodiment 同时保留外部接触和触觉的自然感知。
将多模态观测接入 Diffusion Policy，并把预测的力编译成 virtual target pose，用 Cartesian-to-joint impedance 执行，避免显式切换位置/力控制模式。

2. 背景与相关工作

【Paper】 机器人在环的 teleoperation 数据质量高，但需要昂贵硬件和受限场景；UMI、FastUMI 等 robot-free interface 降低了采集成本，却主要是 visuomotor。触觉、内部力和外部力矩工作分别证明了各自价值，但通常是“向已有接口外挂一个传感器”。

【Analysis】 OmniUMI 把问题从“再加一个 modality”提升为系统级一致性问题：多种传感器有不同协议、频率和坐标系；机械触发的夹爪还会污染力矩传感器；如果示教和部署的末端 embodiment 不同，触觉与力观测的分布会一起漂移。

3. 问题定义

【Paper】 给定手持接口记录的同步序列，学习一个策略将视觉、局部接触和力相关观测映射为未来 action chunk，并在机器人端以阻抗控制执行。

Observation：鱼眼 RGB、深度、轨迹/proprioception、触觉 embedding、内部抓取力 $f_t^{int}$、外部 wrench $f_t^{ext}$。
Action：末端平移增量 $(\Delta x,\Delta y,\Delta z)$、6D 旋转、预测 Cartesian force $f_t$ 和 virtual gripper width。
Embodiment：共享的电机化 quick-swap gripper；采集与部署复用 gripper-side 结构。
目标：在 force-sensitive pick-and-place、wrench-informed wiping、tactile-informed selective release 中验证数据和控制链路。

4. 方法

4.1 Overall Architecture

【Paper】 custom hub 把相机、深度、6 轴力传感器、运动跟踪、电机夹爪和触觉模块接到一条主机链路；同步观测进入多模态 policy，输出再经过 virtual-target 与 impedance controller 执行。

4.2 核心模块

Custom hub 与共享夹爪

【Paper】 hub 负责通信、协议转换、电压调节和设备管理，避免每个传感器各自接线。motorized quick-swap gripper 同时服务于示教和执行，降低几何、接触和传感上下文的 collection–deployment gap。电机化驱动还避免机械触发对外部力/矩读数的扰动。

内部抓取力与 bilateral feedback

【Paper】 电机电流 $i_t$ 经电机力矩常数 $k_\tau$ 和传动有效半径 $r_g$ 换算抓取力：

$$F_t^{int}\approx\frac{k_\tau i_t}{r_g}$$

主端 gripper 通过 bilateral control 感受从端的接触阻力，因此操作者能在拿起、保持和释放物体时直接调节抓取强度，而不是只看画面猜测。

外部 interaction wrench

【Paper】 6 轴传感器的原始读数先减去姿态相关重力/静态偏置，再从 sensor frame 变换到 end-effector frame：

$$w_t^{ee}=T_{s\rightarrow ee}(w_t^{raw}-w_t^{grav})$$

这一步把“传感器姿态变化造成的假力”与真实环境接触分开。手持过程中操作者的本体感觉与传感器读数还形成了额外的人机对齐。

生物仿生触觉手指与视觉

【Paper】 触觉被整合到受保护的 finger 结构中，尽量保留小物体操作能力。RGB/深度提供场景和几何上下文，触觉记录局部变形，轨迹提供运动参考；触觉图像先经 encoder 压成低维 embedding，再与 wrench 和 proprioception 拼接。

4.3 关键公式

观测和动作接口分别为：

$$o_t={I_t^{rgb},I_t^{depth},z_t^{tac},p_t,f_t^{int},f_t^{ext}}$$

$$a_t=[\Delta x_t,\Delta y_t,\Delta z_t,r_t^{6D},f_t^x,f_t^y,f_t^z,g_t^w]$$

其中 $z_t^{tac}=\phi_{tac}(I_t^{tac})$ 是触觉 embedding，$r^{6D}$ 是连续旋转表示，$g^w$ 是 gripper width。

【Paper】 预测力不作为独立 force-control 分支，而是调节 Cartesian stiffness：

$$\Delta p_t=K_{p,t}^{-1}f_t,\qquad p_t^v=p_t^{ref}-\Delta p_t$$

小力对应高刚度、较大力对应低刚度；由 $T_t^{vt}=(R_t^{ref},p_t^v)$ 得到 virtual target pose。随后 operational-space gain 经 Jacobian 映射到 joint-space：

$$K_{p,t}^{(q)}=J^\top K_{x,t}J+K_q,\quad K_{d,t}^{(q)}=J^\top K_{xd,t}J+K_{qd}$$

【Analysis】 这个接口的关键是把“想保持的位置”和“愿意让开的程度”写在同一个目标里，避免控制器在位置模式和力模式之间跳变。

4.4 Training

【Paper】 采用 Diffusion Policy 风格的 conditional U-Net。视觉输入和低维触觉/力观测共同形成 observation condition，再与 diffusion-step embedding 组成全局条件；训练时对 action chunk 加噪并学习去噪轨迹。

4.5 Inference

【Paper】 推理使用 DDIM 生成未来 action chunk，并采用 receding horizon 执行。每个 action chunk 的位姿与预测力先转为 virtual target，再经 damped-least-squares IK 和 joint impedance controller 下发。

4.6 代码实现对照

【Code】 项目页目前只提供论文、视频和演示，GitHub 按钮标记为 “Code (Coming Soon)”。因此没有可核对的 model、DataLoader、训练脚本或 evaluation 实现；上文关于代码行为的描述均不适用，本文只对照论文公式和系统图，不虚构官方实现细节。

5. 实验

5.1 Experimental Setup

【Paper】 实验分三层：先在 10 个静态姿态下验证外部 wrench 的重力补偿；再在同一个白板擦除任务中比较 direct human、无 bilateral feedback 的 teleoperation 和 OmniUMI 的三种示教信号；最后测试三类下游接触任务。

5.2 Main Results

【Paper】

| 任务 | 对照 | OmniUMI | 指标 | | --- | ---: | ---: | --- | | 满瓶矿泉水抓取放置 | 无抓取力 0% | 100% | 成功率；滑落率由 100% 降至 0% | | 白板交互擦除 | 无 wrench：5% 残留标准 0% | 100% | 50% 残留标准：60% → 100% | | 嵌套透明杯选择性释放 | 无 tactile：20% | 100% | 双杯同时保留率 80% → 0% |

【Paper】 白板擦除中，加入 wrench 的策略能维持 $F_z>7,N$，而无 wrench 的策略出现高频接触振荡并留下红色痕迹。

5.3 Ablation Study

【Paper】 三种示教信号在同一白板任务上都更接近 direct human：OmniUMI 的抓取力时间曲线幅值和节奏更稳定，擦除阶段 $F_z$ 的振荡更小，触觉 marker-offset 的 ℓ₂ 轨迹也更接近人类；无 bilateral feedback 的 teleoperation 在三者上都更噪。

5.4 Generalization

【Paper】 论文未报告大规模跨机器人 benchmark，而是用三类 interaction capability 证明物理信号的针对性价值：内部力帮助负载抓取，wrench 帮助持续表面接触，触觉帮助透明嵌套杯的低力释放。作者同时承认，当前评测任务和 embodiment 仍然有限。

6. 方法分析

6.1 为什么有效？

【Analysis】 视觉只能间接推断接触状态，且同一像素变化可能对应不同摩擦、载荷或滑移。OmniUMI 直接记录这些低维物理变量，并让操作者在采集时感知它们，减少了“示教者想做什么”和“数据里记录了什么”的错位。共享夹爪又让部署端看到相似的触觉与力学上下文。

6.2 核心创新

【Paper】 创新是三者耦合而非新 backbone：统一硬件 hub、human-aligned interaction acquisition、multimodal Diffusion Policy 和 impedance-compatible virtual target。论文把系统工程约束提升为学习接口的一部分。

6.3 与已有方法的本质区别

【Analysis】 传统 UMI 主要把“人的运动”记录下来；OmniUMI 还记录“人如何调节接触”。与单独加入 tactile 或 force 的 modality-centric 方法相比，它同时处理传感器共存、示教感知、跨阶段一致性和控制落地。

6.4 关键假设

【Analysis】 方法假设 gripper-side embodiment 能在采集与部署间复用，目标机器人具备足够的可达性和阻抗控制接口，并且重力模型、坐标变换和触觉编码足够稳定。若机器人换用完全不同的手指或相机位置，物理观测分布仍可能发生明显变化。

7. 局限性

7.1 作者明确提出的局限

【Paper】 作者指出，当前还没有系统隔离“human alignment → 数据质量 → 最终任务成功率”的因果链；实验覆盖的接触条件、任务时长和 embodiment 也有限。更丰富的 dexterous manipulation、长时序任务、更多机器人和更原则化的 impedance-aware policy 是后续方向。

7.2 自己分析得到的局限

【Analysis】 预测力通过 stiffness schedule 间接实现，依赖增益、IK 阻尼和机器人动力学的联合调参；论文暂未给出稳定性或 passivity 的完整证明。触觉 embedding 目前是低维压缩，细粒度滑移和剪切力信息可能在压缩中丢失。没有公开代码也使硬件标定、同步频率和训练超参难以复现。

8. 启发与研究思考

【Analysis】 OmniUMI 暗示，接触丰富的 VLA 不应只把触觉当作额外图像 token。更有价值的方向包括：把内部力、外部 wrench 和触觉事件编码成可解释的 interaction token；把 stiffness、执行时间和失败恢复作为 policy 输出；用同一套 calibration/metadata 让基础模型学习“何时该坚持轨迹、何时该让开”。在代码公开后，最值得复核的是多模态时间同步、触觉 encoder 的训练方式，以及 virtual target 在不同机器人阻抗参数下是否保持一致。

MimicGen 论文精读：用少量人类示教规模化生成机器人数据

Thu, 27 Aug 2026 00:00:00 GMT

1. 论文概述

【Paper】 MimicGen 研究的是机器人模仿学习中的数据瓶颈：高质量 teleoperation demonstration 很贵，但很多示教的核心操控技能在不同物体位置、场景和机械臂之间是重复的。系统从一个很小的 source dataset 出发，把每条轨迹按 object-centric subtask 切段，再将片段变换到新场景中执行；只有任务成功的尝试才写入 generated dataset。

一句话总结

【Analysis】 MimicGen 的关键不是生成一条“看起来合理”的轨迹，而是把重定向后的轨迹放回环境中真实执行，用 task success 做最后过滤。因此它更像一个 replay-and-verify 数据工厂，而不是离线的几何数据增强器。

核心贡献

【Paper】

提出通用的数据生成系统 MimicGen：从少量 human demonstrations 生成新的场景配置、物体实例和机器人硬件上的示教。
在 18 个任务、2 个模拟器和真实机械臂上生成 50K+ demonstrations，source demonstrations 约 200 条。
覆盖 pick-and-place、插入、铰接物体、长时程任务、移动操作和毫米级装配，而非只验证单一抓取任务。
证明 1,000 条 MimicGen 数据训练出的 BC-RNN policy，在许多任务上显著超过 10 条 source demos；与同数量的人类示教相比也有相近性能。

【Code】 官方 NVlabs/mimicgen 发布了数据生成器、robosuite / Factory 环境接口、任务配置、数据集脚本和调试工具。README 当前版本说明公开数据集包含 12 个任务、48K+ trajectories；论文实验统计为 18 个任务、50K+ trajectories，二者是代码发布范围与论文实验范围的差异。

2. 背景与相关工作

【Paper】 传统 Behavior Cloning（BC）把示教中的状态—动作对直接拟合为 policy。问题在于，覆盖更大初始状态分布通常需要成百上千甚至数万条人类轨迹。论文用 robomimic 的例子说明：即使是把 coke can 从一个 bin 放到另一个 bin 的简单任务，200 条示教也只能达到 73.3% 成功率；而真实世界大规模数据收集还需要多名操作员、多个厨房和数月时间。

已有 replay-based imitation 方法尝试把历史轨迹复用于新状态，但通常依赖特定任务、特定算法或不能真正验证重放是否成功。MimicGen 的区别是：它把“轨迹可重用”落实为统一的 object-centric 变换接口，并在环境执行后过滤失败样本，使生成数据可以无缝接入已有 BC pipeline。

【Analysis】 这是一种 data-centric 视角：提升 policy 的办法不一定是更大的模型，也可以是把有限人类时间投入到少数高质量 source skills，再用环境交互把这些 skills 展开到更宽的状态分布。

3. 问题定义

【Paper】 每个操作任务被建模为 MDP，示教数据为：

$$ \mathcal D_{\mathrm{src}}={(s_0^i,a_0^i,s_1^i,a_1^i,\ldots,s_{H_i}^i)}_{i=1}^{N}. $$

目标是从小的 source dataset $\mathcal D_{\mathrm{src}}$ 生成目标任务分布上的 $\mathcal D$，再用 BC 学习 policy $\pi_\theta$：

$$ \theta^*=\arg\min_\theta;\mathbb E_{(s,a)\sim\mathcal D}[-\log\pi_\theta(a\mid s)]. $$

系统依赖三个假设：

【Paper】Action space 是末端执行器 delta pose（3D 平移、axis-angle 旋转和夹爪开关），因而可以转换成 controller target pose。
【Paper】Subtask structure 已知，任务可写成相对于单个对象坐标系的一串 object-centric subtasks。
【Paper】Observation for generation：每个 subtask 开始时可以取得相关对象的 pose；部署训练好的 policy 时不需要再显式提供这个 pose。

| 要素 | MimicGen 定义 | | --- | --- | | 输入 | source demonstrations、目标场景初始状态、subtask specification | | 中间表示 | 每个 subtask 的末端执行器 target-pose sequence 与 gripper action | | 输出 | 在环境中成功执行并通过过滤的新 trajectory | | 变化维度 | 初始状态分布 $D$、对象实例 $O$、机器人硬件 $R$ | | 下游学习 | 论文使用 BC-RNN 训练 image-based 或 low-dim policy |

4. 方法

4.1 Overall Architecture

【Paper】 左侧先把 source trajectory 按 subtask termination signal 解析成连续片段；右侧针对一个新场景，逐个 subtask 选择 source segment、按对象 pose 变换、插入过渡轨迹并执行。整条轨迹完成后，通过 task success 判断是否写入数据集。

数据流可以概括为：source demos → segment parser → segment selector → object-pose transform → interpolation → controller execution → success filter。

4.2 核心模块

Source Dataset Parser

输入：一条示教轨迹和 task spec 中的 subtask_term_signal。
输出：$M$ 个 subtask segment，每段保存 eef pose、target pose、gripper action 及相关 object pose。
作用：把长时程行为拆成可复用的局部技能，例如 coffee preparation 可拆成抓 mug、放到机器、抓 pod、插入机器。
【Code】 mimicgen/utils/file_utils.py 的 parse_source_dataset 读取 HDF5 并根据 task spec 找到 segment 边界；DataGenerator.randomize_subtask_boundaries 还会按配置对边界加入随机 offset。

Reference Segment Selection

输入：当前 eef pose、当前 subtask 的 object pose、所有 source segment 的起始信息。
输出：一个 source demonstration index。
策略：默认是 random；nearest_neighbor_object 按对象位置的 L2 距离加旋转角距离，从 top-$k$ 中随机选一个；代码还提供按机器人到目标轨迹距离选择的策略。
为什么需要：不同 source demo 可能有不同抓取姿态和动作风格。代码中的 select_src_per_subtask 决定每个 subtask 是否重新选择 demo；关闭时一条生成轨迹固定使用同一条 source demo，避免跨片段策略不兼容。

Object-Centric Pose Transform

输入：source segment 的 target poses、source 对象 pose、当前场景对象 pose。
输出：新场景中的 target-pose sequence。
作用：保持末端执行器相对对象的位姿关系，使“以 mug 的这个方向接近”变成“以新 mug 的对应方向接近”。
【Code】 对应 mimicgen/utils/pose_utils.py 的 transform_source_data_segment_using_object_pose。

Interpolation and Waypoint Execution

输入：当前 eef pose 与变换后片段的首个 target pose。
输出：可逐步执行的 WaypointTrajectory。
作用：用位置线性插值和旋转插值连接相邻片段，并可在首个 target pose 上固定若干步；执行时再把绝对 target pose 转成 delta action。
【Code】 WaypointTrajectory.merge 负责插值，WaypointSequence 保存 pose、gripper action 与 noise；默认仿真配置是 5 个 interpolation steps、0 个 fixed steps。

Success Filter and Dataset Writer

输入：一次完整执行的 states、observations、actions 和环境 success。
输出：成功 demonstration 或丢弃该尝试。
作用：生成失败率（data generation rate）可能很低，但保留下来的轨迹是真实执行过的成功数据，适合训练下游 policy。
【Analysis】 这一步让生成器与单纯 replay 的目标不同：生成器的成功率衡量“生产成本”，而 policy success 衡量“数据学习价值”，两者并不等价。

4.3 关键公式

末端执行器位姿变换

设 source segment 中的控制目标为 $T_W^{C_t}$，source 对象起始位姿为 $T_W^{O_0}$，新场景对象位姿为 $T_W^{O'_0}$。MimicGen 令相对对象位姿保持不变：

$$ T_{O_0}^{C_t}=T_{O'_0}^{C'_t}, $$

因此新场景的控制目标为：

$$ T_W^{C'_t}=T_W^{O'_0}\left(T_W^{O_0}\right)^{-1}T_W^{C_t}. $$

这里 $W$ 是 world frame，$O_0/O'_0$ 是 source / new object frame，$C_t/C'_t$ 是控制器 target frame。公式只改变对象在世界中的位姿，不改变动作相对于对象的几何关系。

Delta pose action

【Paper】 每个动作包含 7 个量：$\Delta p\in\mathbb R^3$、axis-angle 形式的 $\Delta r\in\mathbb R^3$ 和 gripper command。控制器将：

$$ p_{t+1}^{\mathrm{target}}=p_t^{E}+\Delta p_t, $$

并把 $\Delta r_t$ 施加到当前 eef rotation。【Code】 mimicgen/env_interfaces/robosuite.py 将 pose target 与当前 eef pose 相减 / 相乘，执行时再乘以 controller 的最大平移和旋转尺度。

Behavioral Cloning

成功轨迹组成的 $\mathcal D$ 用 BC 训练：

$$ \mathcal L_{\mathrm{BC}}(\theta)=\mathbb E_{(s,a)\sim\mathcal D}[-\log\pi_\theta(a\mid s)]. $$

论文的实验 policy 是 robomimic 的 BC-RNN；low-dim 输入含 ground-truth object poses，image policy 输入 front-view 与 wrist-view RGB 图像。

4.4 Training

【Paper】 每个任务通常先由一名操作员收集 10 条 source demos（Mobile Kitchen 为 25 条，Square 使用 robomimic 数据），再用 MimicGen 生成每个 task variant 的 1,000 条成功轨迹。下游使用 BC-RNN；image agent 的图像为 84×84，真实机器人任务为 120×160，并采用 pixel-shift augmentation。low-dim policy 使用 $10^{-3}$ 学习率，image policy 沿用 robomimic 默认配置；模拟任务每个 checkpoint 用 50 次 rollout 评估，报告 3 个训练 seed 中的最大成功率。

4.5 Inference

【Paper】 MimicGen 不是部署时的 policy。数据生成完成后，训练好的 BC-RNN 只接收正常的 policy observation：low-dim agent 可以使用环境状态，image agent 使用相机图像和本体感知，不再需要显式 object pose 或 source segment。运行时由 policy 直接输出 action，环境控制器执行。

4.6 代码实现对照

| 论文概念 | 官方代码位置 | 实际行为 | | --- | --- | --- | | 数据生成主循环 | mimicgen/datagen/data_generator.py | reset 环境、选择 source demo、变换每个 subtask、执行并收集结果 | | task spec | mimicgen/configs/task_spec.py | 保存 object reference、termination signal、selection、noise 和插值超参 | | source 解析 | mimicgen/utils/file_utils.py | 从 HDF5 读取 datagen info 并切出 subtask indices | | 位姿计算 | mimicgen/utils/pose_utils.py | pose transform、rotation / position interpolation | | 选择策略 | mimicgen/datagen/selection_strategy.py | random、nearest-neighbor object、robot-distance 等策略 | | waypoint 执行 | mimicgen/datagen/waypoint.py | 保存绝对 pose target，执行时转换为 delta action 并加噪声 | | 数据集脚本 | mimicgen/scripts/generate_dataset.py | 反复尝试直到收集指定数量的成功 demo |

【Code】 官方实现还支持 transform_first_robot_pose、interpolate_from_last_target_pose 和随机 subtask boundary offsets 等论文正文没有展开的工程选项。Mobile Kitchen 的 base action 在当前实现中直接复制，而不像 arm action 那样按参考坐标系变换。

5. 实验

5.1 Experimental Setup

【Paper】 实验覆盖 robosuite（MuJoCo）和 Factory（Isaac Gym）中的基础堆叠、插入、铰接、长时程厨房、移动操作和精密装配。每个任务有默认分布 $D_0$、更宽的 $D_1$，部分任务还有更难的 $D_2$；也测试了新物体实例和 Sawyer、IIWA、UR5e 等不同机械臂。

真实实验在 Stack 与 Coffee 上各收集 10 条 $D_0$ source demos，再为宽分布 $D_1$ 生成 200 / 100 条成功 demos。相机使用 front-facing 和 wrist-mounted RealSense。

5.2 Main Results

【Paper】 论文报告的 image-based agent 结果显示，10 条 source demos 到 1,000 条 $D_0$ generated demos 后，多数任务有大幅提升：

| 任务 | 10 条 source demos | 1,000 条 MimicGen $D_0$ demos | | --- | ---: | ---: | | Square | 11.3% | 90.7% | | Threading | 19.3% | 98.0% | | Three Piece Assembly | 1.3% | 82.0% | | Mobile Kitchen | 2.0% | 46.7% |

【Paper】 更宽的 $D_1/D_2$ 分布上，训练成功率为 42%–99%；Mug Cleanup 在未见 mug 上达到 90.7%，在每回合更换的 12 个 mugs 上达到 75.3%。Factory 的 Nut-Bolt、Gear 和 Frame Assembly 在 $D_0$ 上达到 82%–99%，在更宽分布上仍有 37%–81%。

5.3 Ablation Study

【Paper】 动作噪声是一个关键消融：默认在执行 transformed segment 时加入 $\sigma=0.05$ 的 Gaussian noise。去掉噪声会提高 data generation rate，却可能让 low-dim agent 下降最多 30%、image agent 下降最多 40%。仅在原始场景 replay 并加噪声，也不如进行 object-pose transform：Square 的 $D_0$ 成功率从 source 的 11.3% 提升到 42.0%，但仍低于 MimicGen 的 90.7%。

【Paper】 选择策略的消融显示，关闭 nearest-neighbor / per-subtask 选择通常显著降低数据生成率，但 policy 成功率不一定同步下降。生成 200、1,000、5,000 条数据时，主要收益出现在 200→1,000，继续增加到 5,000 往往出现 diminishing returns。使用 10、50、200 条 source demos 的差异也通常 modest，说明 source demo 的选择质量可能比单纯数量更重要。

5.4 Generalization

【Paper】

跨机器人：用 Panda source demos 生成 Sawyer、IIWA、UR5e 数据，Square $D_0$ 的 data generation rate 为 38%–74%，但训练后的 policy 成功率仍约 80%–91%。
跨物体：同一 Mug Cleanup source mug 可转移到未见 mug 以及每回合随机的新 mug。
真实世界：Stack 的 generation rate 为 82.3%，Coffee 为 52.1%；宽分布上的最终成功率分别为 36% 与 14%。论文认为真实结果较低的一个原因是安全设置使用了 50 个 interpolation steps，而仿真通常只有 5 个。
低质量示教：来自不同熟练度操作员、不同 teleoperation device 的 source demos 仍能生成性能相近的下游 policy。

6. 方法分析

6.1 为什么有效？

【Analysis】

降低 human labeling burden：人类只需覆盖少数稳定技能，环境负责展开初始状态分布。
把几何不变性显式化：相对对象坐标系保留了抓取、接近、插入等动作的局部结构，比对整条世界坐标轨迹做随机平移更合理。
执行闭环过滤：失败的重定向轨迹不会污染训练集；所以即使 generation rate 低，数据质量仍可能高。
保留原有 policy pipeline：最终数据仍是普通 observation-action trajectories，可以直接交给 BC-RNN，不需要为每个下游 policy 设计新损失。

6.2 核心创新

【Analysis】 真正的创新是三个工程假设的组合：以 object-centric subtasks 作为可复用单元，以 target pose 作为跨机器人接口，再以“执行成功”作为数据质量控制。单独的轨迹 replay、动作噪声或离线 pose augmentation 都无法同时提供这三点。

6.3 与已有方法的本质区别

【Paper】 与直接收集更多人类数据相比，MimicGen 用约 10 条 source demos 生成 1,000 条成功 demos，在不少任务上达到相近 policy 性能；与 replay-based imitation 相比，它改变了任务实例并在新场景中执行，而不是只在原始 reset 上重复播放。

【Analysis】 它不是无条件的“数据倍增器”。生成器只会重用 source demos 已经包含的动作策略；如果新任务需要不同的 subtask 顺序、双物体关系或新的动力学，几何变换不会凭空创造这些能力。

6.4 关键假设

【Paper】 关键前提包括：subtask 顺序已知；每个 subtask 主要相对于一个对象；对象 pose 在生成时可观测；对象属于同一类别且有对齐的 canonical frame；任务是 quasi-static；机器人使用兼容的末端控制 frame。代码还隐含了 HDF5 数据格式、termination signal 和环境接口必须正确实现的工程假设。

7. 局限性

7.1 作者明确提出的局限

【Paper】

需要人工指定 object-centric subtask 及其顺序，不能自动处理任务结构改变。
每个 subtask 只支持一个 reference object，不适合依赖多个物体同时约束的动作。
线性 / spherical interpolation 不感知碰撞，也可能加入不利于 policy 学习的中间动作。
只展示了同类、刚性、尺度相近且 canonical frame 对齐的物体转移，不覆盖软体或形状差异很大的物体。
主要验证 quasi-static 单臂任务；动态任务、不同物体动力学和多臂任务未被覆盖。
Mobile Kitchen 中 base action 直接复制，且当前实现假设 base 与 arm 不同时运动。
只按 task success 过滤，生成数据仍可能存在选择偏差与轨迹 artifacts。

7.2 自己分析得到的局限

【Analysis】

成功过滤产生 selection bias：困难初始状态更容易被丢弃，训练集可能低估真实部署中的失败区域；generation rate 不能替代覆盖率指标。
位姿误差会沿长时程累积：每个 subtask 只在起点对齐对象，若对象估计或控制器有偏差，后续片段仍可能从错误状态开始。
技能组合不是任意可交换的：不同 source demos 的抓取姿态、放置方向和夹爪时序可能不兼容，per-subtask=False 虽能减少混搭，却也限制了组合多样性。
下游 BC 并不会自动识别生成痕迹：插值段和动作噪声改变了状态—动作分布；仿真中有效的 noise / interpolation 超参需要针对真实硬件重新调节。

8. 启发与研究思考

【Analysis】 MimicGen 给出的更一般启发是：机器人数据的“数量”应拆成技能多样性、状态覆盖率和执行质量三个维度。未来可以沿三个方向推进：

让视觉语言模型或任务规划器自动提出并验证 subtask graph，减少手工 task spec。
用碰撞感知 motion planner、可学习的插值器和更强的数据质量判别器替换线性插值与 binary success filter。
把生成过程中的失败尝试、对象 pose uncertainty 和 source-demo provenance 一并记录，训练能感知数据置信度的 policy，而不是只保留成功轨迹。

【Analysis】 对实际项目而言，最值得复用的不是某个固定的 5-step interpolation 超参，而是“source skill → 几何重定向 → 环境验证 → policy training”的闭环。只要任务能找到稳定的参考坐标系和可靠的成功判定器，就有机会把昂贵的人类示教转化为更宽的训练分布。

LIBERO-Plus 论文精读：VLA 鲁棒性的系统性体检

Thu, 27 Aug 2026 00:00:00 GMT

1. 论文概述

论文名称：《LIBERO-Plus: In-depth Robustness Analysis of Vision-Language-Action Models》
作者：Senyu Fei、Siyin Wang、Junhao Shi 等（复旦大学、上海人工智能实验室等）
论文链接：arXiv
代码与基准：GitHub · 项目主页 · Hugging Face 数据集

一句话总结

【Paper】 论文不再把“原始 LIBERO 成功率”当作能力代理，而是对物体布局、相机、机器人初始状态、语言、光照、背景和传感器噪声做可控扰动；结果显示，许多 VLA 在轻微变化下从约 95% 跌到 30% 以下，甚至把语言输入完全忽略。

核心贡献

【Paper】

提出七维鲁棒性分析协议，覆盖视觉、状态和语言输入，并将每一维继续拆成可量化的 21 个子组件。
构建自动化的 LIBERO-Plus 基准：10,030 个任务、五级难度（L1–L5），可直接替换原 LIBERO 安装包。
对 10 个代表性开源模型做统一评测，发现相机视角和机器人初始状态是最危险的分布偏移；语言扰动的“稳定”主要来自模型不看语言。
定义组合泛化缺口（Compositionality Gap），用成功条件下的协方差刻画两种扰动叠加是否产生额外损失。
用超过 20,000 条成功轨迹做 mix-SFT，OpenVLA-OFT+ 在 LIBERO-Plus 上达到 79.5%（项目 README 四舍五入为 79.6%），说明多样化训练确实能改善鲁棒性。

2. 背景与相关工作

【Paper】 原始 LIBERO、Simpler 等基准主要报告固定相机、固定场景和标准指令下的平均成功率。这种设置适合比较“在同一分布内谁更强”，却无法回答机器人遇到视角偏移、初始姿态改变或输入噪声时是否仍能完成任务。论文将这种差异称为从 interpolation 到真正 generalization 的鸿沟。

与 AGNOSTOS、RL4VLA、VLATest、COLOSSEUM 等工作相比，LIBERO-Plus 的区别在于同时覆盖七个维度、自动生成大规模任务，并在每个维度内提供 L1–L5 难度。被评测模型包含 OpenVLA/OFT 变体、$\pi_0$、$\pi_0$-Fast、Nora、WorldVLA、UniVLA 和 RIPT-VLA，横跨 autoregressive、diffusion、world-model 和 RL 后训练路线。

3. 问题定义

【Paper】 给定 LIBERO episode 和策略 $\pi$，对一个输入因素施加扰动 $D_i$，测量成功指示变量 $Y\in{0,1}$ 的条件概率：

| 维度 | 具体操作 | 主要考察能力 | | --- | --- | --- | | Objects Layout | 加入干扰物、移动/旋转目标物 | 目标识别与空间不变性 | | Camera Viewpoints | 改变第三视角位姿和 FOV | 视角变化下的几何推理 | | Robot Initial States | 改变机械臂初始关节状态 | proprioception 与运动学 | | Language Instructions | LLM 改写、增加语言复杂度 | 指令理解与跟随 | | Light Conditions | 强度、方向、颜色、阴影 | 光照不变视觉 | | Background Textures | 桌面/场景材质替换 | 背景域泛化 | | Sensor Noise | jitter、Gaussian blur 等图像退化 | 感知抗噪 |

【Code】 官方仓库把扰动后的 BDDL 任务和分类写入 libero/libero/benchmark/task_classification.json；每项任务包含 category 与 difficulty_level。评测时 README 要求把 num_trials_per_task 从 50 改成 1，以便大规模跑完 10,030 个任务。

4. 方法

4.1 Overall Architecture

LIBERO-Plus 不是一个新的 Policy，而是一套“生成扰动 → 分层任务 → 统一 rollout → 统计分析”的诊断管线。原始 LIBERO 任务先按七维因素扩展，再过滤、平衡并由四个代表模型的准确率划分难度；最终将模型输出汇总为单维、双维和极端遮挡实验。

数据流可以概括为：LIBERO task → BDDL/scene perturbation → simulator rollout → success rate → robustness/compositionality metrics。训练增强实验则从同一自动化管线收集成功轨迹，对 OpenVLA-OFT 做 mix-SFT。

4.2 核心模块

扰动生成器

输入：原始 BDDL、场景资产、相机/机器人参数和语言模板。
输出：带后缀（如 _add、_light、_language、_table）的新任务文件。
作用：将“鲁棒性”从模糊概念变成可重复的参数扫描。目标位移、相机球面偏移、初始关节采样、材质与光照变化都能独立控制。

【Code】 仓库提供数百个新增物体、纹理和 scene asset；安装方式是直接 pip install -e . 替换原 LIBERO，并从 Hugging Face 下载 assets.zip。

统一评测器

输入：模型 checkpoint、suite、任务分类和每任务 rollout 次数。
输出：每个模型×扰动维度的成功率及绝对下降值。
作用：保证 OpenVLA、diffusion policy 和 world-model policy 在相同任务集合上比较，而不是比较各自挑选的场景。

诊断实验

对象布局拆分：区分“加干扰物”和“移动目标物”，识别模型是在找目标语义还是记住像素位置。
光照极端消融：3rd-black 只遮第三视角，all-black 遮所有相机，区分全局视图和 wrist view 的贡献。
语言诊断：空指令与跨物体目标替换，检查模型是否真正根据语言改变动作。
组合泛化：对六类非语言扰动做两两组合，并与独立性乘积比较。

4.3 关键公式

单维或双维扰动的成功率定义为：

$$ s(d_i,d_j)=P(Y=1\mid D_i=d_i,D_j=d_j),\quad d_i,d_j\in{0,1}. $$

在成功样本条件下，双扰动的联合比例为：

$$ p(D_i=1,D_j=1\mid Y=1)=\frac{s(1,1)}{\sum_{a,b\in{0,1}}s(a,b)}. $$

论文把组合泛化缺口定义为条件协方差：

$$ \Delta_{ij}=\operatorname{Cov}(D_i,D_j\mid Y=1) =p(1,1\mid Y=1)-p(D_i=1\mid Y=1)p(D_j=1\mid Y=1). $$

其中 $\Delta_{ij}<0$ 表示两种扰动共同出现时，比“单独影响相乘”的预期更差；$\Delta_{ij}=0$ 才符合独立性假设。这个指标测量的是成功事件中的交互，而不是简单把两个百分比相减。

4.4 Training

【Paper】 论文没有提出新的 Policy loss，而是用自动化扰动管线收集超过 20,000 条成功轨迹，并从官方 OpenVLA-OFT 权重出发进行 mixed fine-tuning。数据增加了场景、物体和扰动的多样性，目标是让策略在训练时就看到测试分布之外的变化。

【Analysis】 这是一种 evaluation-driven post-training：基准既是诊断工具，也是数据生成器。它改善的是暴露过的分布覆盖，不等于已经解决真实机器人中的动力学、摩擦和传感器延迟。

4.5 Inference

【Paper】 推理阶段沿用各模型原本的 rollout policy；LIBERO-Plus 只替换任务、场景和输入，不要求模型增加额外的鲁棒模块。每个扰动任务执行一次（README 的推荐配置），成功与否写入分类对应的统计桶。

4.6 代码实现对照

【Code】 官方仓库主要实现 benchmark，而不是重新实现 OpenVLA、$\pi_0$ 等模型。可核对的实现点包括：

libero/libero/benchmark/task_classification.json：任务 ID、扰动类别和 L1–L5 难度映射。
libero/libero/bddl_files/libero_mix/：混合 suite 中按 add、light、language、table、moved 等后缀组织的任务。
benchmark_scripts/check_task_suites.py 与 render_single_task.py：检查任务套件并渲染单个任务。
README 的安装流程：替换 LIBERO、下载 assets、将 num_trials_per_task 设为 1；训练数据和 OpenVLA-OFT+ checkpoint 通过 Hugging Face 单独提供。

因此，论文中“模型结构、优化器和 action representation”的细节来自各模型原论文；LIBERO-Plus 代码本身只负责环境、任务资产与评测协议。

5. 实验

5.1 Experimental Setup

论文评测十个开源 checkpoint：OpenVLA、OpenVLA-OFT、去 wrist 的 OpenVLA-OFT_w、mix-SFT 的 OpenVLA-OFT_m、$\pi_0$、$\pi_0$-Fast、Nora、WorldVLA、UniVLA 和 RIPT-VLA。原始列 Original 是未扰动 LIBERO 成功率，其余列是七个扰动维度的成功率。

5.2 Main Results

【Paper】 代表性结果如下（单位：成功率 %）：

| 模型 | Original | Camera | Robot | Language | Light | Background | Noise | Layout | | --- | ---: | ---: | ---: | ---: | ---: | ---: | ---: | ---: | | OpenVLA | 76.5 | 1.1 | 4.1 | 26.8 | 4.4 | 25.3 | 19.3 | 31.6 | | OpenVLA-OFT | 97.1 | 59.7 | 37.2 | 81.5 | 85.8 | 92.4 | 76.7 | 77.1 | | $\pi_0$ | 94.2 | 15.8 | 6.6 | 61.0 | 79.6 | 78.5 | 79.4 | 70.4 | | $\pi_0$-Fast | 85.5 | 66.4 | 24.8 | 63.3 | 73.0 | 67.7 | 75.8 | 70.3 | | RIPT-VLA | 97.5 | 58.3 | 36.7 | 80.1 | 87.9 | 90.4 | 73.8 | 76.5 | | OpenVLA-OFT_m | 97.6 | 57.9 | 30.6 | 83.6 | 91.6 | 83.6 | 76.3 | 73.2 |

【Paper】 平均来看，相机和机器人初始状态最具破坏性；背景和光照通常较温和，但这并不代表模型学到了语义不变性。带 wrist camera 的 OpenVLA-OFT 比仅第三视角的 OFT_w 更能抵抗视角变化；多样化 co-training 的 $\pi_0$ 系列在噪声和背景上相对稳健。

5.3 Ablation Study

对象布局。 加入干扰物时，$\pi_0$、$\pi_0$-Fast、RIPT-VLA、UniVLA 和 WorldVLA 的下降较小；但移动目标物会让成功率显著下滑，说明模型更像记住目标的空间位置。

光照与黑屏。 所有相机都置黑（all-black）后性能几乎归零；只遮第三视角（3rd-black）时，OpenVLA-OFT、$\pi_0$-Fast 等仍分别达到约 43.6、43.0、67.3% 的准确率。wrist view 提供了近距离几何和接触线索，解释了光照扰动下的表面稳定性。

语言。 空指令对 object suite 影响很小，仅 long suite 明显下降；将目标从 alphabet soup 换成 tomato sauce 等 OOD 物体后，成功率接近零。模型常执行原目标动作，所谓“语言鲁棒”实质上是 language-agnostic。

5.4 Generalization

论文进行 2,000 次独立重复实验，对六类非语言扰动计算组合指标。热图中大多数联合结果低于单维成功率乘积，得到一致的负 $\Delta_{ij}$：扰动并非可独立分解，而是在共享特征空间中耦合成更强的噪声。

进一步的 post-training 结果：OpenVLA-OFT+ 在 Camera、Robot、Language、Light、Background、Noise、Layout 上分别为 92.8、30.3、85.8、94.9、93.9、89.3、77.6%，总成功率 79.5%，相对 OFT_m 提升 11.6 个百分点；相机提升 37.2 个百分点最明显。

6. 方法分析

6.1 为什么有效？

【Analysis】 LIBERO-Plus 的价值不在于把任务数量简单做大，而在于把“输入因素”与“失败模式”对齐。相机扰动直接测试坐标变换，初始状态扰动测试本体感与运动学，目标位移测试语义是否脱离绝对像素位置，空语言测试多模态融合是否真的发生。这样才能将一个低分归因到可研究的机制，而不是笼统地说模型不泛化。

6.2 核心创新

诊断维度完整：同时覆盖 vision、state、language 三种输入通道。
自动化与细粒度并存：10,030 个任务配合 21 个子组件和五级难度。
从相关性到交互性：条件协方差形式的 $\Delta_{ij}$ 能发现组合扰动的额外损失。
诊断闭环训练：用失败暴露的变化生成成功轨迹，验证 robustness-oriented post-training 的收益。

6.3 与已有方法的本质区别

传统 LIBERO leaderboard 问“同一套场景谁成功率高”；LIBERO-Plus 问“任务条件稍微改变后，策略是否仍使用正确的感知、语言和几何线索”。它更接近 reliability evaluation，而不是单一能力排行榜。

6.4 关键假设

仿真中的材质、光照、相机和 BDDL 改动足以代表有意义的分布偏移；论文没有证明它们覆盖真实硬件的全部误差。
单次 rollout 足以估计大规模 benchmark 的相对趋势；README 因成本建议每任务一次，但随机策略下方差可能被低估。
成功轨迹 mix-SFT 的收益主要来自多样性，而不是额外的训练预算或 checkpoint 差异。

7. 局限性

7.1 作者明确提出的局限

【Paper】 论文结论强调当前结果主要来自模拟 LIBERO；它没有声称模型已经具备真实世界中的鲁棒性。作者也指出，标准 benchmark 的高分可能只是有限环境中的 trajectory memorization。

7.2 自己分析得到的局限

【Analysis】

语言实验集中在空指令和目标替换，尚未系统区分语法改写、否定、指代和长程组合指令。
10,030 个任务虽大，但七个维度的采样分布、难度阈值和四模型分层会影响 leaderboard 的可迁移性。
组合缺口目前主要是 pairwise covariance；三维及更高阶交互仍可能被遗漏。
训练增强使用成功轨迹，失败恢复、碰撞安全和闭环纠错没有纳入目标函数。
benchmark 代码不包含各 VLA 的统一实现，复现实验仍依赖不同仓库、权重和预处理细节。

8. 启发与研究思考

【Analysis】 这篇论文给 VLA 研究的直接提醒是：先问策略在依赖什么线索，再问它的平均成功率是多少。一个实用的后续路线是把 LIBERO-Plus 的扰动标签作为训练 curriculum：先解决相机和初始状态，再加入目标位移、语言替换，最后用组合缺口筛选真正需要结构化建模的交互。

对模型设计而言，wrist view 的结果说明局部几何观测可能比更大的 backbone 更能提升鲁棒性；空语言和目标替换则提示需要显式的 language grounding 或 goal-conditioned action decoder。对评测而言，未来 leaderboard 至少应同时报告单维曲线、组合缺口、失败恢复率和真实部署转移，而不是只给一个 Original 平均分。

LIBERO 论文精读：终身机器人学习知识迁移基准

Thu, 27 Aug 2026 00:00:00 GMT

1. 论文概述

【Paper】 LIBERO（LIfelong learning BEchmark on RObot manipulation）是一个面向机器人操作的 lifelong learning benchmark。论文不是提出一套新的 policy，而是提供任务生成器、130 个任务、示教数据、三类策略架构、三类终身学习算法和一套评测协议，让研究者可以回答“机器人究竟迁移了什么知识”。

一句话总结

【Analysis】 LIBERO 的关键价值在于把“终身学习”从一句口号变成可拆解的实验变量：保持物体不变只改变目标，保持目标不变只改变空间关系，再逐步加入混合分布，从而区分 declarative knowledge（对象、位置）与 procedural knowledge（动作、行为）的迁移和遗忘。

核心贡献

【Paper】

提出基于 Robosuite、PDDL 和 Ego4D 行为模板的程序化任务生成流程，原则上可以持续生成新任务。
发布四个任务套件：LIBERO-Spatial、LIBERO-Object、LIBERO-Goal 各 10 个任务，LIBERO-100 含 100 个任务；后者再划分为 LIBERO-90 预训练和 LIBERO-10（论文中称 LIBERO-LONG）终身学习评测。
为每个任务提供 50 条高质量人类遥操作示教（Thread Velcro 为 100 条），降低研究者收集数据的门槛。
统一比较 ResNet-RNN、ResNet-T、ViT-T 三类 visuomotor policy，以及 ER、EWC、PackNet、Sequential Fine-tuning 和 Multitask Learning。
报告多个反直觉发现：顺序微调的 forward transfer 反而最好；没有一种视觉编码器在所有知识迁移类型上都占优；朴素监督预训练可能损害下游终身学习。

2. 背景与相关工作

【Paper】 传统 lifelong learning 多在图像或文本分类中研究 declarative knowledge，例如类别和实体。机器人决策还必须迁移 procedural knowledge：如何抓取、移动、开关或组合多个动作。比如“从冰箱取果汁”失败，可能是忘了果汁的位置，也可能是忘了开冰箱门的动作。

单纯的 multitask learning 可以同时访问所有任务数据，但计算和存储成本高，也不符合机器人持续接收任务的设定。经典 lifelong learning 则要求任务按序到达，学习第 $k$ 个任务时不能完整访问前 $k-1$ 个任务数据，因此必须在 forward transfer（新任务学得更快）和 backward transfer / forgetting（旧任务性能保持）之间折中。

【Analysis】 LIBERO 的实验设计比“在一张总表上比较算法”更有诊断性：Spatial 主要考察空间关系，Object 主要考察对象概念，Goal 主要考察动作目标，LIBERO-100 则把这些因素纠缠在一起。这种 controlled distribution shift 是理解失败原因的前提。

3. 问题定义

【Paper】 每个机器人任务 $T^k$ 由初始状态分布 $\mu_0^k$ 和目标谓词 $g^k$ 定义；所有任务共享状态空间 $S$、动作空间 $A$、动力学 $T$ 和 horizon $H$。机器人按顺序学习 $K$ 个任务，并使用同一个 task-conditioned policy $\pi(\cdot\mid s;T)$。

在实际 benchmark 中，论文采用 lifelong imitation learning：每个任务提供示教集合 $D^k={\tau_i^k}$，轨迹包含图像、机器人关节/夹爪状态和连续末端执行器动作。由于图像观测通常不是 Markov 的，策略使用历史观测 $o_{\le t}$ 近似状态。

目标是累计优化已经见过的任务：

$$ J_{\mathrm{LRL}}(\pi)=\frac{1}{k}\sum_{p=1}^{k} \mathbb E\left[\sum_{t=1}^{L^p}g^p(s_t^p)\right]. $$

行为克隆阶段则最小化：

$$ J_{\mathrm{BC}}(\pi)=\frac{1}{k}\sum_{p=1}^{k} \mathbb E_{(o_t^p,a_t^p)\sim D^p} \left[\sum_t\mathcal L\big(\pi(o_{\le t};T^p),a_t^p\big)\right]. $$

4. 方法

4.1 Overall Architecture

LIBERO 的系统由三层组成：任务生成器负责把自然语言行为模板变成场景和目标；benchmark 层固定任务套件、示教和任务顺序；policy 层接收图像、语言和机器人状态并输出连续动作。

【Paper】 数据流可以概括为：Ego4D 语言模板 → 采样任务指令 → 选择 Robosuite 场景并生成 PDDL 初始状态 → 用谓词描述目标 → 视觉语言策略通过 GMM action head 输出末端执行器动作。

4.2 核心模块

程序化任务生成器

输入：Ego4D 的人类活动语言描述和模拟器已有物体/场景。
中间结果：行为模板、自然语言 instruction、PDDL 文件。
输出：可执行的初始状态分布 $\mu_0$、目标谓词 $g$ 和对应模拟任务。

【Paper】 生成器先从 Ego4D 抽取“Open ...”“Put ...”等行为模板，再填入模拟器物体；随后根据 instruction 选择厨房等场景，PDDL 同时描述对象类别、摆放关系和初始开关状态。目标由 unary predicates（如 Open(X)）和 binary predicates（如 On(A,B)、In(A,B)）的合取组成，全部谓词满足时 episode 结束。

三种视觉语言策略

【Paper】

| Policy | Vision encoder | Temporal backbone | Language fusion | 适合观察 | | --- | --- | --- | --- | --- | | ResNet-RNN | ResNet | LSTM | FiLM + LSTM input | 低成本、较短时序 | | ResNet-T | ResNet | Transformer decoder | language token + visual tokens | 时序与空间关系 | | ViT-T | ViT | Transformer decoder | language token 参与视觉和时序融合 | 物体种类丰富的场景 |

三者都把多模态特征送入 Gaussian Mixture Model（GMM）输出头，再采样连续末端执行器动作。【Code】 官方仓库当前配置将 bc_transformer_policy 的时序 Transformer 设为 4 层、6 个 heads、最大序列长度 10，并默认使用 ResNet image encoder、MLP language encoder 与 GMM head；可通过 Hydra 配置切换 bc_rnn_policy、bc_vilt_policy 和不同 lifelong algorithm。

Lifelong learning algorithms

Sequential Fine-tuning（SeqL）：只用当前任务数据更新共享策略，作为低成本基线。
Experience Replay（ER）：保存旧任务少量样本，与新任务混合训练，属于 memory-based 方法。
Elastic Weight Consolidation（EWC）：用 Fisher 信息估计参数重要性，对旧任务重要参数施加正则，属于 regularization-based 方法。
PackNet：为已学任务冻结/分配参数子网络，属于 dynamic-architecture 方法。
Multitask Learning（MTL）：同时访问所有任务数据，作为理想化上界。

4.3 关键公式

Forward transfer、negative backward transfer 与 AUC

设 $c_{i,j,e}$ 是已经学习前 $i-1$ 个任务、在任务 $i$ 上训练 $e$ 个 epoch 后评估任务 $j$ 的 success rate。当前任务 $i$ 的最佳成功率为 $c_{i,i}=\max_e c_{i,i,e}$，达到该值的最早 epoch 为 $e_i^*$。

$$ \mathrm{FWT}k=\frac{1}{11}\sum{e\in{0,5,\ldots,50}}c_{k,k,e}, \quad \mathrm{NBT}k=\frac{1}{K-k}\sum{\tau=k+1}^{K}(c_{k,k}-c_{\tau,k}), $$

$$ \mathrm{AUC}k=\frac{1}{K-k+1}\left(\mathrm{FWT}k+\sum{\tau=k+1}^{K}c{\tau,k}\right). $$

【Paper】 FWT 越高表示新任务学得快，NBT 越低表示旧任务保留得好，AUC 同时考虑两者。【Analysis】 这三个指标避免只看最后一个 success rate：一个算法即使不遗忘，但每个新任务都要从头学，也不算好的 lifelong learner。

4.4 Training

【Paper】 每个任务使用 50 条人类 teleoperation trajectories；训练采用 behavioral cloning，策略根据当前图像历史、语言指令和机器人状态预测 GMM 动作分布。论文实验使用单张 A100 或 A40，训练和评估在仿真中进行；LIBERO-90 的短任务可用于预训练，LIBERO-LONG 的 10 个长任务用于下游终身学习。

【Code】 官方 README 的复现实验入口是 python libero/lifelong/main.py seed=SEED benchmark_name=BENCHMARK policy=POLICY lifelong=ALGO；配置中可选 base、er、ewc、packnet、multitask，数据下载脚本支持四个任务套件和 Hugging Face 镜像。

4.5 Inference

【Paper】 推理时机器人只访问当前 observation 和 task instruction，不再访问旧任务数据；策略输出 GMM 的连续末端执行器动作并与模拟器交互。任务在所有 PDDL goal predicates 满足时成功。

4.6 代码实现对照

【Code】 官方实现把 benchmark、policy、lifelong method 和 optimizer 拆成 Hydra 配置树。benchmark_scripts/download_libero_datasets.py 负责下载示教；libero/configs/policy/ 定义三种 BC policy、ResNet/patch image encoder、语言 encoder、位置编码和 GMM head；libero/configs/lifelong/ 提供 er.yaml、ewc.yaml、packnet.yaml、multitask.yaml 等算法配置。

【Analysis】 论文中的方法贡献是“可控 benchmark + 初始研究协议”，而不是仓库中的某个单一模型。代码最重要的可复现接口是把五种算法和三种 policy 组合成实验矩阵；因此阅读结果时应同时记录 benchmark_name、policy、lifelong 和 seed，否则不同表格之间并不可直接比较。

5. 实验

5.1 Experimental Setup

四个套件的分布变化如下：

| Suite | 任务数 | 主要变化 | 需要迁移的知识 | | --- | ---: | --- | --- | | LIBERO-Spatial | 10 | 物体相同，空间关系变化 | declarative spatial knowledge | | LIBERO-Object | 10 | 布局相近，物体类型变化 | declarative object knowledge | | LIBERO-Goal | 10 | 物体和布局固定，目标变化 | procedural goal/behavior knowledge | | LIBERO-100 | 100 | 物体、布局、目标混合变化 | entangled knowledge |

【Paper】 所有结果平均三个 random seeds，并报告标准误；success rate 被选作底层指标，因为操作任务中的训练 loss 与真实完成率并不总是同步。

5.2 Main Results

【Paper】 论文的主要结论可以压缩成三点：

Transformer temporal backbone 普遍优于 RNN：ResNet-T 和 ViT-T 在多数套件上的 AUC 明显高于 ResNet-RNN，说明长期依赖的抽象方式本身就是关键变量。
视觉架构具有任务专长：在 ER 下，ResNet-T 往往在 Spatial/Goal 上更强；ViT-T 在 Object 上受益于更强的视觉容量。没有单一 encoder 在所有分布变化上胜出。
算法与架构存在交互：PackNet 在 LIBERO-X 上的 NBT 很低，但在 LIBERO-LONG 上 forward transfer 较差；ER 的整体表现更稳健。

以 LIBERO-LONG 为例，ResNet-T + ER 的 FWT/NBT/AUC 为 0.48/0.32/0.32，ViT-T + PackNet 为 0.36/0.14/0.34；后者更不容易忘记，但前者学新任务更快。【Analysis】 这正是 AUC 比单一“最终成功率”更有解释力的地方。

5.3 Ablation Study

语言 embedding。 BERT、CLIP、GPT-2 与 Task-ID embedding 在 LIBERO-LONG 上没有统计显著差异。论文推测，当前 sentence embedding 更像 bag-of-words，只负责区分任务，而没有真正利用 instruction 的语义结构。

终身算法。 SeqL 在所有套件上 FWT 最好，说明 ER/EWC/PackNet 的抗遗忘机制同时牺牲了新任务适应速度；PackNet 在短任务上保护旧知识有效，但参数分割会减少单个长任务可用容量；EWC 的正则化甚至可能阻碍当前任务优化。

任务顺序。 同一算法和架构仅改变 task ordering，性能就会显著变化，尤其是 PackNet。任务顺序不是实验噪声，而是 benchmark 应显式报告的条件。

5.4 Generalization

【Paper】 作者用 LIBERO-90 的 90 个短任务做 supervised pretraining，再在 LIBERO-LONG 上进行 lifelong learning。结果显示，朴素预训练不一定改善下游性能，部分架构/算法组合反而下降。

【Analysis】 这不是“预训练无效”的普遍结论，而是说明行为克隆预训练可能把模型塑造成过于具体的动作/视觉表示，降低后续任务中的可塑性；预训练目标、数据顺序和冻结策略需要与 lifelong objective 一起设计。

6. 方法分析

6.1 为什么有效？

【Analysis】 LIBERO 有效的根本原因是把变量拆开了。Spatial/Object/Goal 三套任务共享大量因素，只改变一个知识轴，因而可以把性能差异归因到空间、对象或程序行为，而不是笼统地归因于“泛化能力”。同时，FWT 与 NBT 把适应速度和记忆保持分离，避免算法通过完全冻结模型获得虚假的抗遗忘成绩。

6.2 核心创新

Benchmark as a microscope：任务套件不是简单增加数量，而是提供知识类型的受控实验。
Procedural generation：自然语言模板、场景、PDDL 状态和目标形成可扩展的任务生产线。
Policy–algorithm matrix：同一 benchmark 同时比较视觉/时序架构和终身算法，揭示二者的交互效应。
Lifecycle metrics：FWT、NBT、AUC 让“学得快、忘得少、总体好”成为可复现实验对象。

6.3 与已有方法的本质区别

LIBERO 不把 lifelong robot learning 简化为“多任务 BC 的最后一个 checkpoint”。它保留任务到达顺序、旧数据不可完全访问和持续评估旧任务三个约束；MTL 只是上界，SeqL 则是 forward-transfer 参照。【Analysis】 因此 LIBERO 更接近真实部署中的数据生命周期，而非离线数据集上的静态 benchmark。

6.4 关键假设

【Paper】 所有任务共享状态/动作空间和动力学，主要变化来自初始分布与目标谓词。
【Paper】 机器人主要通过少量示教进行 imitation learning，当前版本不是稀疏奖励 RL 的完整解决方案。
【Analysis】 仿真中的视觉和动力学差异仍然有限，benchmark 分数不能直接等价为真实机器人上的终身能力。
【Analysis】 任务文本被当作 task condition，但现有 embedding 实验表明策略可能只使用任务 ID 的区分信息。

7. 局限性

7.1 作者明确提出的局限

【Paper】 LIBERO 的初始研究集中在四个模拟任务套件、三种 policy 和三种 lifelong algorithm；作者将更丰富的语言编码、对任务顺序更鲁棒的算法、以及更有效的预训练列为开放方向。当前 benchmark 主要采用 imitation learning，因为 sparse-reward RL 在这些操作任务上训练困难。

7.2 自己分析得到的局限

【Analysis】

仿真偏差：PDDL goal 成功并不包含接触安全、力控制和硬件磨损，sim-to-real 仍需独立验证。
示教分布限制：每任务 50 条轨迹足以做 benchmark，但可能不足以覆盖多种合法行为，影响对多模态 procedural knowledge 的测量。
记忆预算未完全统一：ER 的 replay 容量、PackNet 的参数掩码和 EWC 的正则强度有不同资源含义，横向比较需要同时报告内存和可训练参数。
语言变量仍较弱：如果自然语言只承担 task identifier，LIBERO 还不能充分检验 compositional language grounding。
长程交互有限：LIBERO-LONG 只有 10 个长任务，真实世界中任务数量、对象变化和动力学变化可能更加开放。

8. 启发与研究思考

【Analysis】 读完 LIBERO 后，最值得带走的不是“ER 还是 PackNet 更好”，而是以下研究方法：

先定义要迁移的知识，再设计只改变一个因素的任务套件；否则任何结果都难以解释。
评估 lifelong policy 时同时画出 learning curve、FWT、NBT 和 AUC，并报告 task ordering 与 seed。
把 policy architecture 当成一等公民：视觉 encoder、temporal module 和 language fusion 可能比算法名字更决定迁移效果。
预训练应优化“可塑性 + 稳定性”，而不是只追求短期 BC success rate；可以尝试 representation replay、任务关系建模或 meta-learned consolidation。
下一步可把 LIBERO 的 PDDL 目标与真实机器人安全约束连接起来，并增加开放词汇对象、触觉、力反馈和可组合语言 instruction。

InternData-A1 论文精读：合成数据能否预训练通用机器人策略？

Thu, 27 Aug 2026 00:00:00 GMT

1. 论文概述

一句话总结

【Paper】 InternData-A1 的论点不是“仿真替代真实数据”，而是：当合成数据同时覆盖足够多的 embodiment、场景、物体物理和可组合技能时，它可以提供强到足以预训练通用 VLA（Vision-Language-Action） Policy 的动作先验；论文以与 $\pi_0$ 相同的架构，检验这种先验能否追平闭源 $\pi$-dataset。

核心贡献

【Paper】

发布 InternData-A1：共 637,498 条轨迹、401,430,981 帧、7,433.91 小时，覆盖 4 种机器人、18 类技能、70 个任务与 227 个室内场景。
提出解耦且可组合的合成流水线：资产、原子技能、任务配置、轨迹规划与渲染分别处理，使同一技能能在不同物体、场景和 embodiment 中复用。
采用物理与视觉高保真资产，覆盖刚体、关节物体、衣物等可变形物体和流体；并在相机、光照、布局、物体姿态、抓取/接触位点上随机化。
仅用 InternData-A1 预训练 $\pi_0$，在 RoboTwin 2.0 的 49 项双臂任务、9 项真实任务及 10 项 sim-to-real 任务上与官方 $\pi_0$ 对照，展示合成预训练的可迁移性。

2. 背景与相关工作

【Paper】 大规模真实机器人数据已证明能让 VLA 获得跨任务、场景和 robot embodiment 的泛化，但遥操作采集依赖熟练操作员、硬件和大量人工。仿真则具备可控场景与自动扩展的优势，却常局限于刚体 pick-and-place、少量技能，或没有证明其数据足以承担大规模 VLA pre-training。

【Analysis】 因而本文的真正变量是“数据分布”而不是“网络容量”。作者固定 $\pi_0$ 架构，将训练来源替换为 InternData-A1，试图回答：合成数据在多样性、真实性和规模上达到什么程度，才不再只是 downstream augmentation，而能学习到可迁移的 action prior。

3. 问题定义

【Paper】 给定资产库与自然语言式任务模板，系统要自动产生可执行的示教轨迹 $\mathcal D_{sim}={(o_{1:T}, q_{1:T}, a_{1:T}, l)}$：$o$ 是多视角 RGB 与相机参数，$q$ 是机器人本体状态，$a$ 是 dense joint-space control label，$l$ 是语言指令。每条轨迹必须先通过物理仿真验证，才会渲染并保存为 LeRobot 格式。

| 层次 | 论文中的对象 | 作用 | | -------- | ------------------------------------ | ------------------------------------- | | 资产 | robot、房间、刚体/关节/衣物/流体物体 | 决定 embodiment 与物理/视觉分布 | | 原子技能 | Pick、Place、Push 等 18 类技能 | 将对象与约束映射成末端执行器 waypoint | | 任务 | 70 个不同上下文与技能组合 | 定义语言、顺序/并行双臂行为与动作约束 | | 轨迹 | CuRobo 插值后的关节动作 | 经物理验证后成为 VLA 监督信号 |

【Paper】 数据包含 AgiBot Genie-1（7.9%）、Franka Panda（23.3%）、AgileX Split Aloha + Piper-100（30.8%）及 ARX Lift-2 + R5a（37.8%）。70 个任务中含 4 个流体、4 个可变形、15 个关节物体任务和 47 个刚体任务；18 个 long-horizon 任务均至少含 3 个连续技能。

4. 方法

4.1 Overall Architecture

【Paper】 数据流为：任务模板检索 robot/scene/object 资产，组合原子技能为 waypoint，再经 domain randomization、CuRobo 规划与物理验证；成功轨迹才进入渲染和 LeRobot 存储。

4.2 核心模块

高保真环境与资产接口

【Paper】 机器人以经过接触动力学验证的 USD 资产表示；场景来自 GRUtopia 的 GRScenes-100，并附有可操纵区域元数据。刚体记录物理属性、canonical pose 与自动抓取位姿；关节物体带 joint axis、部件 pose、damping 和 stiffness；衣物以 Vertex Block Descent 模拟；流体以粒子动力学和等值面渲染建模。

【Analysis】 这套统一资产接口的意义在于把“如何表示一个可操作对象”从每个任务脚本中抽走。若物理参数和交互标注只存在于专用任务代码里，技能就很难跨对象、跨房间复用。

原子技能与任务组合

【Paper】 每个 scripted skill 接收物体状态（pose、joint state）、机器人状态（base 与 end-effector pose）和用户约束，输出目标末端的 6D waypoint。以 Pick 为例，系统筛选 grasp candidates，生成 pre-grasp、grasp 和 post-grasp pose；与关节物体交互的 Push 则根据 contact annotation 生成 pre-contact、contact 与 post-contact waypoint。用户只需指定左右臂、技能的串/并行关系和少量空间范围。

【Analysis】 waypoint 是此处的关键中间表示：高层 skill 只关心语义约束，低层 planner 只关心连续可行运动。论文因此能把“拿盘子—交给另一只手—放上架子”写成配置组合，而不是为每个新任务重新示教。

Domain Randomization

【Paper】 系统随机扰动主相机和腕相机（旋转 $\pm5^\circ$、平移 $\pm5$ cm），从 174 个 environment map 中采样光照，替换同类物体、随机桌面与背景布局，并在任务规定空间内采样机器人与目标物的初始 pose。抓取候选由 AnyGrasp 自动产生并筛选，最终从 top-40 高置信候选中随机选择；关节物体和衣物的接触区域也在邻域内随机采样。

Planner–Renderer 解耦

【Paper】 CuRobo 在 waypoint 间插值为 dense joint actions，并先在物理仿真中执行。只有成功的 episode 才开启渲染和记录，避免为失败的长任务浪费 GPU 渲染。论文进一步把 CPU 偏重、串行的 planning 与 GPU 偏重、并行的 rendering 解耦，用 batch、动态调度、Stack Render、Balancer 和 Supervisor 组织集群，报告端到端吞吐相对基线提升 $2\text{--}3\times$。

4.3 关键公式

【Paper】 原子技能可抽象为从状态与约束到 waypoint 序列的映射：

$$ W = f_s(x^{obj}, x^{robot}, c), \qquad W={w_i}_{i=1}^{K},\quad w_i\in SE(3) $$

其中 $s$ 表示某个 skill，$x^{obj}$ 含物体 pose 或关节状态，$x^{robot}$ 含 base 与末端状态，$c$ 是对象、方向、接触/放置区域等约束；$w_i$ 是第 $i$ 个末端 6D 目标 pose。$K$ 随技能而变，例如 Pick 通常需靠近、闭合与抬起等多个 waypoint。

【Analysis】 将随机化显式写为：

$$ \xi\sim p(\xi),\qquad \tau = \operatorname{Sim}\bigl(\operatorname{Plan}(W;\xi)\bigr) $$

$\xi$ 汇集相机、光照、布局、物体 pose、抓取候选和接触区域的随机变量；$\operatorname{Plan}$ 是 CuRobo 插值/规划，$\operatorname{Sim}$ 是物理验证。只有成功的 $\tau$ 会被渲染，这将“随机得多”与“仍物理可执行”同时作为数据质量门槛。

4.4 Training

【Paper】 作者采用与 $\pi_0$ 相同的架构：PaliGemma 初始化视觉—语言部分，action expert 从随机权重开始；仅使用 InternData-A1 预训练 680k iterations、32 张 A100。总 batch size 为 512，learning rate 为 $5\times10^{-5}$，constant schedule。下游 regular 与 sim-to-real 任务从该 checkpoint post-train 30k iterations（8 GPU、batch 128、$2.5\times10^{-5}$、cosine decay）；dexterous 任务训练 100k iterations。

<Algorithm number={1} title='InternData-A1 合成数据与 π₀ 预训练' inputLabel='输入' outputLabel='输出'

4.5 Inference

【Paper】 本文并未改变 $\pi_0$ 的部署机制：在下游任务上 post-training 后，Policy 从当前视觉、语言与 robot proprioception 输出动作，控制器按环境执行。实验里每个真实任务使用 JAX 版本的 $\pi_0$(InternData-A1) post-train 30k steps 的 checkpoint；每个任务设 15 个 evaluation setting、每个 setting 两次 rollout，共 30 次并报告平均成功率。

4.6 代码实现对照

【Code】 官方项目页只链接到受访问许可约束的 Hugging Face 数据集，没有单独的 InternData-A1 pipeline GitHub 仓库或可复现实验脚本。公开文件树可见已发布的 sim/real 数据目录、InternDataAssets、机器人 URDF/资产，以及一个 InternDataAssets/curobo 目录。

【Code】 curobo 目录是 CuRobo 的代码与资产副本，能佐证论文使用 CuRobo 规划，但不等于论文的环境构建、skill composition、randomization、Balancer 或 Supervisor 实现。因此无法将 4.2 中的专属生成逻辑逐文件映射；文章不把这些未公开的细节标为可复现实装。数据集页面目前为 gated，使用者还需接受 InternData-A1 COMMUNITY LICENSE AGREEMENT。

5. 实验

5.1 Experimental Setup

【Paper】 主要对比固定模型架构而改变 pre-training source：$\pi_0$ (Scratch) 没有预训练，$\pi_0$ 是以闭源 $\pi$-dataset 训练的官方 checkpoint，$\pi_0$(InternData-A1) 则只以论文合成数据预训练。仿真评测使用 RoboTwin 2.0 的 49 个双臂任务，Easy 为整洁场景、Hard 为杂乱场景；每种设置报告两个 checkpoint、每个 100 次 trial 的平均成功率。真实评测使用 Genie-1、ARX Lift-2 与二者均未见过的 ARX AC One，含 5 个 regular 与 4 个 dexterous 任务。

5.2 Main Results

【Paper】 在 49 个 RoboTwin 任务上，$\pi_0$(InternData-A1) 的平均成功率为 Easy 60.0%、Hard 26.5%，高于官方 $\pi_0$ 的 55.0%、20.0%，也远高于 Scratch 的 23.5%、2.5%。论文文字将提升概括为对官方 checkpoint 的 Easy +5%、Hard +6.5%。

【Paper】 真实 regular task 跨 in-distribution 与 out-of-distribution 设置的平均表现比 $\pi$-dataset 预训练高 6.2%。在 4 项高难度 dexterous task（折衣、分拣工业零件、拧瓶盖、拉拉链）中，InternData-A1 与官方 $\pi_0$ 表现相当，尽管 ARX AC One、对象和技能均为新条件。

| 预训练数据 | 49 Sim Easy | 49 Sim Hard | Sort Rubbish | Pass Bottle | | ------------------------- | ----------: | ----------: | -----------: | ----------: | | OXE（真实） | 32.5% | 11.0% | 40.0% | 36.7% | | Agibot World（真实） | 52.5% | 12.0% | 53.3% | 56.7% | | RoboCasa（仿真） | 50.0% | 11.0% | 23.3% | 13.3% | | InternData-A1（仿真） | 60.0% | 26.5% | 90.0% | 60.0% |

【Paper】 上表的开放数据对比中，各数据源均只预训练 500k iterations；InternData-A1 在两个真实任务上相对 RoboCasa 的平均改进为 57.7%。这不是“合成天生优于真实”的一般结论，而是在该模型、预算和任务集下，本文合成数据的规模与真实性带来的实证结果。

5.3 Ablation Study

【Paper】 作者将数据分为 PnP（30.61%）、Art（11.67%）、Base（35.95%）和至少三技能的 Long（21.77%），以 full data 或每次移除一类数据训练 $\pi_0$ 0.5 epoch，并在 RoboTwin 2.0 测试：

| 数据组成 | Easy / Hard 成功率 | | --------- | -----------------: | | Full | 58.0% / 25.0% | | w.o. PnP | 57.0% / 22.5% | | w.o. Art | 55.5% / 19.5% | | w.o. Base | 52.5% / 20.5% | | w.o. Long | 54.0% / 19.0% |

【Analysis】 PnP 和 Base 占比最大，却不是移除后跌幅最大的唯一因素；去掉 Art 或 Long 在 Hard 下尤其明显。这支持“覆盖不同轨迹几何与多阶段控制”的价值，但该消融只训练 0.5 epoch，不能直接量化完整 680k-step 训练时每类数据的边际收益。

5.4 Generalization

【Paper】 四项直接 sim-to-real 实验从同一个 $\pi_0$(InternData-A1) checkpoint 出发，分别以 200–1,600 条仿真 episode 或 200 条真实 episode post-train，每个策略评估 30 次。Sort Rubbish、Wipe Stain 等基础技能任务中，200 条仿真数据已可与 200 条真实数据相当；动态物体和语言 grounding 更强的 Flip Package、Instructional Pick 约需 1,600 条仿真数据，约为 $8:1$ 的数据比。

【Paper】 另有 6 个任务仅用 500 条仿真数据 post-train：Make Sandwich、Pack 达到超过 50%，Close Box/Close Microwave 为 63%/87%，双臂 Sweep/Handover 为 60%/57%。论文强调背景、灯光、纹理和桌面布局不必逐像素复刻，但 camera view 与 joint action space 需粗对齐。

6. 方法分析

6.1 为什么有效？

【Analysis】 该方法将有效数据的来源拆成两个相互约束的条件：一是“大而杂”——重复的原子技能在多物体、多场景和长任务中形成可重组的 action prior；二是“不能脱离物理”——规划、仿真验证和随机化共同保证标签仍可执行。单独扩大资产库只能增加视觉变化，单独复制轨迹又无法覆盖新的接触与关节几何；两者结合才可能对真实控制有帮助。

6.2 核心创新

【Paper】 相对于新增一个模型模块，论文的创新重点是数据生产系统：跨 embodiment 资产接口、state-to-waypoint 原子技能、技能配置式组合、planner–renderer 解耦及高维随机化。尤其是把完整 long-horizon task 写成可重用 skill 的顺序/并行组合，突破了仿真数据仅靠大量单步 pick-and-place 扩张的路径。

6.3 与已有方法的本质区别

【Analysis】 传统 synthetic benchmark 主要评估一个 Policy 是否能在固定环境内学习；InternData-A1 把合成器当作“预训练语料工厂”，以预训练后能否迁移到未见 robot、真实场景和新技能来衡量数据。相对只改变物体实例的 task augmentation，它把 task 统计定义为不同上下文、原子技能组合和 action-space constraint，因此目标是 trajectory diversity，而非仅增加图片数。

6.4 关键假设

【Analysis】 结论依赖几个条件：目标任务与数据集中原子技能有足够重叠；相机视角和机器人关节 action space 能够对齐；关键接触的 simulator physics 足够可信；以及下游仍允许 post-training。它并未证明一个纯合成 checkpoint 可以在任意真实任务上无需适配地可靠运行。

7. 局限性

7.1 作者明确提出的局限

【Paper】 作者指出受物理模拟器限制，系鞋带、穿针等高度灵巧的任务难以模拟；未来将扩展数据的任务多样性与 dexterity。论文也承认复杂任务通常需要更多仿真后训练数据，直接 sim-to-real 的表现依赖合适的 camera 与 action-space 对齐。

7.2 自己分析得到的局限

【Analysis】 首先，$\pi$-dataset 是闭源，尽管统一架构与下游流程已尽量公平，仍无法控制其精确数据配方、清洗标准和训练细节。其次，任务生成流水线尚没有独立、端到端可执行的官方仓库，外部研究者难以复核技能脚本、调度器与资源成本。最后，论文中的“高保真”主要经下游成功率间接验证；对材料、摩擦、流体和衣物等误差最敏感的长程接触场景，仍缺少系统的 failure taxonomy。

8. 启发与研究思考

【Analysis】 对数据中心的 Embodied AI 而言，最值得复用的也许不是某一个资产库，而是这条设计原则：把 skill 的语义、waypoint 的几何、planner 的可行性与 renderer 的观测分开，使每一层都能独立扩张和诊断。下一步可研究基于真实失败案例自动反向选择随机化变量、对产生 sim-to-real gap 的物理属性做主动校准，以及让 VLA 在部署时识别自己遇到了数据集中未覆盖的接触模式。

HiFi-UMI 论文精读：仅用高保真 UMI 数据学习可部署操作策略

Thu, 27 Aug 2026 00:00:00 GMT

1. 论文概述

一句话总结

【Paper】 HiFi-UMI 的核心不是再造一个 VLA，而是把 UMI（Universal Manipulation Interface）数据生产系统做得足够可信：头戴式离线双目惯性 SLAM 负责低漂移轨迹，双手在同一头部坐标系中获得原生相对位姿，统一 GPIO 触发保证微秒级同步，双手各两枚超广角相机补足遮挡。经仿真回放筛选后，这些机器人无关示教可以单独承担 post-training，并直接驱动真实双臂机器人。

核心贡献

【Paper】 论文的贡献可以拆成四层：

数据采集硬件–软件协同。 把轨迹精度、双手相对位姿、时间同步、视场角和在线质量控制作为同一个系统问题，报告约 3 mm workspace-local end-effector error、低于 40 μs 的跨传感器偏移和约 200° 的双手覆盖范围。
可回放的数据引擎。 原始记录经过轨迹重建、自动清洗、simulation retargeting、AI 辅助标注、人工验证和统计导出；轨迹重建和回放验证通过率都约为 98%，累计保留率约 96%。
Zero-robot post-training。 在 StarVLA-QwenPI、OpenPI-π0.5 和 LingBot-VA 三个 backbone 上，UMI-only post-training 与同场景 teleoperation 的 aggregate success-rate 差分别为 −2.5、+3.1 和 −0.6 个百分点。
可扩展数据资源。 从 20,000+ 小时、4.32M+ episodes 的处理语料中发布 2,000 小时的 HiFi-UMI-2K，覆盖 110+ scenes 和 482,100+ episodes。

【Analysis】 真正被挑战的假设是“post-training 必须有一小份真实机器人 anchor”。论文把问题改写为：只要 robot-free action label 的 fidelity 足够高，是否可以完全移除这个 anchor？

2. 背景与相关工作

【Paper】 真实机器人 teleoperation 的轨迹天然位于目标机器人的 observation、action 和动力学空间中，但每小时数据都要占用目标机器人、操作设备、场地和安全人员。Ego-video 规模大，却没有可执行 action；UMI 位于两者之间：人手持设备完成示教，成本和采集地点更灵活，同时保留腕部视觉与相对末端运动。

已有 UMI 系统的瓶颈集中在四点：腕部视觉 SLAM 容易被手和物体遮挡并累积 drift；双手相对位姿常由跨相机共视后处理得到；软件或无线时间戳会制造 action-label misalignment；单枚 155° wrist fisheye 视场狭窄，接触和深度线索不稳定。【Analysis】 这解释了为什么此前 robot-free 数据大多用于 pre-training，而 deployment-oriented post-training 仍依赖少量真实机器人示教。

3. 问题定义

【Paper】 每条示教包含多视角观测、机器人状态、语言指令和未来动作块：

$$ \tau=\left{(o_t^{(m)},q_t^{(m)},\ell,a_{t:t+H_m-1}^{(m)})\right}_{t=1}^{T}, $$

其中 $m$ 表示具体 backbone，$o_t$ 是其使用的 wrist views，$q_t$ 是 proprioception，$\ell$ 是任务语言，$H_m$ 是该模型的原生 action horizon。头戴式 stereo views 只用于离线重建，部署时不输入 policy。

对双臂 $j$，每一个未来 action 都锚定在同一个当前观测位姿：

$$ \Delta T_{t_0,h}^{j,(m)}=\left(T_{j,t_0}^{(m)}\right)^{-1}T_{j,t_0+\delta_h}^{(m)}. $$

【Paper】 平移用 anchor end-effector frame 表示，旋转用 Rotation6D，夹爪开合保持 absolute target；每只手有 $3+6+1=10$ 个物理通道，双臂共 20 个 active channels。三种 backbone 可以保留各自 tensorization、padding、masking、normalization 和 horizon，但共享这套物理语义。

【Analysis】 “共享 anchor、逐行独立恢复”很关键：如果把 action chunk 递归地接在前一个预测目标上，微小误差会在 chunk 内累积；锚定当前实测位姿则把问题限制为每一行的局部恢复。

4. 方法

4.1 Overall Architecture

【Paper】 整体数据流只有一条：便携设备捕获头部和双手同步观测 → 离线重建并自动清洗轨迹 → simulation retargeting 验证能否被目标 embodiment 执行 → 标注、人工复核和分布均衡 → 为 VLA/WAM 做 pre-training 或 task-specific post-training → 在真实双臂机器人上闭环执行。

4.2 核心模块

采集设备

Head-mounted offline stereo-inertial SLAM。 头部双目相机和 IMU 估计全局头部轨迹；双手的 fiducial marker cube 在同一头部坐标系中定位，再组合出左右手世界轨迹。【Paper】 离线优化可以同时利用过去和未来观测，并在动态场景中使用 sliding-window local consistency，而不是依赖会被操作物体破坏的 global loop closure。
Native bimanual relative pose。 左右 marker 在同一头部相机帧中被同时观测，双手相对位姿是原生测量，而不是从两个 wrist camera 的共视结果中事后相减。【Analysis】 这直接针对双手协作时最敏感的误差源。
Full-palm glove gripper。 两根不对称手指分别对应拇指和其余四指；窄指尖照顾小物体精细操作，较宽的近端接触面支撑大物体，并保留操作者的接触和力分布。
Six-view sensing and GPIO trigger。 每只手两枚非平行 fisheye 相机，整体约 200° 水平和垂直覆盖；头部和双手还带 IMU、夹爪角度 encoder。所有传感器由一个共享 GPIO 外部触发，跨相机、IMU、encoder 的 offset 小于 40 μs。
Online quality control。 采集时检测欠曝光、motion blur、过快运动和手离开头部视场，并通过语音提示现场修正；操作者还可在线标记 task/subtask boundary。

六阶段数据引擎

Collection & upload： 硬件同步、在线告警、在线切片和 Wi-Fi 并行上传。
Trajectory reconstruction & cleaning： 离线 SLAM 重建头部，检测 marker 得到双手轨迹，异常轨迹自动重算或移除；约 98% 通过。
Simulation retargeting： 用目标 embodiment 的 whole-body controller 在仿真中回放，过滤运动学或动力学不可行轨迹；重建后的约 98% 通过。
AI-assisted annotation： 联合头戴和手部视角生成任务描述、subtask 边界、对象和异常候选，并输出置信度。
Human verification： 人工优先检查低置信度、自动告警和分布异常样本，保留审核状态、拒绝原因和修订历史。
Analysis & export： 统计任务、场景、对象、action pattern 和 replay success，按目标模型显式均衡后导出训练格式。

【Paper】 数据质量不是一个事后评分，而是每一阶段都在删除或标记不合格样本的 cumulative gate。【Analysis】 这种“可追溯的过滤—重放—再导出”让数据规模和数据可用率可以同时被讨论。

4.3 关键公式

Chunk-anchored action reconstruction

$$ \hat{T}{j,t_0+\delta_h}=T{j,t_0},\Delta T_{t_0,h}^{j}. $$

这里 $T_{j,t_0}$ 是当前实测末端位姿，$\Delta T$ 是模型预测的相对 SE(3) 增量，$\hat T$ 是送给控制器的未来目标。平移、Rotation6D 和绝对夹爪开合在 backbone-specific tensor 中分别归一化。

VLA flow matching

StarVLA-QwenPI 的 action head 从噪声 $\epsilon\sim\mathcal N(0,I)$ 和真实 action chunk $a$ 构造：

$$ a_\tau=(1-\tau)\epsilon+\tau a, \qquad \mathcal L_{FM}=\mathbb E\left[\left|v_\theta(a_\tau,\tau,z_t)-(a-\epsilon)\right|_2^2\right]. $$

OpenPI-π0.5 使用等价的 continuous flow-matching 目标；LingBot-VA 则联合 future-video latent 和 action 的 flow-matching loss：

$$ \mathcal L_{LingBot}=\mathcal L_{video}+\mathcal L_{action}. $$

【Paper】 这些公式描述的是三种 policy 的训练接口，而不是 HiFi-UMI 的数据重建损失。HiFi-UMI 的创新在于让输入 action label 达到足以支撑这些既有 policy head 的 fidelity。

4.4 Training

【Paper】 论文比较三种训练条件：真实机器人 teleoperation post-training、仅 HiFi-UMI post-training，以及 HiFi-UMI pre-training + HiFi-UMI post-training。每个任务使用 3,200 条 UMI trajectory；teleoperation 对照约 300 条，采集于评测场景。StarVLA-QwenPI 另用 4,000 小时 HiFi-UMI 做 pre-training；OpenPI-π0.5 和 LingBot-VA 从公开 base checkpoint 开始。

StarVLA-QwenPI 的 pre-training 用 AdamW、global batch 2,048、3,000-step warm-up，action DiT 和 projection 的峰值 learning rate 为 $10^{-4}$；post-training 为 50,000 steps、global batch 512。LingBot-VA 更新 Transformer、冻结 causal VAE 和 text encoder，使用 3,500 steps 与等权 video/action loss。

4.5 Inference

【Paper】 VLA 使用 timestamped receding-horizon control：将图像、proprioception 和夹爪状态对齐到同一 observation time，再独立恢复 action chunk 的每一行。StarVLA-QwenPI 生成 20 步、执行前 10 步；OpenPI-π0.5 保留其原生 horizon。LingBot-VA 使用 block-causal streaming，reset 后生成 12 个 action，之后每次生成 24 个 action，并用 rolling KV cache 接入真实执行历史。

4.6 代码实现对照

【Code】 本次核对的官方项目页提供论文、演示和 HiFi-UMI-2K 数据集链接，但论文与项目页没有公开可用于复现实验的 GitHub 训练代码仓库。因此无法把 Model、DataLoader、loss、checkpoint 或 inference 映射到具体文件；官网前端 JavaScript 只负责展示项目内容，不应被当作训练实现。

【Paper】 论文明确给出了数据处理和三种 backbone 的训练/部署接口，但没有给出足以复现硬件采集、SLAM、whole-body replay 或完整 fine-tuning 的代码清单。下文的“代码”结论仅限于“官方代码未提供”，其余实现描述都标作 【Paper】 或 【Analysis】。

5. 实验

5.1 Experimental Setup

【Paper】 评测平台是固定式双臂 Tianji Robotics Marvin M6，每臂 7-DoF，使用与 HiFi-UMI 末端相同的夹爪和四路 wrist cameras；头戴 stereo pair 不输入 policy。控制器以 125 Hz 插值 end-effector target，并通过 EtherCAT 以 1 kHz 下发关节命令。

四个任务覆盖不同 interaction dynamics：Stain Wiping（接触和覆盖）、Shirt Folding（双手可变形物体）、Remote Insertion（精确受限放置）和 Produce Sorting（语义分类与双臂协调）。每个 task–policy pair 进行 40 次 rollout，成功要求在 timeout 内完成、最终状态稳定至少 2 秒且没有 safety intervention。

数据并不 sample-matched：UMI 每任务 3,200 条、约 10–20 小时，来自不同操作者和场景；teleoperation 每任务约 300 条、约 3–7 小时，且采自评测场景。【Analysis】 因而比较的是两种实际数据生产管线能否达到同等部署效果，不是每条轨迹的严格 data efficiency。

5.2 Main Results

| Backbone | HiFi-UMI post-training | Teleoperation post-training | UMI − Teleop | | --- | ---: | ---: | ---: | | StarVLA-QwenPI | 51.3%（82/160） | 53.8%（86/160） | −2.5 pp | | OpenPI-π0.5 | 77.5%（124/160） | 74.4%（119/160） | +3.1 pp | | LingBot-VA | 56.9%（91/160） | 57.5%（92/160） | −0.6 pp |

【Paper】 三个差值方向不一致，且每个任务只有 40 次 rollout（一次成功就是 2.5 个百分点），所以论文把结论表述为 approximate parity，而不是某个数据源显著优于另一个。最强单项是 OpenPI-π0.5 在 Remote Insertion 上的 85%，即使 UMI 没有在评测场景采集轨迹。

【Analysis】 这里的控制实验比跨模型绝对分数更有信息：同一 backbone、action semantics、normalization、optimization 和 deployment executor 内只替换 post-training data source，说明高 fidelity UMI 至少可以替代 in-domain teleoperation 的部署锚点。

5.3 Ablation Study

【Paper】 OpenPI-π0.5 在 Remote Insertion 上的 UMI post-training 随 episode 数量从 400、800、1,600、3,200 增加到 6,400，成功率依次为 37.5%、65%、70%、85% 和 82.5%；约 3,200 条后开始饱和。StarVLA-QwenPI 的初始化消融显示，UMI-pretrained policy 只用 800 条任务数据就超过 Qwen-VL 初始化、3,200 条数据训练的 52.5% baseline。

在四个 benchmark tasks 上用相同 3,200 条任务轨迹做 post-training，UMI pre-training 将 StarVLA-QwenPI aggregate success 提高 18.1 个百分点。【Analysis】 预训练的主要收益不是让最终 policy 获得更多 task labels，而是把 visual-motor prior 的起点前移，从而同时改善低数据区间和最终上限。

5.4 Generalization

【Paper】 4,000 小时 UMI pre-training 使十个未见任务的 action error 降低 41%，每个任务都改善。held-out action error 在一次训练 pass 内下降 61%，pre-decay power-law 拟合为：

$$ L_{heldout}(S)=L_\infty+A S^{-\alpha},\qquad \alpha=0.268,\quad R^2=0.993, $$

其中 $S$ 是累计处理的 UMI action chunks。OOD scaling 的速度取决于 interaction family：utensil/tableware 最快，granular transfer 居中，cloth folding 最慢。【Analysis】 这说明“对象是否见过”不是唯一因素，预训练数据是否覆盖相似的接触、容器几何、重抓和折叠动力学更重要。

LingBot-VA 的 ground-truth-video oracle diagnostic 显示，UMI→Real 的 full-chunk XYZ RMSE 为 24.33 mm、frame-to-frame rotation error 为 0.65°；UMI→UMI 为 21.13 mm 和 0.88°，与 teleoperation→Real 的 21.64 mm 和 0.46° 同处厘米级、亚度级范围。【Paper】 这是 action decoder 的诊断，不代表可部署推理时可以跳过 future-video generation。

6. 方法分析

6.1 为什么有效？

【Analysis】 HiFi-UMI 有效不是因为一个单独的硬件指标，而是误差链条被同时压低：空间误差由头部视角、离线 stereo SLAM 和 native 双手位姿控制；时间误差由 GPIO trigger 控制；可观测性误差由双手四枚 fisheye 相机缓解；可执行性误差由仿真 replay 过滤。这样 robot-free label 才不再只是 pre-training 的弱监督，而可以承担 task-specific post-training。

6.2 核心创新

【Paper】 方法创新集中在 data-production system，而非新 policy architecture：把 offline SLAM、native relative pose、hardware sync、wide-FoV sensing 和 full-palm gripper 作为一个 fidelity contract；用 replayable data engine 让每条 episode 都有重建、回放、标注和审核痕迹；再用跨 VLA/WAM 的 controlled comparison 验证 zero-robot post-training。

6.3 与已有方法的本质区别

【Analysis】 以往工作通常减少 teleoperation 比例，但保留一个 real-robot anchor；HiFi-UMI 不再问“anchor 能否缩到多小”，而是问“robot-free data 的 fidelity 能否高到让 anchor 变成零”。因此论文的单位不是一个 network block，而是从采集到 deployment 的闭环数据系统。

6.4 关键假设

【Paper】 主要假设包括：局部 3 mm 轨迹精度足以覆盖目标 workspace；同一 full-palm gripper 可以消除大部分接触 interface gap；仿真 retargeting 的通过可以作为真实可执行性的前置筛选；四个桌面双臂任务和三个 backbone 足以初步检验 post-training 来源替代。

【Analysis】 这些假设还没有覆盖移动机器人、灵巧手、软体物体的长时程恢复，或比 Marvin M6 更大的 embodiment gap。高保真是必要条件，但论文没有证明它对所有任务都充分。

7. 局限性

7.1 作者明确提出的局限

【Paper】 zero-robot post-training 只覆盖四个桌面双臂任务和三个 backbone；pre-training scaling 与 downstream gain 只在 StarVLA-QwenPI 上验证。每个 task–policy pair 只有 40 次 rollout，一次结果变化 2.5 个百分点。fidelity 被作为整体系统设计验证，没有分别 degradation trajectory accuracy、relative pose、synchronization、FoV。UMI 与 teleoperation 的后训练数据量也不匹配，结论不是 equal-sample efficiency；pre-training 收益是否继续增长、是否同样帮助 teleoperation post-training，仍需更大规模实验。

7.2 自己分析得到的局限

【Analysis】 评测机器人使用与采集一致的 gripper 和 wrist views，换成不同末端或移动底盘后 action semantics 未必保持不变；仿真 replay 不能完全模拟摩擦、柔性物体和接触恢复；96% usable ratio 仍把 fidelity 与场景覆盖绑定在一起；多视角 AI annotation 的跨任务误差分布和训练实现尚未公开。Remote Insertion 中 UMI policy 更直接但重试更多，也说明 nominal motion efficiency 与 recovery robustness 不是同一指标。

8. 启发与研究思考

机器人数据的瓶颈可能从“机器人数量”转为“action-label contract”。 采集设备、坐标定义、同步和回放验证被标准化后，更多数据可以在没有目标机器人的地点并行产生。
零机器人后训练不等于零 embodiment 问题。 它移除的是 task-specific teleoperation anchor，而不是所有 robot calibration。
应把 fidelity 做成可消融的 specification。 固定 episode 数和场景覆盖，分别注入时间偏移、相对位姿噪声、FoV 遮挡和 SLAM drift，才能测出部署成功率对每种误差的阈值。
数据配比应按 interaction dynamics 设计。 cloth folding scaling 慢于 utensil/tableware，下一批数据应主动增加 deformable-object topology、regrasp、接触修正和恢复行为。
replay metadata 可以反向决定下一轮采集。 失败原因、场景覆盖和模型不确定性可以形成 collection 到 deployment 的主动数据飞轮。
HiFi-UMI-2K 的价值不只是 2,000 小时。 六视角视频、校准双手轨迹、夹爪状态、语言边界和质量元数据共同提供了 VLA、WAM、offline evaluation 与 data curation 的接口。

FastUMI 论文精读：可扩展、硬件无关的通用操作接口

Thu, 27 Aug 2026 00:00:00 GMT

1. 论文概述

【Paper】《FastUMI: A Scalable and Hardware-Independent Universal Manipulation Interface with Dataset》发表于 arXiv（v2，2025 年 2 月），作者来自上海人工智能实验室、上海交通大学、布里斯托大学、复旦大学、香港大学、西交利物浦大学、中国电信等机构。

**【Paper】**本文的目标不是提出一个新的视觉策略，而是解决“策略缺数据”的上游瓶颈：把人类第一视角示教转换成带有精确末端轨迹、夹爪开合和同步视频的机器人数据，并且尽量不绑定某一种机械臂或夹爪。FastUMI 在 UMI 的基础上重做机械结构，以 RealSense T265 直接提供跟踪位姿，配套 ROS 采集和 HDF5/Zarr 转换工具，并公开超过 10,000 条、覆盖 22 个日常任务的示教轨迹。

一句话总结

**【Analysis】**FastUMI 的关键抽象是“观察视角一致 + 动作坐标可转换”：人手拿着的设备和机器人末端的设备看到近似同一画面，同时 T265、ArUco 标记和 URDF 让同一段示教可落到 TCP 或关节空间。

核心贡献

【Paper】

以模块化指尖、ISO 兼容相机支架和相同视角设计，解除对 Weiss WSG-50 等专用夹爪的依赖。
用商业化 RealSense T265 取代 GoPro-VIO/SLAM 流程，减少标定、坐标变换和部署复杂度，并针对遮挡设计质量检查与回环辅助。
提供从原始 ROS 数据到 absolute/relative TCP、absolute joint 轨迹的处理链，兼容 ACT 与 Diffusion Policy（DP）。
针对第一视角数据提出 Smooth-ACT、PoseACT、Depth-Enhanced DP 和动态误差补偿，并在 12 个真实任务上验证。
开放覆盖 22 个任务的 10,000+ 条轨迹数据集，包含视觉、位姿和夹爪状态。

2. 背景与相关工作

**【Paper】**真实机器人交互数据通常通过遥操作采集，优点是动作标签精确，代价是需要机器人本体、专用控制器和复杂标定。纯视频方法便宜，却难以恢复接触动力学和精确动作；UMI 这类手持接口缓解了二者的矛盾，但原 UMI 对特定夹爪和 GoPro-VIO 的依赖限制了跨平台部署。

**【Analysis】**FastUMI 的切入点是“先把数据接口标准化，再谈策略规模化”。它不假设一个统一的 action representation，而是同时输出 TCP 和 joint 两种表示，让下游算法选择绝对坐标、相对位移或扩散动作空间。与 UMI 的差别也主要在系统工程：硬件解耦、独立跟踪模块和可审计的数据质量流程共同降低了每条轨迹的边际成本。

3. 问题定义

**【Paper】**一次示教由手持设备产生，观测为 GoPro 155° 鱼眼图像与 T265 位姿；机器人端安装相同的 GoPro、可调支架和插拔式指尖。设 T265 相对初始位姿为 $(p_i,R_i)$，已知相机到夹爪中心的偏移 $\Delta_{c2g}$、机器人基座位姿和 URDF，则系统需要生成：

Observation：同步视频帧、T265 位姿、ArUco 标记位置。
Action：绝对 TCP、相邻帧相对 TCP，或由 IK 得到的绝对关节角；夹爪宽度归一化到 $[0,1]$。
Robot / Embodiment：论文展示 xArm、Flexiv、Z1 等单臂平台，也支持双臂扩展。
Dataset：约 10,000 条轨迹、22 个日常任务；策略评测使用 12 个任务，每个任务 200 条示教。

4. 方法

4.1 Overall Architecture

FastUMI 可以看作三层：硬件层负责一致视角与位姿，采集层负责 ROS 多线程同步，处理层负责坐标变换、夹爪估计和策略数据导出。示教端只需手持设备，推理端把同构视觉设备安装到机器人末端；策略本身位于两者之间。

**【Analysis】**数据流是：GoPro/T265/ArUco → ROS 录制 → HDF5 原始 episode → TCP 或 joint 处理 → ACT/DP 训练与执行。硬件结构和数据格式被刻意分离，因此更换机械臂时主要修改 URDF、基座位姿和偏移配置。

4.2 核心模块

手持设备与机器人端设备

**【Paper】**手持设备由 GoPro、T265、顶盖、标记和可替换指尖组成。GoPro 负责宽视野观测，T265 负责视觉惯性位姿；机器人端使用 ISO 标准兼容的安装座和 7.5/5 cm 延长臂调节镜头，使鱼眼图像底部与指尖底部对齐。模块化指尖覆盖 Open X-Embodiment 中超过 90% 的常见夹爪类型（论文表述）。

位姿跟踪与质量控制

**【Paper】**系统要求至少 95% 的采样位姿达到 T265 的 High confidence；低置信度帧被剔除并由邻帧插值。桌面上的蓝色 3D 打印槽帮助 T265 回到熟悉特征以触发 loop closure。论文观察到靠近桌面、夹爪遮挡视觉特征时误差会升高。

夹爪宽度估计

【Code】data_processing_to_tcp.py 和 data_processing_to_joint.py 用 DICT_4X4_50 检测两个 ArUco 标记。两标记均可见时取像素中心距离；只看到一个时关于图像中心镜像估计；都不可见时沿时间插值，再按 marker_min、marker_max 线性映射到 gripper_max。

TCP 与关节轨迹转换

**【Paper】**先将 T265 位姿加上相机到夹爪的偏移，得到基座坐标系下的绝对 TCP；相邻绝对 TCP 相减得到 relative TCP；最后用 URDF 和连续初值求 IK 得到 absolute joint。

**【Code】**代码中的 base_position、base_orientation、offset 和 flange_to_tcp 全部放在 config/config.json。IK 使用 ikpy.chain.Chain.from_urdf_file，上一帧关节解作为下一帧初值，减少时间序列中的跳变。

4.3 关键公式

绝对 TCP 位置由相机位姿和偏移得到：

$$ p_{cam}^{(i)}=p_{b2g}+p_i-R_{b2g}\Delta_{c2g},\qquad p_{ee}^{(i)}=p_{cam}^{(i)}+R_{cam}^{(i)}\Delta_{c2g}. $$

【Paper】$p_i,R_i$ 是 T265 的局部位姿，$p_{b2g},R_{b2g}$ 是初始夹爪中心在基座中的位姿，$\Delta_{c2g}$ 是相机中心到夹爪中心的偏移。相邻帧的相对轨迹为：

$$ p_{rel}^{(i)}=p_{ee}^{(i+1)}-p_{ee}^{(i)},\qquad R_{rel}^{(i)}=(R_{ee}^{(i)})^{-1}R_{ee}^{(i+1)}. $$

ArUco 距离 $d$ 到物理夹爪宽度 $W$ 的映射为：

$$ W=\frac{d-d_{min}}{d_{max}-d_{min}}G_{max}. $$

**【Code】**实现中结果会裁剪到 $[0,G_{max}]$，再除以 gripper_max 作为策略输入或动作的夹爪通道。

4.4 Training

Smooth-ACT

**【Paper】**标准 ACT 的绝对关节预测在第一视角下可能产生未见过的姿态。Smooth-ACT 在 Transformer decoder 顶部增加 GRU，同时监督 decoder 输出和 GRU 输出：

$$ \mathcal L=|\hat a-a|1+|\hat a{GRU}-a|1+\lambda D{KL}(q_\phi(z|a,o)|\mathcal N(0,I)). $$

PoseACT 与 Depth-Enhanced DP

PoseACT 将 action 改成绝对或相对 TCP pose，推理时再通过机器人运动学映射回关节角。Depth-Enhanced DP 使用 Depth Anything V2 从 GoPro 帧预测深度，将裁剪后的深度伪彩色图与 RGB 一起送入 ViT-Base/16；论文报告 RTX 4090 上约 20 Hz 的大模型深度推理。

4.5 Inference

**【Paper】**机器人端 GoPro 保持与手持设备相同的视角，策略读取当前图像和状态后输出 joint 或 TCP action。PoseACT 的 TCP 输出经过运动学映射，DP 的 relative TCP 通过延迟匹配执行；非平行夹爪还可启用动态误差补偿，在夹爪闭合导致 TCP 沿局部 Z 轴偏移时修正目标。

4.6 代码实现对照

**【Code】**官方仓库 zxzm-zak/FastUMI_Data 当前公开的是数据采集和处理生态，而不是 ACT/DP 的完整训练实现：

| 论文概念 | 代码位置 | 实际行为 | | --- | --- | --- | | ROS 采集 | data_collection.py | 订阅图像与 /camera/odom/sample，按 60 Hz 视频、200 Hz 轨迹写入临时 CSV，再抽帧为 HDF5 | | TCP 处理 | data_processing_to_tcp.py | 基座变换、偏移修正、ArUco 宽度插值并输出 TCP HDF5 | | Joint 处理 | data_processing_to_joint.py | 用 ikpy 和 xArm URDF 连续求 IK，追加归一化夹爪通道 | | DP 数据 | data_processing_tcp_to_dp.py | 将 TCP HDF5 转为 UMI 风格 Zarr | | 配置 | config/config.json | 记录 xArm6、基座位姿、偏移、marker 距离和 flange_to_tcp |

**【Analysis】**因此论文中的 Smooth-ACT、PoseACT、Depth-Enhanced DP 属于作者实验算法描述，官方公开仓库主要保证“数据能被这些算法消费”，不能把仓库误读为完整策略训练代码。

5. 实验

5.1 Experimental Setup

**【Paper】**数据集包含 22 个日常任务；策略评测选取 12 个任务：4 个 hinged、6 个 pick-place、1 个 pick-push 和 1 个 button press。每个任务训练 200 条示教，每次测试 15 次。T265 与 RoboBaton MINI 的位姿误差在 Pick Cup、Open Container、Rearrange Coke 等任务上用 MoCap 参考进行比较。

5.2 Main Results

**【Paper】**ACT 使用 absolute joint，DP 使用 relative TCP。12 任务成功率如下（单位：%）：

| 任务 | DP | ACT | | --- | ---: | ---: | | Open Container / Open Roaster | 93.33 / 80.00 | 86.67 / 86.67 | | Open Drawer / Open Suitcase | 53.33 / 40.00 | 80.00 / 86.67 | | Rearrange Coke / Fold Towel | 80.00 / 93.33 | 86.67 / 73.33 | | Pick Bear / Unplug Charger | 80.00 / 86.67 | 20.00 / 86.67 | | Pick Lid / Pick Pen | 53.33 / 53.33 | 93.33 / 20.00 | | Sweep Trash / Open Ricecooker | 46.67 / 20.00 | 6.67 / 80.00 |

**【Analysis】**这不是“某个策略全面胜出”：DP 的相对轨迹在重复移动和跨工作空间任务上更稳，ACT 的绝对关节在部分深度敏感任务上更直接；第一视角造成的可见性和坐标分布决定了表示选择。

5.3 Ablation Study

跟踪模块

**【Paper】**T265 在无遮挡 Pick Cup 上的 10 条轨迹误差约 7–12 mm，在 Open Container 上约 16–19 mm；Rearrange Coke 约 19–36 mm。MINI 在 Pick Cup 约 13–17 mm、Open Container 约 10–12 mm，说明遮挡条件下不同传感器存在互补性。

算法改进

| 任务 | Original DP | Depth-Enhanced DP | | --- | ---: | ---: | | Pick Lid | 53.33 | 80.00 | | Open Ricecooker | 20.00 | 93.33 |

| 任务 | ACT | Smooth-ACT | PoseACT absolute | PoseACT relative | | --- | ---: | ---: | ---: | ---: | | Pick Bear | 20.00 | 60.00 | 80.00 | 73.33 | | Sweep Trash | 6.67 | 26.67 | 53.33 | 60.00 |

**【Paper】**深度输入对需要垂直对齐或按压的任务提升明显；GRU 平滑减少非法关节跳变；relative TCP 对长轨迹更好，但会牺牲部分绝对高度信息。

5.4 Generalization

**【Paper】**相机对比中，GoPro 鱼眼第一视角在 Pick Bear/Open Container 上分别达到 80%/100%，与多视角 D435i 的 86.67%/100% 接近，而窄视角第一视角 D435i 仅 0%/0%。Pick Cup 的 ACT 成功率随示教量 200、400、800 增加为 20.00%、26.67%、53.33%。

6. 方法分析

6.1 为什么有效？

**【Analysis】**FastUMI 同时减少了三种分布偏移：手持与机器人端保持视觉一致，TCP/关节转换显式处理 embodiment，质量检查减少传感器异常进入训练集。策略性能因此更多由数据与表示决定，而不是被采集系统的偶然差异主导。

6.2 核心创新

**【Analysis】**真正的创新不是“换一台跟踪器”，而是把硬件接口、坐标变换、数据质量和下游 action representation 设计成可组合的生态。T265 解决部署复杂度，ISO 支架解决机械臂异构，ArUco 与 IK 解决动作标签，Smooth-ACT/DP-depth 则处理第一视角带来的算法退化。

6.3 与已有方法的本质区别

**【Paper】**与依赖真实机器人遥操作的系统相比，FastUMI 采集阶段只需手持设备；与纯视频示教相比，它直接记录末端位姿；与原 UMI 相比，它把专用夹爪和 VIO/SLAM 依赖拆掉，并公开更大、更广任务的数据集。

6.4 关键假设

**【Analysis】**系统依赖“人手设备运动可代表机器人末端运动”“手持与机器人端相机视角足够一致”“URDF 与标定偏移准确”三个假设。任一假设失效，策略可能学到错误的几何关系，即使图像看起来相似也无法执行。

7. 局限性

7.1 作者明确提出的局限

【Paper】(1) 主要依赖视觉，缺少力觉/触觉；(2) 尚未覆盖移动操作、全身控制等更复杂形态；(3) 有线连接限制便携性和野外应用；(4) 手持数据与部署 embodiment 仍可能存在形态差异。

7.2 自己分析得到的局限

**【Analysis】**T265 的置信度和漂移仍受光照、遮挡影响，蓝色槽和回环只是在限定环境中缓解问题；ArUco 宽度映射依赖固定标记几何，反光、污损或单标记镜像会引入系统误差；代码默认 xArm6 配置，迁移到新夹爪仍需重新测量偏移、夹爪尺度和 IK 初值。最后，论文的 12 任务测试主要是已见物体位置的新场景，尚不能等同于开放世界泛化。

8. 启发与研究思考

**【Analysis】**FastUMI 给数据系统设计的启发是：

先定义可转换的中间表示（TCP、relative TCP、joint），再绑定具体策略；这样一个数据集可以服务 ACT、DP 和后续 VLA。
视觉一致性往往比更大的 backbone 更先决定跨 embodiment 成败；相机支架是 policy transfer 的一部分，而不是机械附件。
数据质量应成为数据集的显式字段。置信度、漂移、插值比例和标定版本若能写入 episode metadata，训练时就可以按质量加权或过滤。
第一视角策略需要“表示 + 几何约束”共同设计：PoseACT、relative action 和深度增强分别解决坐标稳定性、长轨迹和深度缺失，单一表示很难覆盖所有任务。

EgoVerse：面向机器人学习的全球第一视角人类数据集论文精读

Thu, 27 Aug 2026 00:00:00 GMT

1. 论文概述

【Paper】 EgoVerse 不是单一的离线数据集，而是由数据采集设备、云端处理和访问系统、标准化数据集以及跨实验室评测组成的 living dataset。当前版本包含 1,362 小时、约 80,000 个 episode、1,965 个任务、240 个场景和 2,087 名 demonstrator。论文把资源分成两部分：EgoVerse-A（egoversea）按统一协议采集，用于可复现实验；EgoVerse-I（egoversei）由产业伙伴在真实环境中采集，强调规模、开放任务和丰富标注。

一句话总结

【Analysis】 论文真正解决的问题不是“再收集一个更大的视频集”，而是把人类经验变成一种跨机器人可复用的中间层：先统一坐标、动作和元数据，再用共享协议测量哪些 diversity 能转化为机器人泛化。

核心贡献

【Paper】

提出持续接收贡献的 EgoVerse 数据生态，统一人类和机器人 episode 的格式、标注与访问方式。
发布跨实验室、跨任务、跨机器人 embodiment 的大规模 human-to-robot transfer study，而非只在单一平台上报告结果。
设计相机中心的动作表示和分位数归一化，使第一视角人手轨迹能与机器人末端轨迹共同训练。
发现 co-training 人类数据通常带来 ID/OOD 提升（最高约 30% 的相对改进），但多样人类数据的正向 scaling 依赖 domain-aligned human–robot data。
在受控实验中区分 demonstrator diversity 与 scene diversity：前者提升对新人的泛化，后者对未见环境的收益更强，尤其在数据预算受限时。

2. 背景与相关工作

【Paper】 机器人模仿学习的瓶颈是物理数据采集：需要昂贵硬件、熟练 teleoperator 和受控场景，规模和多样性很难像互联网图像或文本那样增长。人类每天在不同房间、物体和身体形态下操作，第一视角视频和 3D hand pose 因而成为潜在的可扩展监督。

现有 human dataset 往往是为某个实验一次性采集，缺乏统一的 schema、版本管理和跨机构复现实验。另一方面，人类和机器人在运动学、视角、速度、控制接口上存在 embodiment gap；直接把两类轨迹拼起来，策略可能学会把它们分成两个互不相干的分布。

【Analysis】 EgoVerse 的切入点是基础设施与科学问题同时设计：EgoDB 让数据持续长大，EgoVerse-A 让“增加多少数据、哪一种 diversity 有用”可以被隔离出来。

3. 问题定义

给定人类数据 $D_H$ 与机器人数据 $D_R$，每条样本包含图像观测 $o_t$、状态/姿态和未来动作块 $a_{t:t+k}$。目标是训练一个共享策略，使其在不同 embodiment 上最小化行为克隆误差：

$$ \pi^* = \arg\min_\pi; \mathbb{E}{(o,a)\sim D_H\cup D_R} \left[\mathcal{L}{\mathrm{BC}}(\pi(o),a)\right]. $$

人类手部位姿在移动设备坐标系 $T_t^{device}$ 中观测。为了让动作只依赖当前相机帧，论文把未来位姿变换回时刻 $t$ 的设备坐标系，构成相机中心动作块。研究问题可拆成三个问题：人类数据加入机器人训练是否在多个平台上稳定有效；多样数据量增加时什么样的 aligned data 能防止负迁移；以及 demonstrator diversity 与 scene diversity 分别如何影响泛化。

4. 方法

4.1 Overall Architecture

【Paper】 图像和 proprioception 先经过 modality-specific stems，被 token 化到共享空间；共享 Transformer encoder 聚合 human/robot 观测，随后由 embodiment-specific 或 shared action head 预测动作块。人类和机器人样本在训练时分别计算损失，再进行 co-training。

4.2 核心模块

EgoVerse 数据采集与标注

输入：Aria 眼镜、产业伙伴 wearable rigs，或头戴式 iPhone 的 RGB 视频；机器人端是多相机图像、状态和动作。
输出：统一 episode，至少包含 egocentric RGB、每只手 21 个 3D keypoints、6-DoF head pose；EgoVerse-A 还记录 task、scene、object set 与 demonstrator 元数据，EgoVerse-I 可提供 1–2 秒粒度语言、active-hand 和 static/mobile manipulation 标签。
为什么需要：手和头的轨迹把“人类如何移动”转成可对齐的几何监督；任务与场景元数据则让受控 split 成为可能。

EgoDB 数据管理系统

【Paper】 原始数据上传到 S3-backed storage，nightly pipeline 做预处理、验证和索引，episode metadata 写入 SQL；网页 viewer 支持浏览示例和标注，训练端按 filters 同步子集。

跨 embodiment 表示

机器人动作按平台不同表示：Georgia Tech 双 ARX5 使用 camera-frame 的 6D Euler pose + gripper（每步 14D），Stanford 使用 quaternion + gripper（每步 16D），UCSD Unitree G1 使用腕部 $\mathbb{SE}(3)$ 加五个相对手部 keypoint。

人类动作块定义为：

$$ a^H_{t:t+k} = \left[ \left(T_t^{\mathrm{device}}\right)^{-1}T_{t+i}^{\mathrm{device}}p^H_{t+i} \right]_{i=1}^{k}. $$

这样，未来相机运动被显式消除，手部轨迹与机器人末端轨迹拥有同一个“当前观测帧”参考系。

Transformer policy

【Paper】 共享的 egocentric RGB stem 使用 ResNet-18；proprioception 进入 MLP；learned query attention 把不同模态转换成固定数量 token。共享 token 与 robot wrist-camera、proprioception 等独立 token 拼接后送入 Transformer encoder，learnable tokens 汇聚 task-relevant context。动作解码器是多层 Transformer decoder，采用 flow matching 生成连续 action chunk，必要时为不同 action space 使用独立 head。

【Code】 官方 egomimic/algo/hpt.py 实现了 modality stems、共享 trunk、action tokens 和 domain-specific heads；preprocess_tokens() 拼接 token 并加入正弦位置编码，postprocess_tokens() 可取 action token、mean 或 max。仓库同时提供 egomimic/algo/pi.py，基于 OpenPI/PI0 进行另一条 co-training 路径。

4.3 关键公式

分位数归一化

为减轻不同传感器和 embodiment 的量纲差异，论文把每个 feature 的第 1 和第 99 百分位映射到 $[-1,1]$：

$$ \hat{x}=2\left(\frac{x-q_{0.01}}{q_{0.99}-q_{0.01}}\right)-1. $$

$q_{0.01}$、$q_{0.99}$ 是训练分布分位点。相比均值方差归一化，分位数对少量异常姿态更稳健。

BC co-training

$$ \mathcal{L}{\mathrm{BC-cotrain}} =\mathcal{L}{\mathrm{CFM}}^{robot}+\mathcal{L}_{\mathrm{CFM}}^{human}. $$

【Paper】 每一步从 human 与 robot mini-batch 分别计算 conditional flow matching loss，再求和。CFM 让 action decoder 学习从噪声状态到示范动作块的向量场；$\phi$ 和 $\theta$（encoder 与 decoder）联合优化。

可选的表示对齐损失

【Code】 hpt.py 还实现了基于 Sinkhorn 的 optimal transport（OT）对齐：先取 trunk 的 action tokens，再按动作距离构造跨 batch cost；可选 Soft-DTW 处理时序形状。该分支不是正文主结果的必要条件，代码中由 ot_6dof、use_dtw 等开关控制。

4.4 Training

【Paper】 EgoVerse-A 的 dataset unit 通常约 5 分钟，产出每任务 5–10 条演示；六个 flagship task 覆盖单臂、双臂、精细放置与长时程操作。机器人每任务约 150–300 条演示。训练阶段对图像做 random crop 与 color jitter，并对不同 embodiment 的 action/proprioception 独立归一化。

4.5 Inference

【Paper】 推理时策略读取当前 egocentric RGB、必要的 wrist camera 和 proprioception，生成长度为 $k$ 的 action chunk；机器人只执行闭环控制所需的一段，再获取新观测。人类数据本身不参与运行时决策，而是在训练时提供跨 embodiment 的行为先验。

4.6 代码实现对照

| 论文组件 | 官方代码位置 | 可核对行为 | | --- | --- | --- | | 训练入口 | egomimic/trainHydra.py | 使用 PyTorch Lightning + Hydra，支持 DDP 和配置化 dataset filters。 | | HPT policy | egomimic/algo/hpt.py | modality stems、共享 Transformer trunk、action tokens、domain heads 与 BC/OT loss。 | | Pi0 路径 | egomimic/algo/pi.py | 调用 OpenPI PI0Pytorch，按 embodiment 注册 action converter，并支持语言/状态 prompt。 | | 数据配置 | egomimic/hydra_configs/data/*.yaml | human_bimanual 与 eva_bimanual 等 domain 通过 SQL lambda filters 选择 episode。 | | 数据可视化 | egomimic/scripts/data_visualization/latent_inspector.py | 浏览 per-episode zarr，叠加 Cartesian、orientation、keypoint 和 annotation。 |

【Analysis】 代码仓库是可运行的数据处理与训练框架，但云端 EgoDB、所有原始数据和论文中三家实验室的硬件不随仓库发布。因此读者可以复现实验配置和模型逻辑，却不能仅靠 git clone 重建论文的完整数据规模与真实机器人 rollout。

5. 实验

5.1 Experimental Setup

【Paper】 评测覆盖三种平台：Georgia Tech 的双 ARX5、Stanford 的肩部安装双 ARX5，以及 UCSD 的 Unitree G1 + Inspire Hand。四个代表性 flagship task（具体主结果聚焦 object-in-container、cup-on-saucer、bag-grocery）各做 20 次 ID 和 20 次 OOD rollout，报告按任务子指标聚合的 normalized score。

5.2 Main Results

【Paper】 加入 EgoVerse-A 人类数据后，大多数机器人和任务的 ID/OOD normalized score 都提升，最高约 30%。这不是单一平台现象：单臂 object-in-container、精细双臂 cup-on-saucer 和长时程 bag-grocery 在不同机器人上总体复现了 co-training 的收益。

论文也报告了一个重要反例：Stanford 平台的 bag-grocery 性能下降，而 Georgia Tech 与 UCSD 上升。作者推测是该 embodiment 的机械限制迫使机器人演示采用与人类策略不同的动作路线，导致共享策略面对冲突 supervision。

5.3 Ablation Study

【Paper】 固定机器人数据，逐步增加 diverse human data 与 domain-aligned human data：

| 训练条件 | 结果解释 | | --- | --- | | 仅增加 diverse EgoVerse-A | 8 小时数据本身未稳定带来 ID/OOD 增益。 | | 仅加入 aligned human data | 有任务锚点，但规模收益有限。 | | 少量 aligned + 增加 diverse data | 出现正向 scaling；例如 2 小时 aligned 数据可“锚定”2–8 小时 diverse 数据。 |

【Analysis】 这更像“表示学习的坐标系校准”而非简单的数据量定律：aligned data 告诉策略哪些人类动作与当前机器人任务语义对应，之后多样数据才更容易被当作可迁移变化，而不是噪声。

5.4 Generalization

【Paper】 受控 diversity 子集固定 16 名 demonstrator 和 16 个 scene，在固定预算下改变覆盖范围。增加 demonstrator 数量（单 scene 2 小时或多 scene 8 小时）持续改善对 unseen demonstrator 的 Avg-MSE；增加 scene 数量 ${1,2,4,8,16}$ 则持续改善对 unseen scene 的泛化。联合扩展时，scene diversity 的边际收益逐渐超过额外 demonstrator diversity，且在低数据预算下最明显。

6. 方法分析

6.1 为什么有效？

【Analysis】 EgoVerse 的有效性来自三层互补约束：相机中心坐标把移动的人体视角变成稳定的局部动作问题；共享视觉 stem 和 Transformer trunk 迫使 human/robot 观测进入可比较的 latent space；aligned human data 提供语义锚点，diverse data 再扩展外观、场景和运动风格的覆盖。

6.2 核心创新

数据集 → living ecosystem：采集、处理、查询和版本化是一体化设计，而非一次性发布压缩包。
跨实验室可复现研究：同一任务协议、不同机器人平台，让“有效性”不依赖单一硬件。
把 diversity 拆因子：分别测 demonstrator 与 scene，避免把所有变化混成一个“更多数据”变量。
简单但关键的对齐：相机中心 action chunk 与 quantile normalization 让不同来源能共享 BC/CFM 目标。

6.3 与已有方法的本质区别

【Analysis】 传统 robot dataset 的扩展路径是增加 teleoperation 轨迹；EgoVerse 把人类经验作为 embodiment-agnostic 数据层，再在下游决定机器人。与只追求大规模 in-the-wild 视频的方法相比，它保留了任务语义、手部几何和 scene/demonstrator 元数据，因此能做可控 scaling study；与只在单一实验室验证 human-to-robot transfer 的工作相比，它把跨平台复现作为主要结果。

6.4 关键假设

人类 hand/head pose 足以作为机器人末端运动的有用 proxy。
任务语义在不同 embodiment 间可通过共享 instruction 和局部坐标对齐。
统一的视觉与动作归一化能吸收大部分传感器/控制接口差异。
少量 domain-aligned 数据可以为大规模 diverse data 提供稳定锚点。
offline Avg-MSE 的趋势至少能部分反映下游机器人泛化；论文也承认这不是 rollout 的替代品。

7. 局限性

7.1 作者明确提出的局限

【Paper】 研究主要集中在 human-and-robot co-training，尚未系统比较 pre-train/fine-tune 等更广泛的算法路线。scene 与 demonstrator diversity 的受控实验主要依赖 offline metrics，仍需要更多真实机器人 rollout 来验证其与操作成功率的对应关系。

7.2 自己分析得到的局限

【Analysis】 数据生态的规模依赖合作机构、云存储和访问权限，个人研究者未必能获得与论文相同的 episode 分布；统一 action schema 仍不能消除动力学、接触模型和控制频率差异；人类手部轨迹是“怎么动”的 proxy，不等价于机器人可执行的 grasp affordance；持续更新还会造成 dataset shift，需要冻结版本和 data cards 才能稳定比较。

8. 启发与研究思考

【Analysis】 这篇论文给出的最大启发是：机器人 foundation model 的瓶颈不只是模型参数，而是“哪些经验能被可靠地共享”。后续工作可以把 aligned data 选择写成可学习的 curriculum，在 EgoDB schema 中加入接触事件、物体 affordance 和失败标签，并建立把 offline diversity 指标、跨 embodiment latent distance 与真实 rollout 放在同一协议中的版本化 benchmark。

如果把人类视为一组连续变化的 embodiment，那么 EgoVerse 的 scene/demonstrator scaling 实验也提供了一个有趣视角：机器人不是从“人类”迁移到“某一台机器”，而是在一个经验流形上寻找可执行的子空间。真正可扩展的 robot learning 数据系统，应该同时记录数据量、来源、对齐程度和可迁移边界。

EgoSteer 论文精读：从第一视角视频到可操控灵巧操作

Thu, 27 Aug 2026 00:00:00 GMT

1. 论文概述

论文名称：《EgoSteer: A Full-Stack System Towards Steerable Dexterous Manipulation from Egocentric Videos》
论文链接：arXiv:2607.09701
代码与模型：egosteer/egosteer、Hugging Face
项目主页：egosteer.github.io

一句话总结

【Paper】 EgoSteer 不把“通用灵巧操作”归因于单个模型，而是把数据、动作接口、纠错闭环和策略目标一起设计：EgoSmith 把野外第一视角视频变成可监督的 4D 手部数据，统一机器人栈把人类先验映射到双手平台，EgoSteer 再用世界模型特征回归提升动作精度。

核心贡献

【Paper】

EgoSmith：四阶段自动流水线（预过滤、4D 运动估计、语言标注、后过滤）产出 9.60K 小时、2.09M episodes、1.04B frames 的 12 数据集语料；相对 HaWoR 约 9 倍吞吐。
统一机器人栈：同一套低层 FK/IK 与控制节点服务遥操作、策略推理和人类介入；通过相对运动映射实现无跳变接管，并收集 187 小时、193 个任务的数据。
EgoSteer VLA：Qwen3-VL-2B 骨干、DiT 风格 flow-matching action expert，以及仅训练期使用的 DINOv3 world-model expert。
全栈验证：40 个任务平均成功率 75%，组合泛化与未见任务分别为 65% 和 62%；box folding、cake unboxing 少样本适配达到 75%/83%。

2. 背景与相关工作

【Paper】 夹爪机器人已经可以执行许多语言条件任务，但双手高自由度系统仍缺少三个关键条件：大量语言对齐示范、精确且统一的动作表示，以及能够处理部署分布偏移的纠错机制。直接在灵巧机器人上采集这些数据成本高、动作空间又依赖具体硬件。

第一视角人类视频提供了规模，却通常只有 RGB：相机抖动、遮挡、深度缺失和语言缺失会使原始视频成为不稳定监督。EgoSteer 的思路是把问题拆成“可规模化的数据加工”和“可迁移的机器人闭环”两部分，再用一个训练期辅助目标弥合视觉理解与动作生成之间的鸿沟。

与仅扩大真实机器人数据的 VLA 相比，本文的差异在于：人类视频负责学习操作先验，真实机器人数据负责 embodiment grounding，DAgger 只收集失败状态的纠正片段；世界模型则在训练时要求骨干预测动作之后的视觉语义，而不是在部署时增加规划开销。

3. 问题定义

【Paper】 一个 episode 表示为

$$\tau={l,\mathbf K,(\mathbf I_t,\mathbf D_t,\mathbf T^{w2c}t,\mathbf s^w_t,\mathbf a^w_t){t=0}^{N-1}}.$$

输入：语言指令 $l$、相机内参 $\mathbf K$、最近 6 帧 RGB（1 FPS、覆盖 5 秒）和对应的状态历史。
状态 / 动作：双手各包含 3D wrist translation、6D wrist rotation、15D fingertip keypoints，总维度为 48；动作以当前相机坐标系下相对当前状态表示。
输出：长度 $h=32$ 的连续动作 chunk，控制频率 30 Hz。
机器人：RealMan 双臂平台与 AgiBot G1 两种 embodiment；遥操作使用 PsiBot SynGlove-Air 和 Vive Trackers。
深度：EgoSmith 输出深度和相机轨迹，但模型输入实际只使用 RGB；深度主要用于数据重建与质量控制。

4. 方法

4.1 Overall Architecture

【Paper】 多模态输入先经过共享 Qwen3-VL backbone；Action Expert 读取 backbone 的 key-value cache，通过 joint attention 生成 flow-matching 动作 chunk；World Model Expert 读取相同骨干表示并预测未来 DINOv3 特征，只在训练时存在。整体数据流是“语言 + 图像历史 + 状态 → backbone → action/world-model heads”。

4.2 核心模块

EgoSmith 数据流水线

【Paper】

预过滤：128 点稀疏光流剔除行走和剧烈相机运动；YOLO 手部检测要求置信度至少 0.30、框面积在图像 2%–50%，且每帧至少有两只位于下中央区域的手。
4D 运动估计：用 DPVO 替代易漂移且昂贵的 DROID-SLAM，再用 Any4D 的 metric depth 对齐尺度；将 HaWoR 的相机系 MANO 手部重建转到一致的 world space。
语言标注：Qwen3.5-VL-Plus 先过滤没有有效手-物交互的片段，再生成五级 coarse-to-fine 指令；另有 3.5% 片段在此阶段被丢弃。
后过滤：在 episode、chunk、frame 三层检查相机、腕部和指尖轨迹的尺度、旋转与瞬时跳变。

统一机器人栈与 DAgger

【Paper】 手套提供腕部 $SE(3)$ 位姿和手指关节；腕部通过 mink 求 IK，手部通过关节映射驱动。推理时策略发布同一坐标约定下的腕部轨迹和指尖关键点，因此训练、介入和部署共享低层动力学。

接管瞬间记录机器人状态 $(\mathbf T_t^R,\mathbf q_t^R)$ 与人类状态 $(\mathbf T_t^H,\mathbf q_t^H)$，之后只映射相对变化：

$$\mathbf T_{t'}^R=\mathbf T_t^R(\mathbf T_t^H)^{-1}\mathbf T_{t'}^H,\qquad \mathbf q_{t'}^R=\mathbf q_t^R+\mathbf q_{t'}^H-\mathbf q_t^H.$$

这样脚踏板切换不会把人手的绝对坐标直接“瞬移”到机器人；论文报告接管成功率超过 85%，只有介入片段被加入后续 DAgger 训练。

Qwen3-VL Backbone 与 Action Expert

【Paper】 Backbone 将 6 帧图像作为视频序列处理，状态经两层 MLP 注入连续 token；状态历史以 75% 概率替换为可学习 mask，降低模型只看 proprioception 的 shortcut。双相机 post-training 时，胸前视角以 50% 概率 dropout。

Action Expert 是约 300M 参数的 14 层 DiT（hidden 1024、8 heads、MLP 2816），每层同时 attend 自身 token 与 backbone 第 $2\ell$ 层的 KV cache。代码中对应 src/model/vlm/qwen3_expert.py 与 src/model/action/action_head.py。

World Model Expert

【Paper】 4 层、约 70M 参数的 Transformer 接收干净动作 chunk、相对相机运动和 144 个 learnable query，输出未来帧的 DINOv3 ViT-L/16 特征。384×384 输入产生 24×24 的 teacher grid，再由 2×2 线性投影上采样。该 expert 不在推理图中，因此辅助目标没有部署时延。

4.3 关键公式

Flow Matching 与 RTC

给后缀动作 $\mathbf a_{\mathrm{suf}}$ 加高斯噪声 $\boldsymbol\epsilon$，取 $\eta\in[0,1]$：

$$\tilde{\mathbf a}{\mathrm{suf}}=(1-\eta)\boldsymbol\epsilon+\eta\mathbf a{\mathrm{suf}},$$ $$\mathcal L_{\mathrm{CFM}}=\mathbb E\left[\left|\pi(\tilde{\mathbf a}{\mathrm{suf}},\eta,\mathbf C_t)-(\mathbf a{\mathrm{suf}}-\boldsymbol\epsilon)\right|_2^2\right].$$

其中 $\mathbf C_t$ 包含语言、内参、图像和状态历史。RTC 把前 $d$ 步干净动作作为 prefix，模型只对后缀去噪；预训练 $d=0$，机器人 post-training 随机采样 $d\in[0,5]$。

World Model 损失

$$\mathcal L_{\mathrm{WM}}=\frac1{H_vW_v}\sum_{u,v}\left|\mathbf Z_{u,v}-\hat{\mathbf Z}_{u,v}\right|_2^2.$$

这里 $\mathbf Z$ 是冻结 DINOv3 teacher 的未来帧特征，$\hat{\mathbf Z}$ 是 World Model Expert 的重建。特征回归比像素生成更不容易被光照和背景噪声干扰。

总目标

$$\mathcal L_{\mathrm{total}}=\mathcal L_{\mathrm{CFM}}+\mathcal L_{\mathrm{WM}}+0.05\mathcal L_{\mathrm{VLM}}.$$

【Code】 配置文件 egosteer_qwen3_vl.yaml 中对应 flow_loss_weight: 1.0、wm_loss_weight: 1.0、ce_loss_weight: 0.05；VLM 分支在混合数据训练时承担 next-token prediction。

4.4 Training

【Paper】 预训练使用 9.6K 小时 EgoSmith 数据；真实机器人 post-training 使用 187 小时 teleoperation 数据，随后三轮 DAgger 收集 3.7K 条、8.3 小时纠正轨迹。预训练阶段 128 张 A800、global batch 4608、175K steps（164 小时）；post-training 阶段 96 张 A800、batch 384、60K steps（29 小时）。

4.5 Inference

【Paper】 部署时 action chunk 长度仍为 32，模拟延迟固定为 $d=4$；只保留前 12 步，因此扣除 prefix 后每轮实际执行 8 个新动作步。World Model Expert 被丢弃，策略通过 WebSocket server 向 Robot Stack 返回动作。

4.6 代码实现对照

【Code】 官方仓库是可运行的训练、评估和 serving 实现，而不只是模型定义：

| 论文概念 | 代码位置与实现 | | --- | --- | | 策略与三项损失 | src/policy/egosteer.py、src/policy/egosteer_loss.py；flow、WM、CE 分开计算后加权 | | Qwen3-VL backbone | src/model/vlm/qwen3_vl_backbone.py；新增 <state>、<action> slot token | | Action Expert | src/model/vlm/qwen3_expert.py；14 层、KV projection、AdaLN 条件化 | | World Model | src/model/world_model/frozen_teacher.py 与 world_model/frozen_regression.yaml；DINOv3 teacher 冻结 | | 数据窗口 | src/dataset/vla_dataset.py；RGB history=6、action horizon=32、WebDataset shuffle buffer=16384 | | 训练启动 | train.py 与 scripts/train_egosteer_fsdp2_single_node.sh；支持单机、多机和 cloud launcher | | 推理服务 | src/serving/websocket_policy_server.py 与 src/policy/egosteer_inference.py |

【Code】 README 提供 EgoSteer-3B-Base（9.6K 小时人类视频预训练）和 EgoSteer-3B-RealMan（RealMan post-training）权重。代码默认使用 Qwen3-VL-2B 与 DINOv3-ViT-L/16，最小推理环境为 Python 3.10、PyTorch 2.10 和 CUDA 12.8。

5. 实验

5.1 Experimental Setup

【Paper】 主实验覆盖 32 个 seen、4 个 compositional generalization、4 个 unseen task，每个任务 10 次随机试验；动作和语言均采用自由形式，物体、桌布和初始布局随机化。数据集包含 PnP Easy/Medium/Hard、non-prehensile、reorient、bimanual、contact-rich 七类。

5.2 Main Results

【Paper】 EgoSteer 在 40 个任务上平均成功率 75%，其中 22 个任务超过 80%；组合泛化平均 65%，未见任务 62%。它能遵循目标物体、指定手和细粒度动作指令，并在失败后重试。

基线比较中，EgoSteer 达到约 74%，Being-H0.5 为 39%，$\pi_{0.5}$ 为 22%。论文将差距归因于统一动作表示、更高分辨率、训练期 RTC 和更完整的部署优化。

5.3 Ablation Study

【Paper】

| 变体 | 平均成功率 | 观察 | | --- | ---: | --- | | EgoSteer-FT（无 DAgger） | 22.5% | 仅 teleop fine-tuning，容易在部署分布偏移下失败 | | EgoSteer-DG | 62.5% | 仅增加 8.3 小时纠正数据 | | No WM-objective | 31% | 细粒度动作精度下降 | | No training-RTC | 39% | contact-rich 任务出现暂停和抖动 | | Noisy data | 33% | 指令遵循与收敛均恶化 | | Ours | 44% | 完整组件 |

【Paper】 预训练从 3K 扩展到 6K、9.6K 小时会同时降低预训练 loss、提升真实执行 success/progress；这支持 EgoSmith 的数据质量和 EgoSteer 的 scaling behavior。

5.4 Generalization

【Paper】 在 120 条 box-folding 示范（RealMan，18 steps、40 秒）和 200 条 cake-unboxing 示范（AgiBot G1，9 steps、1 分钟）下，预训练模型分别达到 75% 和 83%。Diffusion Policy、IMLE 以及从零训练的 EgoSteer 均为 0%，说明第一视角预训练提供的是可迁移的操作先验，而非单任务轨迹记忆。

6. 方法分析

6.1 为什么有效？

【Analysis】 性能提升来自三个互补的归纳偏置：EgoSmith 让监督信号在几何和语言上变干净；统一 48D action space 让人类与机器人共享“要做什么”的接口；DINOv3 world-model loss 则迫使 backbone 的表示包含动作后未来状态，而不是只做静态图像-语言匹配。DAgger 进一步把有限人工时间集中在策略最容易犯错的状态。

6.2 核心创新

【Analysis】 真正的创新不是“再加一个 Transformer”，而是把数据引擎、动作接口、训练目标和执行时序一起优化。尤其是 world-model expert 训练后移除，使“未来想象”成为零推理开销的表征正则；RTC 将异步计算延迟显式纳入训练分布，解决了很多 VLA 在实验室离线指标高、上机却停顿的问题。

6.3 与已有方法的本质区别

【Analysis】 传统 VLA 通常在固定 embodiment 的机器人轨迹上端到端拟合；EgoSteer 先用人类视频学习跨 embodiment 的语义与手部先验，再用少量机器人数据完成 grounding。它也不同于单纯的 offline imitation：Robot Stack + DAgger 允许从任意部署状态接管并回收失败样本。

6.4 关键假设

【Paper】 人类腕部与指尖轨迹包含可迁移的操作知识，且能通过统一相对坐标表达。
【Paper】 DINOv3 特征足以作为未来状态的稳定语义目标。
【Analysis】 6 帧、5 秒历史与 32 步 chunk 覆盖了主要任务的短期动力学；对更快接触事件或长时规划，这一假设可能不成立。

7. 局限性

7.1 作者明确提出的局限

【Paper】 机器人自由度仍限制了人类高灵巧知识的迁移；数据、模型和 embodiment 都缺少触觉反馈，限制了接触丰富任务；9.6K 小时预训练规模仍可扩大，以覆盖更广先验和提升未见任务泛化。

7.2 自己分析得到的局限

【Analysis】 EgoSmith 的 4D 重建和语言标注依赖多个外部模型，质量阈值与数据集权重带有启发式成分；不同相机、手型和控制器的标定误差可能被模型误学成动作规律。实验报告主要是成功率，尚未充分拆解恢复次数、碰撞风险、能耗或每次推理的真实延迟；论文也未明确说明所有 40+ 任务的完整公开评测协议。

8. 启发与研究思考

数据工程本身就是模型能力：当原始视频规模达到十万小时量级时，深度、相机轨迹、语言和质量过滤的接口设计，可能比再堆几层网络更决定下游上限。
训练期辅助目标要服务于部署瓶颈：预测 DINOv3 future feature 与部署时的动作精度直接相关，而不是泛化的“多任务学习”装饰。
纠错数据应按失败状态采集：DAgger 用 8.3 小时把 22.5% 提升到 62.5%，提示真实机器人数据的边际价值取决于是否覆盖 policy 自己走到的分布。
异步控制需要进入训练分布：RTC 的 prefix/suffix 设计值得推广到所有有高频控制和可变推理延迟的 VLA。
下一步问题：如何把触觉、力控和更高 DoF 手部加入同一 action space？如何让世界模型预测不止一个未来帧，并支持长时任务规划？这些问题决定 EgoSteer 能否从“40 个任务的 steerability”走向真正开放世界的 dexterous autonomy。

EgoScale 论文精读：用 2 万小时人类视频扩展灵巧操作

Thu, 27 Aug 2026 00:00:00 GMT

1. 论文概述

论文名称：《EgoScale: Scaling Dexterous Manipulation with Diverse Egocentric Human Data》

作者：Ruijie Zheng、Dantong Niu、Yuqi Xie、Jing Wang、Mengda Xu、Yunfan Jiang、Fernando Castañeda、Fengyuan Hu、You Liang Tan、Letian Fu、Trevor Darrell、Furong Huang、Yuke Zhu、Danfei Xu、Linxi Fan

机构：NVIDIA、University of California, Berkeley、University of Maryland

论文 / 项目：arXiv · EgoScale project page

代码状态：项目页截至论文发布时标注 “GitHub (Coming Soon!)”，没有可供本文核对的公开官方代码。

一句话总结

【Paper】 EgoScale 把人类视为一个可扩展的“数据 embodiment”：先在 20,854 小时第一视角视频上预测相对 wrist motion 与 retargeted hand joints，再用少量严格对齐的人机 play data 做 mid-training，最后只需少量机器人示教就能学习长时程的 22-DoF 灵巧操作。

核心贡献

【Paper】

Human-data scaling law：在 1k–20k 小时范围内，人类动作验证损失与数据量呈近似 log-linear 关系，拟合式为 $L=0.024-0.003\ln(D)$，$R^2=0.9983$。
两阶段迁移 recipe：大规模但有噪声的人类预训练负责学习通用运动结构；约 50 小时人类 + 4 小时机器人组成的 aligned mid-training 负责把结构锚定到机器人传感和控制接口。
灵巧操作收益：在 Galaxea R1 Pro + 22-DoF Sharpa 手上，完整方法相对无预训练基线的平均成功率提升 54%（论文摘要口径）。
少样本与跨 embodiment：Fold Shirt 单个机器人示教达到 0.88 成功率；在 Unitree G1 的 7-DoF tri-finger 手上也观察到明显收益。

2. 背景与相关工作

【Paper】 机器人示教数据昂贵，尤其是需要接触、手指协调和长时程规划的 dexterous manipulation。第一视角人类视频的数量和场景覆盖远大于机器人 teleoperation，但存在两个错配：视频中的人手不是目标机器人，且 in-the-wild 手部追踪和相机位姿估计带有噪声。

已有 human-to-robot 方法通常依赖几十到几百小时的人类数据，或只迁移 wrist / fingertip 轨迹。EgoScale 的问题意识是：如果把规模扩大到两万小时，并显式监督高自由度 hand articulation，噪声是否会被多样性抵消？以及，是否只需要一个小的“人类—机器人对齐层”就能完成 embodiment grounding？

【Analysis】 这把问题拆成了两个可独立测量的因素：数据规模决定表示是否丰富，对齐数据决定表示是否可执行。若两者混在一个数据集里，就很难知道性能来自“更多视频”还是“更接近目标机器人的示教”。

3. 问题定义

【Paper】 每个时间步的输入为第一视角图像、语言指令，以及机器人数据可用的 proprioceptive state。模型输出一个未来动作 chunk：

$$ A_t=(a_t,\ldots,a_{t+H}),\qquad a_t=(\Delta W_t, a_{\text{hand},t}). $$

Observation：30 FPS 的 egocentric RGB；对机器人还包括关节状态。人类样本没有 proprioception，因此输入 learnable placeholder token。
Arm action：相对 wrist 变换 $\Delta W_t\in SE(3)$，消除绝对相机位姿和工作空间差异。
Hand action：把 21 个手部 keypoints retarget 到 Sharpa 的 22-DoF joint space。
主要 embodiment：Galaxea R1 Pro 双臂轮式 humanoid，固定底座和躯干，双手为 Sharpa Wave 22-DoF。
目标任务：Shirt Rolling、Card Sorting、Tongs for Fruit Transfer、Bottle Unscrewing、Syringe Liquid Transfer。

4. 方法

4.1 Overall Architecture

【Paper】 图像和语言先由 VLM backbone 编码，DiT action expert 在 flow-matching 目标下生成动作 chunk；共享的 wrist action abstraction 连接人类和机器人，embodiment-conditioned MLP adapters 只处理各平台的 state 输入和 hand action 输出。

4.2 核心模块

人类动作重表示

【Paper】 相机位姿为 $T^t_{w\leftarrow c}\in SE(3)$，第 $i$ 个手部 keypoint 为 $H^t_{c,i}$，腕部世界坐标为 $W^t_w=T^t_{w\leftarrow c}H^t_{c,1}$。在一个 action chunk 内使用 $\Delta W^t=(W^0_w)^{-1}W^t_w$，因此模型学习的是局部运动而非“人在房间中的绝对位置”。

手部 keypoints 通过带 joint limits 和 kinematic constraints 的优化程序映射到 22 个 Sharpa 关节。【Analysis】 这一步不是为了让 Sharpa 模拟人的全部动力学，而是把“手指如何协同弯曲、夹捏和保持接触”变成与机器人控制接口同构的监督信号。

数据层：scale 与 alignment 解耦

【Paper】 Stage I 混合了多种 egocentric datasets，总计 20,854 小时，覆盖 9,869 个场景、6,015 个任务和 43,237 个物体；其中额外加入 829 小时高精度 EgoDex。Stage II 的 aligned play data 有约 50 小时人类轨迹和 4 小时机器人轨迹，344 个 tabletop tasks，每个任务约 30 条人类和 5 条机器人轨迹，并使用与机器人匹配的头戴及腕部相机、Vive trackers 和 Manus gloves。

Flow-based VLA 与 embodiment adapters

输入：视觉—语言 embedding、机器人 proprioception（人类样本用可学习 placeholder）。
共享模块：VLM backbone、相对 wrist motion 预测头、DiT action expert。
平台特定模块：state encoder 和 hand-action decoder 的轻量 MLP adapters。
输出：与当前 embodiment 匹配的 wrist motion 和 hand joint action chunk。

【Paper】 对 G1，7-DoF tri-finger 的 state / hand action 经过自己的 adapter，主干仍复用人类预训练结构。【Analysis】 这比把所有 embodiment 映射到统一关节向量更稳妥：共享的是操控语义和 wrist-level motion，真正受硬件约束的部分留在接口层。

4.3 关键公式

Wrist motion

$$ W^t_w=T^t_{w\leftarrow c}H^t_{c,1},\qquad \Delta W^t=(W^0_w)^{-1}W^t_w. $$

其中 $T^t_{w\leftarrow c}$ 是相机到世界的刚体变换，$H^t_{c,1}$ 是 wrist keypoint，$\Delta W^t$ 是相对腕部位姿。它把 global camera motion 从动作标签中剥离出来。

Flow matching action prediction

【Paper】 给定 observation embedding $\phi_t$、state token 和噪声动作 $x_\tau$，DiT 学习从噪声路径到真实动作 chunk 的向量场 $v_\theta(x_\tau,\tau\mid\phi_t)$。论文没有公开完整的采样离散化细节，因此这里不补写具体 solver 或步数。

Human-data scaling law

$$ L(D)=0.024-0.003\ln(D), $$

其中 $D$ 是人类预训练小时数，$L$ 是收敛时 held-out human-video validation loss。【Paper】 该拟合只覆盖 1k–20k 小时，不能据此断言无限外推；它的重要性在于 offline loss 与真实机器人 task completion 同步提升。

4.4 Training

【Paper】 训练分三阶段：

Stage I human pretraining：20k 小时人类数据，100k steps，global batch size 8,192，learning rate $5\times10^{-5}$，全量解冻 VLA。
Stage II aligned mid-training：50k steps，batch size 2,048，learning rate $3\times10^{-5}$；冻结 vision-language backbone，只更新 vision encoder、DiT 和 state/action adapters。
Stage III post-training：任务级机器人示教上 fine-tune 10k steps，batch size 512，learning rate $3\times10^{-5}$；若使用 mid-training，post-training 时冻结 vision encoder。

4.5 Inference

【Paper】 推理时输入当前视觉、语言和 proprioception，flow-based action expert 生成未来动作 chunk。相对 wrist action 送入双臂末端执行器控制，hand action decoder 输出对应手的关节目标；G1 的下肢平衡和 locomotion 由独立 Homie policy 处理。

4.6 代码实现对照

【Paper】 NVIDIA 项目页提供了论文、视频和交互式图表，但 GitHub 链接仍是 “Coming Soon!”。因此没有可核对的 model definition、DataLoader、loss 实现、checkpoint 或 inference script。

【Analysis】 这意味着本文只能对照论文中的训练配方和架构图，不能声称某个公开仓库实现了 20,854 小时数据管线，也不能验证 flow sampler、retargeting 权重或 adapter 的具体代码细节。后续代码发布后，最值得复核的是：动作 chunk 长度、flow solver、手部 retargeting 的目标项、数据混合比例和 G1 adapter 的参数量。

5. 实验

5.1 Experimental Setup

【Paper】 主要平台是 Galaxea R1 Pro + 22-DoF Sharpa hands，使用头戴相机和两台腕部相机。五个任务分别是双手卷衣服、从牌堆分离并插入指定卡片、用 tongs 夹水果、拧开瓶盖，以及抽取—注入液体的 syringe 长时程任务。除 Shirt Rolling 使用 20 条示教外，其余任务各使用 100 条 teleoperation demonstrations；每个方法使用两个随机种子，每个 checkpoint 通常评估 10 次，Tongs 在四种瓶子上共 16 次。

5.2 Main Results

【Paper】 论文比较 No Pretrain、Midtrain Only、Human Pretrain 和 Human Pretrain + Midtrain。完整方法在五个任务上总体最好；摘要报告平均 success rate 相对无预训练提升 54%，正文则报告平均 task-completion score 提升超过 55%。两种口径分别对应二值成功率与细粒度完成分数，不能混为同一个指标。

【Analysis】 结果支持一种互补关系：人类预训练提供广覆盖的动作先验，aligned mid-training 则解决“这些动作如何被当前机器人看见和执行”。仅增加少量对齐数据不能替代规模化人类预训练。

5.3 Ablation Study

数据规模

【Paper】 预训练数据从 1k、2k、4k、10k 增加到 20k 小时，平均 task-completion score 从 0.30 单调上升到 0.71；小数据模型更早过拟合，大数据模型在训练过程中持续改善。held-out human validation set 含 2,000 个 egocentric episodes，每条轨迹采样 20 个时间步，每步从 flow policy 采样 16 个 action chunks 后计算 wrist 与 hand action MSE。

手部动作空间

【Paper】 对比 wrist-only、fingertip-based 和 retargeted joint-space。wrist-only 在 Cards、Tongs 等需要接触时序的任务上明显较差；fingertip-based 虽然几何信息更多，但映射到关节后可能产生不稳定构型；retargeted joints 在各任务上最稳定。这里说明的是监督空间的物理可执行性，而不是 retargeting 算法本身被宣称为论文核心创新。

5.4 Generalization

One-shot task transfer

【Paper】 Fold Shirt 和 Unscrewing Water Bottles 都不在 mid-training task 中。post-training 每个任务只给 1 条机器人示教，并配合每个物体 100 条 aligned human demonstrations；Pretrain + Midtrain 分别达到 0.88 和 0.55 成功率，而缺少任一阶段的模型在该设置下失败。

【Analysis】 这不是“零样本完成新任务”：模型仍看到了目标任务的一条机器人示教和配对人类示教。更准确的说法是，mid-training 让共享的 motion primitives 能在极低机器人数据量下被重新绑定。

Cross-embodiment transfer

【Paper】 Unitree G1 使用较短手臂和 7-DoF tri-finger hand，评测 Pen in Bin 与 Dish in Rack。加入包含 G1 play data 的 mid-training 后，两项任务都优于只在 G1 数据上训练的模型；论文还观察到人类预训练策略的行为更平滑。

6. 方法分析

6.1 为什么有效？

【Analysis】 第一，20k 小时数据覆盖更多物体、场景和手指构型，使模型在看到目标机器人任务前就学到“抓取—保持—操作”的统计结构。第二，relative wrist + joint-space hand action 同时保留了跨 embodiment 的运动不变量和接触所需的细粒度关节信息。第三，mid-training 通过匹配视角和同步动作，把抽象先验接到真实传感器与执行器，而不是要求海量成对人机数据。

6.2 核心创新

【Paper】 真正的创新组合是“规模化人类动作预训练 + 小规模对齐 mid-training + 灵巧手动作监督 + scaling-law 验证”。单独的 flow-based VLA、动作 retargeting 或 MLP adapter 都不是该工作的唯一新组件。

6.3 与已有方法的本质区别

【Analysis】 许多 human-to-robot 方法把人类视频当作视觉表示或高层意图来源，EgoScale 则把它直接当作 wrist 与 hand action supervision；许多 dexterous 工作只在小规模、受控数据上验证，EgoScale 把问题推进到“数据规模本身是否可预测地提升真实机器人性能”。因此它更像一个数据与训练 recipe 的论证，而不是一个全新的 policy backbone。

6.4 关键假设

【Paper】 人类 hand pose 和相机运动可以由现成 perception pipelines 估计到足够有用的程度。
【Paper】 relative wrist motion 能跨相机、机械臂和工作空间共享。
【Analysis】 目标机器人最好拥有与人手相近的可操作自由度，或至少能通过 adapter 保留关键 motion primitives；若硬件无法表达夹捏和独立手指控制，迁移收益可能下降。
【Analysis】 aligned mid-training 的视角、标定和任务分布必须足够接近部署域；这一步并非对任意 embodiment 都能免标注泛化。

7. 局限性

7.1 作者明确提出的局限

【Paper】 作者没有在正文列出单独的 limitation section，但结论承认：实验只覆盖 1k–20k 小时，不能外推到无限数据；更大收益可能需要同时扩展 model capacity；更长时程规划和 compositional generalization 仍是开放问题；无标签视频如何通过 self-supervised objectives 加入，也尚未解决。

7.2 自己分析得到的局限

【Analysis】

动作标签成本仍高：20,854 小时并非原始视频直接训练，而是依赖 SLAM、hand-pose estimation 和 retargeting，数据清洗与算力门槛很高。
模型—硬件耦合：22-DoF Sharpa joint space 是强监督来源，也是潜在瓶颈；对欠驱动或软体手，adapter 能否保留同样的接触结构仍未充分验证。
评测规模有限：主要真实任务数量、随机种子和每任务试验次数仍小于互联网规模数据论文的统计标准，成功率对初始化和人工 overlay 也较敏感。
代码不可复现：官方实现尚未公开，外部研究者无法核对数据混合、动作 retargeting 目标和 flow sampling 的细节。

8. 启发与研究思考

【Analysis】 EgoScale 最值得借鉴的不是“再收集一个更大的视频集”，而是把数据路线拆成可诊断的三层：

用 offline human-action loss 监控表示是否随数据规模改善，并检查它是否真的预测真实机器人收益。
用显式 action representation 把视觉学习导向可执行的 wrist / hand motion，而非只学习任务语义。
用极小但高质量的 aligned play data 做 embodiment grounding，把昂贵的机器人数据花在“接口对齐”而不是重复覆盖人类已经展示过的运动。

【Analysis】 后续研究可以沿三条线推进：将 retargeted joint labels 与无标签视频的时序预训练结合；研究 scaling law 是否同时受模型容量、动作 chunk horizon 和 embodiment diversity 控制；以及把 one-shot transfer 的“共享 motion structure”显式表示成可检索的 skill primitives。若代码发布，首先应复现实验 Figure 5 的 loss—data—robot performance 三联关系，因为它是论文从经验结果走向可预测数据工程的关键证据。

EgoLive 论文精读：面向真实人类任务的大规模第一视角数据集

Thu, 27 Aug 2026 00:00:00 GMT

1. 论文概述

【Paper】《EgoLive: A Large-Scale Egocentric Dataset from Real-World Human Tasks》关注的不是新的 Policy，而是机器人学习最常见的瓶颈：高质量、可扩展、具有真实世界覆盖的数据从哪里来。作者发布了一个面向人类日常工作任务的第一视角（egocentric）数据集，并配套一条从双目视频到几何、运动和语言标注的自动化生产线。

一句话总结

【Analysis】 EgoLive 的核心贡献是把“人类自然地完成任务时看到了什么、手做了什么、场景长什么样”包装成可规模化生产的训练样本，而不是把人类动作强行映射成某一种机器人的关节轨迹。

核心贡献

【Paper】

发布 1,680 小时、65,866 个 episode、346 类任务的开源标注数据，覆盖家庭服务、整理、清洁、物流、零售和药房等真实场景。
设计 JoyEgoCam 头戴式双目设备：每个相机 2160×2160、60 FPS、水平与垂直视场角约 130°，并以 200 Hz IMU 辅助相机运动估计。
建立自动化标注管线，提供 6-DoF 手/腕轨迹、手与交互物体 mask、1152×1152 深度、相机位姿、子任务边界和细粒度语言描述。
从离散标签长尾和 Cosmos-Embed1-448p 的连续特征空间两个角度分析数据多样性，并用手部、深度和 caption 评估验证标注质量。

【Code】 论文没有给出独立的 GitHub 代码仓库；官方入口是 JD Cloud Robot Data Market。因此本文的“代码实现对照”只讨论论文明确写出的处理组件，不虚构不存在的训练脚本。

2. 背景与相关工作

【Paper】 现有机器人数据主要来自三类采集方式：真实机器人遥操作、Universal Manipulation Interface（UMI）和人类第一视角视频。遥操作具有真实的机器人动力学先验，但需要专用硬件、熟练操作员和昂贵的部署环境；UMI 让人类手持带相机的夹爪示教，降低了视觉域差异，却仍然绑定某种 robot embodiment，也不容易扩展到灵巧手。

第一视角视频的优势是设备简单、可在不受空间约束的真实环境中长时间记录。Ego4D、EPIC-KITCHENS-100 等通用数据集规模很大，但缺少相机轨迹、3D 手关键点、稠密 hand/object mask 和程序化子任务边界。EgoMimic、EgoDex、HOI4D、HOT3D 补充了操作相关监督，不过多数仍集中在实验室、桌面或家庭短任务。

【Analysis】 EgoLive 选择的切入点是“部署场景覆盖 + 几何标注完整度”的组合：它不直接提供机器人 action label，却尽量保留从视觉观察到人类操作先验所需的中间变量，为后续 retargeting、VLA 预训练和 workflow decomposition 留出接口。

3. 问题定义

【Paper】 EgoLive 可以形式化为一个带时间同步的多模态 episode 集合：

$$ \mathcal D = {(V^L, V^R, I, K, \mathcal P, \mathcal H, \mathcal M, \mathcal Z, \mathcal C)}_{e=1}^{N} $$

其中 $V^L,V^R$ 是左右相机视频，$I$ 是 IMU，$K$ 是相机内参与触发时间戳，$\mathcal P$ 是相机 6-DoF 轨迹，$\mathcal H$ 是 3D 手/腕关键点，$\mathcal M$ 是手和交互物体 mask，$\mathcal Z$ 是深度或点云，$\mathcal C$ 是子任务 caption，$N=65{,}866$。

| 维度 | EgoLive 设定 | | ------------------- | --------------------------------------------------------------- | | 观察（Observation） | 双目 RGB、标定文件、触发时间戳、200 Hz IMU | | 视觉分辨率 / 频率 | 每路 2160×2160、60 FPS；深度 1152×1152 | | Episode | 通常 1–3 分钟，单个连续中长时任务 | | 任务规模 | 346 类、65,866 个 episode、1,680 小时 | | 几何监督 | 相机位姿、深度、点云、3D 手关键点 | | 语义监督 | 手-物交互、子任务边界、动作/物体/属性描述 | | Robot action | 未直接提供；需要下游方法进行 retargeting 或 action learning |

4. 方法

4.1 Overall Architecture

【Paper】 数据流从 JoyEgoCam 的双目 RGB 与 IMU 开始，经过去畸变/左右视图分离后并行进入手部重建、手物语义、深度与相机定位、子任务切分和语言描述模块，最终写出一个时间对齐的多模态 episode。

4.2 核心模块

JoyEgoCam 采集

输入：佩戴者在真实家庭、零售、药房等环境中的自然操作。
输出：左右同步视频、内参、触发帧时间戳和 IMU。
设计目的：头戴式设备让视角跟随人的注意与移动，同时避免 VR 头显遮挡面部或手持设备干扰手部动作。
关键参数：双目 RGB、2160×2160、60 FPS、约 130°×130° FoV、IMU 200 Hz。

Motion Tracking

【Paper】 每个单目视图先用 HaMeR 估计 MANO 参数，获得稳定的 2D 投影；随后用 ORB-SLAM3 融合双目 RGB 和 IMU 估计相机 ego-motion，并以第一帧左目初始化。最后在 stereo space 中联合优化，使 3D 手关键点同时满足左右相机的投影约束。

【Analysis】 这种“两阶段”结构把单目手部模型的可见性优势和双目系统的绝对尺度优势结合起来：前者负责找到手，后者负责消除深度漂移和跨视角不一致。

Semantic Understanding

【Paper】 手和交互物体先由手-物检测模型定位，再由 BoT-SORT 跨帧关联，SAM2 生成稠密 mask。检测/跟踪结果用于切分原始 episode 的原子子任务；每个 1–20 秒的 clip 再交给 fine-tuned Qwen3-VL-32B，通过多阶段 reasoning 生成包含手、物体和动作的 caption。

3D Scene Reconstruction

【Paper】 FoundationStereo 在校准后的双目图像上生成 1152×1152 深度图。深度与相机轨迹结合后，可以恢复工作空间的点云，为接触关系、手-物相对位姿和后续 human-to-robot 对齐提供几何监督。

4.3 关键公式

双目手部几何一致性

【Paper】 论文没有给出完整的优化目标，但描述了在 MANO 初值上进行 stereo optimization，使左右相机的重投影误差一致。可将其抽象为：

$$ \min_{\mathbf X,,\boldsymbol\xi} \sum_{c\in{L,R}}\sum_{j=1}^{J} \left|\pi_c(\mathbf X_j;\boldsymbol\xi_c)-\mathbf u_{c,j}\right|_2^2 $$

其中 $\mathbf X_j$ 是第 $j$ 个 3D 手关键点，$\boldsymbol\xi_c$ 是相机位姿，$\pi_c$ 是相机投影函数，$\mathbf u_{c,j}$ 是左右图像中的 2D 关键点。该目标的作用是把单目预测提升为具有绝对尺度且跨视角一致的 3D 轨迹。

深度误差统计

对校准板角点，论文用已知几何计算参考深度 $d^*$，再报告：

$$ e_i = |d_i-d_i^*|,\qquad \mathrm{MeanError}=\frac{1}{M}\sum_{i=1}^{M}e_i $$

并统计 $e_i<{5,10,20,30,40}$ mm 的比例。这里的阈值分布比单一平均误差更能反映机器人操作距离内的可用性。

Caption 一致性

【Paper】 LLM-as-a-Judge 将生成描述拆成四个维度：hand consistency、object consistency、action consistency 和 global consistency。前三项检查手、物体属性和动作是否对应视频，global consistency 检查整句是否完整、自然且联合正确。

4.4 Training

【Paper】 EgoLive 是数据集论文，不训练一个端到端机器人 Policy。需要训练的模型只存在于标注生产线内部：HaMeR、手-物检测器、BoT-SORT、SAM2、ORB-SLAM3、FoundationStereo，以及 fine-tuned Qwen3-VL-32B。论文未公开这些组件的训练集、epoch、optimizer 或 checkpoint 配置。

因此，面向数据生产的可复现实验流程是：

4.5 Inference

【Paper】 在 captioning 阶段，模型输入不是整段长视频，而是由手-物跟踪切出的短 clip。Qwen3-VL-32B 采用多阶段 reasoning，输出结构化自然语言；论文示例显示，描述会明确“哪只手、拿什么物体、做什么动作以及方向/属性”。

4.6 代码实现对照

【Code】 论文未提供官方代码仓库，只有 JD Cloud 数据集市场入口。因此无法核对 dataloader、checkpoint、训练脚本或实际发布文件格式。

【Paper】 论文明确给出的实现组件和版本线索包括：HaMeR + MANO（手重建）、ORB-SLAM3（视觉惯性定位）、BoT-SORT（跟踪）、SAM2（分割）、FoundationStereo（深度）和 fine-tuned Qwen3-VL-32B（caption）。这些名称是论文描述，不等价于一个可直接运行的官方 pipeline。

5. 实验

5.1 Experimental Setup

【Paper】 数据来自不受约束的真实场景，episode 通常持续 1–3 分钟。作者从三个角度评估数据集：语义/特征分布、手部重建、深度重建和 instruction captioning。深度实验使用 0.5–3.5 m 的阶梯阵列与 ChArUco 校准板，先用 BFGS 联合优化相机相对校准板的 6D 位姿，再把板上角点几何作为参考深度。

5.2 Main Results

| 数据集 | 场景 | 时长 | 分辨率 | FPS | 多视角 | 运动跟踪 | 语言 | 深度 | | ------------- | ------------ | ----------: | ------------- | -----: | :----: | :------: | :---: | :---: | | Ego4D | 真实世界 | 3,680 h | 不一致 | 30 | ✗ | ✗ | ✓ | ✗ | | EgoDex | 实验室 | 829 h | 1920×1080 | 30 | ✗ | ✓ | ✓ | ✗ | | Xperience-10M | 真实世界 | 1,059 h | 512×512 | 20 | ✓ | ✓ | ✓ | ✓ | | EgoLive | 真实世界 | 1,680 h | 2160×2160 | 60 | ✓ | ✓ | ✓ | ✓ |

【Paper】 在论文列出的代表性数据集中，EgoLive 以 2160×2160、60 FPS 和完整多模态标注形成组合优势；其 1,680 小时时长仅次于 Ego4D，但后者并非操作导向且缺少几何监督。

5.3 Ablation Study

论文没有 Policy ablation，也没有逐项移除标注模块的消融实验。作者采用跨数据集对比和质量可视化替代消融：EgoLive 的 object/action/attribute 词频曲线均高于 EgoDex 与 Xperience-10M，表现出更长的语义尾部；t-SNE 中覆盖区域更广，同时局部簇更紧凑。

5.4 Generalization

语义覆盖

【Paper】 数据覆盖 household service、organization、cleaning、logistics 等任务。作者从 instruction caption 中提取 object/action/attribute 标签，在 log-log 频率图上观察到更宽的长尾，说明数据不仅重复高频动作，也包含更多低频交互组合。

连续特征空间

使用 Cosmos-Embed1-448p 提取图像 embedding，再用 t-SNE 可视化 object、environment、action 的联合表示。【Paper】 EgoLive 占据更宽的 manifold 区域，并保留局部语义簇；这支持“覆盖更广，同时局部交互模式仍可学习”的判断，但不等价于已经证明下游机器人成功率提升。

几何质量

【Paper】 深度平均误差在 0.5–0.7 m 处约 3 mm；在约 0.9 m 以内属于典型人类操作距离时误差较低。距离增大到 3.5 m，平均误差升至 18.035 mm，$<40$ mm 的像素比例仍为 93.478%。

Caption 质量

【Paper】 四个示例中，玻璃清洁和外套整理的 caption 在 action/object/hand/global 四项均通过；海绵清洁和铺床示例出现动作或全局不一致。这说明 LLM caption 能提供丰富监督，但仍需要自动或人工质量控制。

6. 方法分析

6.1 为什么有效？

【Analysis】 EgoLive 有效的关键不是某一个视觉模型，而是三个闭环：

采集闭环：双目 + IMU 同时保留宽视野、绝对尺度和时间同步。
标注闭环：2D 手检测、3D 几何、手物语义和语言描述互相约束，单一模型出错时仍可用其他模态发现问题。
分布闭环：先在真实业务场景采集，再用离散长尾和连续 manifold 检查覆盖是否坍缩到少数任务。

6.2 核心创新

【Paper】

将第一视角数据采集从实验室/桌面操作扩展到真实服务和商业工作流。
用定制硬件把高分辨率、高帧率双目和 200 Hz IMU 做成可长时间佩戴的设备。
把手轨迹、相机轨迹、深度、mask、子任务边界和 caption 放入同一 episode。

【Analysis】 真正有价值的创新是“dataset interface”：它没有规定下游必须使用某个机器人动作空间，因此更适合跨 embodiment 的 representation pretraining、retargeting 和 data curation。

6.3 与已有方法的本质区别

| 路线 | 监督来源 | 可扩展性 | embodiment 依赖 | EgoLive 的差异 | | -------------------- | ------------------------------- | -------- | --------------- | ------------------------------------------ | | 机器人遥操作 | 真实 robot state/action | 低 | 高 | 不采集机器人轨迹，换取更大场景覆盖 | | UMI | 手持 gripper + 视频 | 中 | 中到高 | 保留自然手形态，不绑定夹爪接口 | | 通用 egocentric 数据 | 视频 + 语言 | 高 | 低 | 补上几何、手物 mask 和子任务边界 | | EgoLive | 双目视频 + IMU + 自动多模态标注 | 高 | 低 | 面向真实工作流，支持后续跨 embodiment 学习 |

6.4 关键假设

【Paper】 论文隐含或明确依赖以下假设：

头戴式相机视角能够作为人类操作的有效视觉代理；
双目重建和 SLAM 在动态手部遮挡、快速运动下仍可提供足够稳定的几何；
手、交互物体与动作的组合足以描述原子操作；
LLM 生成的语言可作为语义监督，而无需为每个 clip 提供人工逐字标注。

【Analysis】 这些假设对机器人 transfer 并不自动成立：人类视角与机器人相机高度不同，手的运动也不能直接执行，仍需 retargeting 或 latent action interface。

7. 局限性

7.1 作者明确提出的局限

论文没有单独列出 limitations 小节。【Paper】 从实验描述可确认，远距离深度误差随距离增加；caption 示例中也存在 action/object/global 不一致。论文还没有报告下游 VLA 或机器人在 EgoLive 上训练后的成功率提升。

7.2 自己分析得到的局限

【Analysis】

没有 robot action：数据天然适合表征学习，却不能直接替代真实机器人示教；从人手到具体机械臂需要姿态映射、接触建模和控制策略。
自动标注误差会级联：检测漏检会影响 BoT-SORT，跟踪错误会影响子任务切分，切分错误又会诱导 Qwen3-VL 生成错误 caption。
隐私与授权成本：真实家庭和商业场景涉及人脸、商品和工作流程，论文未展开公开数据的隐私过滤、授权范围和持续更新机制。
分布统计不等于 transfer：词频长尾和 t-SNE 覆盖只能说明数据多样，不能证明某个 robot embodiment 的泛化性能。
缺少可复现代码：没有公开 annotation pipeline、模型权重与过滤规则，研究者难以逐步复现表 2 和 caption 质量。

8. 启发与研究思考

【Analysis】 EgoLive 给机器人学习的启发是：下一代数据集不必在“纯视频”和“真实机器人轨迹”之间二选一，而可以发布一组可组合的中间监督。

从 video-to-action 变成 video-to-interface：先学习手、物体、相机和子任务的共享表示，再由不同 embodiment 的 adapter 生成动作。
把质量控制做成训练目标：利用双目重投影误差、mask 时序一致性和 caption 四维评分构造 sample weight，进行 quality-aware imitation learning。
研究长时任务分解：1–3 分钟 episode 与 1–20 秒 atomic clip 的层级结构，适合训练 high-level planner + low-level skill policy。
主动采集长尾数据：词频和 embedding manifold 可以反过来指导下一轮采集，把资源投入罕见物体、动作和场景组合。
评估真实 transfer：后续工作应报告从 EgoLive 预训练到具体 robot 的 zero-shot、few-shot 和 cross-embodiment 指标，而不止是数据规模。

EgoInfinity 论文精读：把任意视角网络视频编译成可执行机器人动作

Thu, 27 Aug 2026 00:00:00 GMT

1. 论文概述

【Paper】 EgoInfinity 不把网络视频直接当作 2D pseudo-action，而是建设一个可替换模块组成的 4D hand-object interaction（HOI）data engine。输入为带语义标注的 RGB 视频，输出为米制手部轨迹、物体点云/网格、6-DoF 物体轨迹与交互状态；这些 agent-agnostic 表示随后可被编译到不同机器人上。

一句话总结

【Analysis】 这篇论文的关键不是“从视频恢复一只手”，而是把异构视觉模型的输出校到同一度量坐标系，并让接触状态决定物体怎么动。只有这样，web video 才从看起来合理的影像变成可送入 IK 与 policy 的数据资产。

核心贡献

【Paper】

提出面向 web-scale 的模块化 4D HOI 数据引擎，自动完成目标物体发现、度量几何、手物体追踪、交互修正与坐标重构，无需 mocap、深度相机、CAD、wearable 或人工指定物体。
以 MoGe-2、Flow3r、GeoCalib、WiLoR、SAM-3/SAM-2、SAM-3D 等模块建立共享的 metric camera frame，而非直接拼接彼此尺度不一致的预测。
利用 static、grasped、moving 交互状态修正物体 6-DoF：握住时绑定到手，静止时锁定至稳健点云中心，降低纯视觉跟踪漂移。
提出机器人专属、$SE(3)$-equivariant 的根坐标估计器，以 flow matching 对部分可见人体带来的多解性采样，并用 IK 可行性选择候选。
在 106 段 Action100M 操作视频上展示跨 Unitree G1、Robonaut2、双 Franka FR3 的 retargeting，以及 LEAP 手抓取和 Franka 切、倒、擦等真实机器人演示。

2. 背景与相关工作

【Paper】 实验室和工厂示教具备 robot-compatible action，却受场地、对象与操作者限制；网络视频覆盖更广，却没有尺度、物体 6-DoF、接触状态和机器人关节轨迹。仅在 2D 画面或像素空间对齐人类动作，容易产生视觉上流畅但物理上未 grounding 的 pseudo-action。

【Paper】 EgoInfinity 利用 Action100M 的文本标注做语言 grounding：Action100M 本身含 1.47 亿 action segments、约 14.6 年视频。论文不宣称一次性发布一个静态大数据集，而强调一个能伴随其中各感知模块进步而更新的 data engine。

【Analysis】 这与传统 video imitation 的分界在于中间表示。若中间层是二维手腕轨迹，之后的 retargeter 只能猜深度；若中间层保留有尺度的手、物体、重力和接触关系，retargeter 才有机会把“同一个任务意图”迁移给形态不同的机器人。

3. 问题定义

【Paper】 给定一段长度为 $T$ 的 RGB 视频 $V_{1:T}$ 及其文本描述 $d$，引擎生成每帧的手与物体状态：

$$ \mathcal H_t={\mathcal M_t^h,\mathcal K_t^h,{}^c\mathbf p_t^h, \mathcal P_t^o,\mathcal M^o,{}^c\mathbf p_t^o,s_t}. $$

其中，$\mathcal M_t^h$、$\mathcal K_t^h$ 是 MANO 手网格和关键点，${}^c\mathbf p_t^h\in SE(3)$ 是相机系手位姿；$\mathcal P_t^o$、$\mathcal M^o$、${}^c\mathbf p_t^o$ 分别为物体点云、网格和 6-DoF 位姿，$s_t$ 是交互状态。目标不是恢复完整人体，而是产出能被下游 robot embodiment 使用的 agent-agnostic 交互表示。

对于目标机器人 $r$，retargeter 接收手部轨迹与可选重力 ${}^c\mathbf g$，估计根坐标 ${}^c\mathbf p^r$，再寻找满足机器人运动学的关节轨迹 $q_{1:T}$。这使得只有手出现在画面中时，仍能定义机器人 torso/base 下的可执行目标。

4. 方法

4.1 Overall Architecture

【Paper】 数据流为：视频与语义描述 → 共享度量几何下的手/物体重建 → interaction-aware refinement → 4D HOI → 机器人根坐标候选 → IK 与后处理关节轨迹。架构中的前半段刻画“人做了什么”，后半段处理“这个机器人怎样做”。

4.2 核心模块

共享度量几何与自动目标发现

【Paper】 系统先以 WiLoR 进行轻量 Pass 1，找出有手且满足手部运动/相机运动线索的片段；仅对活跃片段运行昂贵的 Pass 2。MoGe-2 估计焦距和全局 metric scale，Flow3r 提供密集深度，GeoCalib 从早期帧估计重力。WiLoR 输出 MANO pose/shape、手网格和关键点；缺失或不稳定帧由 infilling 模块补全。

【Paper】 目标物体不由人手选定。系统从视频描述抽取 object noun，以 SAM-3 的文本提示定位目标，再以 SAM-2 沿时间传播 mask；mask 与深度反投影为每帧物体点云，视觉证据充足时由 SAM-3D 生成网格，FoundationPose++ 跟踪同一 metric frame 中的 6-DoF 位姿。

Interaction-Aware Refinement

【Paper】 视觉跟踪的核心失败是：物体本应静止却漂移，握住时被遮挡而位姿跳变。EgoInfinity 先由 mask/depth 给出初始物体提议，再以 MEMFOF optical flow 与手关键点将帧归入 static、grasped、moving。在握持段，物体按 palm-aligned canonical transform 刚性绑定到手；静止段使用稳健点云中心锁定；移动段保留视觉提议，最后过滤不合理尺度和背景误检。

【Analysis】 这里的物理性来自“状态条件下该信谁”，不是一个端到端 physics simulator：抓住时手是比受遮挡物体更可靠的参考，未接触时反而不应让手带动物体。这种不对称约束正好压住单目重建最典型的 drift。

部分人体可见下的 root-frame 估计

【Paper】 根坐标网络 $\Phi$ 的输入是双手位姿轨迹和可选重力，输出相机系的机器人 root pose。它使用 Vector Neuron（VN）层和 VN-Transformer：先用手位置中心化得到 translation equivariance，再以 3D vector feature 保持 rotation equivariance；rotation head 的两个向量经 Gram--Schmidt 变为 $SO(3)$ 矩阵，translation 则预测 root-relative offset。

【Paper】 由于相同手部轨迹可对应多个身体/torso 姿态，作者不用确定性回归，而以 conditional flow matching 建模根坐标分布。模型在 MuJoCo 中为每个目标机器人独立训练，用程序生成的手轨迹与随机相机提供监督，并注入 tracking noise、tracking jump、手遮挡和 gravity noise；30% 样本丢弃重力输入。

4.3 关键公式

【Paper】 手和物体模块必须先处于同一相机系与米制尺度，初始 HOI 状态才可写为：

$$ \mathcal H_t= {\mathcal M_t^h,\mathcal K_t^h,{}^c\mathbf p_t^h, \mathcal P_t^o,\mathcal M^o,{}^c\mathbf p_t^o}. $$

上标 $c$ 表示 camera frame；${}^c\mathbf p\in SE(3)$ 同时编码旋转与平移。这里的共享坐标是接触判断、绑定和 retargeting 的前提，而非展示层的可选附加信息。

对于根坐标估计，论文要求任意刚体变换 $\mathbf G\in SE(3)$ 下满足：

$$ \mathbf G\cdot\Phi(\mathbf x)=\Phi(\mathbf G\cdot\mathbf x), $$

其中 $\mathbf x$ 为手轨迹与可选重力。它保证把输入视频的相机系整体旋转/平移后，预测 root frame 也作同样变换，而不是依赖某个固定相机朝向。

translation head 的恢复式为：

$$ {}^c\mathbf t^r={}^c\mathbf R^r\mathbf v+\mathbf c. $$

${}^c\mathbf R^r$ 是预测的根旋转，$\mathbf v$ 是 root-relative offset，$\mathbf c$ 是手位置质心。通过预测中心化后的相对位移，网络避免直接回归随相机平移变化的绝对坐标。

4.4 Training

【Paper】 训练分为两类。数据引擎本身组合既有感知模块，并没有在文中定义一个统一的端到端可训练损失；目标机器人上的 $\Phi$ 则完全用 MuJoCo 合成数据训练：在操作工作区附近生成平滑双手 Cartesian 轨迹，使用 warm-started position-only IK 与样条构造可行 motion，再随机采样相机，将手轨迹和真值 root pose 变到 camera frame。

<Algorithm number={1} title='Robot-Specific Root Estimator Training' inputLabel='输入' outputLabel='输出'

4.5 Inference

【Paper】 对一段视频，flow model 在重叠时间窗中生成多个 root-frame 假设；论文使用 20 步 Euler 积分采样。候选先经 $k$-means 聚类，窗口级估计用 translation 线性插值和 rotation SLERP 变为每帧 root trajectory。每个候选随后接受带 warm start、null-space regularization 的 sequential IK 评估，按收敛率、末端残差、manipulability、关节限位余量与平滑度选优；失败帧插值，手指再从 MANO keypoint 做机器人专属几何映射。

4.6 代码实现对照

【Code】 截至本文写作时，arXiv 和官方 Hugging Face 页面没有给出可运行的 EgoInfinity data-engine 或 retargeter 源码，故不能把论文中的模块、loss 或超参数当作已经可复现的实现。frontmatter 的 code 因而保持为空。

【Code】 官方发布的是 EgoInfinity Browser 与标为 preview 的 EgoInfinity dataset。dataset 的 sample 目录确实含 camera.json、depth.npz、flow.mp4、hand_joints.bin、object_pose.bin、scene.json、signals.json、物体 .ply，以及 retarget/{franka,g1,robonaut2,xlerobot}/trajectory.npz、仿真视频与指标；它验证了论文所述中间表示和 retarget 输出的发布形态。

【Analysis】 数据卡写“104 个 clips 具有四种 embodiment 的 retarget 结果”，论文正文则称 curated subset 有 106 个视频。两者可能反映不同发布快照或可成功 retarget 的子集；官方没有在页面解释差异，使用者应以下载版本的实际清单为准。

5. 实验

5.1 Experimental Setup

【Paper】 作者在 Action100M 的可扩展 curated subset 上处理 106 段 manipulation videos。评估涵盖浏览器式数据服务、数据统计、三种差异很大的 embodiment（Unitree G1、NASA Robonaut2、dual-Franka FR3）和真实机器人执行/学习。报告的 retarget 指标包括逐帧 IK rate、手位置/朝向误差、关节限位余量、manipulability 与 joint-velocity smoothness。

【Paper】 真实侧一条路线是在 LEAP dexterous hand 上把提取手轨迹作为 grasp policy prior；另一条路线是将动作直接 retarget 给 dual-arm Franka FR3，展示 cutting、pouring、wiping。论文将这些视作从网络视频到可执行行为的端到端验证，而非对一个单独 VLA backbone 的训练比较。

5.2 Main Results

【Paper】 三个 embodiment 的数据集级结果如下。IK Rate 是逐帧收敛比例；位置/朝向误差均相对于 IK target，而不是对人类动作的绝对成功率。

| Robot | IK Rate | Pos. Error | Ori. Error | Joint-Limit Margin | Manipulability | Smoothness | | ----------- | ------: | ---------: | ---------: | -----------------: | -------------: | ---------: | | Unitree G1 | 0.821 | 2.86 cm | 6.73° | 0.619 rad | 0.012 | 0.00693 | | Robonaut2 | 0.774 | 6.67 cm | 8.25° | 0.134 rad | 0.058 | 0.00343 | | Dual-Franka | 0.706 | 10.27 cm | 12.17° | 0.572 rad | 0.080 | 0.00582 |

【Analysis】 G1 的 tracking error 和 IK rate 最好，不能简单推出它“更适合所有任务”：指标还取决于 root-frame 模型、工作区与人手轨迹的重合程度。Dual-Franka 的较低 IK rate 与较大误差更像是在量化 embodiment mismatch，也说明编译到不同机器人不会是零损失操作。

【Paper】 数据统计图显示：88% clips 中、47% objects 被实际操作；握持类型在左手、右手与双手间较均衡。该图的意义是证明 pipeline 处理的不是只含静态物体的 web 视频，不过作者未在正文给出端到端吞吐量、单位视频成本或大规模训练集上的 policy scaling curve。

5.3 Ablation Study

【Paper】 当前论文没有报告带数值的标准 ablation table，例如移除交互状态修正、改用纯视觉 object pose、移除重力或改变 root estimator 后的统一对比。论文通过其设计与定性/系统级结果论证模块必要性，但不能据此量化 Phase F、SAM-3D、Flow3r 或 flow matching 分别贡献了多少。

【Analysis】 最有价值的补充消融应固定同一组源视频和目标机器人，依次移除 static lock、grasp binding、metric calibration、重力、flow multi-hypothesis，再同时报告接触滑移/漂移、IK feasible rate 和真实任务成功率。只有把视觉几何指标连到执行结果，才能检验“物理 grounding”是否真的发生。

5.4 Generalization

【Paper】 论文的主要泛化维度是任何视角与 cross-embodiment：画面可以只出现局部人体，系统仍用手轨迹推断 root frame；同一 HOI 能送入 G1、Robonaut2 或双 Franka。真实结果进一步包含抓取、切割、倒液与擦拭这类不同 interaction pattern。

【Analysis】 这不是严格的 open-world performance guarantee。论文的视觉范围仍偏向近似静态机位的教学/操作视频，且模型选择、对象可见性和接触复杂度都会影响能否形成可靠的 metric HOI。

6. 方法分析

6.1 为什么有效？

【Analysis】 EgoInfinity 把原本相互抵消的误差变成可约束的量：depth 给尺度，gravity 给方向，手和物体都落入同一 frame；随后状态机提供时序先验。面对遮挡，视觉证据变弱但“手正在握持”的语义仍强，因此将物体绑定到手比继续逐帧追踪更稳定。retarget 部分再以 IK 作为最终可执行性筛选器，使产生的 root hypothesis 必须经机器人运动学检验。

6.2 核心创新

【Paper】 三项相互关联的创新是：跨模块 metric calibration、interaction-aware object refinement，以及对任意视角/部分人体观测进行多模态根坐标推断的 $SE(3)$-equivariant flow retargeter。

【Analysis】 “引擎”思路本身也很重要：它不押注一个永久最强的单一视觉 backbone，而是规定模块之间必须传递什么中间语义与坐标关系。相比把所有错误压进一个 black-box VLA，这更容易替换感知器或定位失败环节。

6.3 与已有方法的本质区别

| 路线 | 中间表示 | 主要短板 | EgoInfinity 的取舍 | | ------------------------ | ---------------------------------- | ------------------------------- | ----------------------------------------------- | | 实验室/穿戴式示教 | 已对齐的第一视角与动作 | 成本高、场景多样性有限 | 接受较噪的网络 RGB，以重建与修正换取规模/多样性 | | 2D human-video imitation | 图像、2D keypoint 或 pseudo-action | 深度、尺度、接触和 6-DoF 不充分 | 显式恢复 metric hand-object state | | 传统 retargeting | 全身 mocap 或已知人体根坐标 | 任意网络视角下身体常不可见 | 直接从手轨迹分布预测 robot root hypothesis |

6.4 关键假设

【Paper】 系统假设视频近似 static camera；需要语义描述足以产生目标物体 prompt；假设单目 metric depth、手重建与 object segmentation 能在共享坐标中达到可用精度；同时，根坐标网络必须对每个目标机器人在仿真中单独训练。

【Analysis】 这些假设决定数据引擎更接近“自动化筛选 + 编译器”而非对所有网络视频零配置运行的通用解码器。它可以丢弃低质量视频，但若筛选偏好稳定教学镜头，最终数据分布仍会有选择偏差。

7. 局限性

7.1 作者明确提出的局限

【Paper】 作者明确限定在 approximately static-camera 视频，因而排除 body-mounted 与 handheld footage；系统不保证精确手物接触对齐、指尖落点、力一致性或 no-slip；没有 tactile observation；retargeter 是机器人专属的，面对新形态需要 retrain/calibration，且适合 functional transfer 而非精确人体运动模仿。

7.2 自己分析得到的局限

【Analysis】 首先，当前实验量证明了“可 retarget”与若干真实技能示例，却不足以分离视频质量、重建质量、root 推断和控制器对失败的贡献。其次，SAM-3 的文本 prompt 能否找对对象强依赖原始描述，包含多个可交互对象或含糊动词时可能出现语义错配。最后，preview dataset 的 104/106 数量差异和源码未公开，限制了对性能、筛选规则与修正细节的独立复现。

8. 启发与研究思考

【Analysis】 可以把 EgoInfinity 视作 VLA 训练之前的 data compiler：先把大量非结构化行为视频转成带几何、接触和动作可行性证据的数据，再让 policy 学习。后续很自然的方向包括：

用 SLAM-aware geometry 放宽静态机位假设，并显式估计相机/人体运动的不确定性。
将接触从粗粒度状态提升为接触点、摩擦和力的概率分布，再以触觉或仿真约束校准。
将 IK score 反向用于数据质量过滤或 retargeter 训练，形成“视频—几何—可执行性”的闭环筛选。
在公开、版本化的数据与源码基础上，比较不同 4D 中间表示对 policy pretraining、world model 和真实泛化的边际收益。

EBench 论文精读：通用移动操作能力诊断

Thu, 27 Aug 2026 00:00:00 GMT

1. 论文概述

一句话总结

【Paper】 EBench 是一个基于 NVIDIA Isaac Sim 的通用移动操作 benchmark：26 个任务同时覆盖 mobile pick-and-place、long-horizon multi-stage 与 tabletop dexterous-and-precise，并把每个任务标注为五个能力轴，再通过 Background、Object、Instruction、Mix 四种 OOD 条件测量泛化。

核心贡献

【Paper】

提供数据合成、评分库和分布式评测 runner 的开源代码；完整 validation split 在 8 张消费级 GPU 上约 30 分钟完成。
设计 26 个任务、9 类室内场景和 11 类 atomic skill，避免只用一个 leaderboard scalar 掩盖能力短板。
通过资产级 train/test 隔离和四种受控扰动，测量视觉、语言、物理与组合分布偏移。
在 $pi_0$、$pi_{0.5}$、XVLA、InternVLA-A1 上展示：总体 Test SR 仅相差 5.1 个百分点，但能力剖面可相差数十个百分点。

2. 背景与相关工作

【Paper】 RLBench、CALVIN、LIBERO 等固定底座桌面套件对短时程抓取很成熟，却很少覆盖移动底盘、长时程规划和亚厘米级接触操作。RoboCasa、RoboTwin、GenManip 扩大了场景或任务数量，但通常仍按单一 regime 汇报成功率；RMBench 则只针对记忆能力。EBench 的切入点是把三种操作 regime 放进同一动作协议，并为每项结果保留可解释坐标。

【Analysis】 这使 benchmark 从“谁的分数最高”变成“模型能力向量如何与任务需求匹配”。对于模型迭代，后者更接近可执行的诊断信号。

3. 问题定义

【Paper】 每个 episode 接受三路 $224\times224$ RGB 视角（left、right、topdown）、proprioceptive state 和自然语言指令；双臂各输出 6-DoF joint position 或 end-effector pose 加 gripper width，移动底盘输出 $(v_x,v_y,\omega)$。物理仿真为 60 Hz，最长 episode 为 5,000 steps（约 83 秒）。

任务标签由五个轴组成：Scene（9 类）、Atomic Skill（11 类）、Range（短 / 长时程）、Precision（低 / 中 / 高，high 为小于 1 cm）和 Operating Mode（mobile / fixed-base dexterous）。

4. 方法

4.1 Overall Architecture

数据流是“任务与资产 → 两路 demonstration synthesis → IsaacSim server → VLA/WAM client → 共享评分库”：灵巧任务由遥操作采集，移动与长时程任务由关键帧位姿和 cuRobo 生成，再经 client-server 协议执行。

4.2 核心模块

两路数据合成

Teleoperation（7 个 dexterous-and-precise 任务）：actor-follower 机构保留接触反馈，适合 peg-in-hole、nut tightening 等微调动作。
Key-frame + cuRobo（10 mobile + 9 long-horizon）：标注者给出稀疏末端位姿和移动底盘 waypoint，cuRobo 求解无碰撞、minimum-jerk 轨迹，适合难以稳定遥操作的长序列。

【Paper】 最终 post-training 数据为 6,600 episodes、91.4 小时，存储为 LeRobot 格式。【Analysis】 两路采集把“动作精度”和“长序列成功率”解耦，代价是 motion-planned 数据可能比真实人类示教更规则。

Scoring library

【Paper】 评分由可组合 primitive 构成，包括 scene-graph object relation、关节角、物体倾角 / 朝向和子目标 temporal ordering，并同时返回 binary Success Rate 与连续 progress Score。

Evaluation runner

【Code】 仓库把 Isaac Sim server、genmanip-client 和各模型 baseline 分开；模型通过 EvalClient.reset/step 获取 observation 并提交 action。gmp submit/eval/status 负责提交、监控和结果分析，在线平台还能自动生成五轴能力图和泛化报告。

4.3 关键公式

【Paper】 对模型 $m$ 和任务子集 $S$，成功率可写为：

$$\mathrm{SR}(m,S)=\frac{1}{|S|}\sum_{i\in S}\mathbf{1}[\mathrm{success}_i(m)]$$

其中 $S$ 可以是某个 capability 轴的切片，而不是整个测试集。Test-to-Validation retention 定义为：

$$R_{\mathrm{SR}}=\frac{\mathrm{SR}{test}}{\mathrm{SR}{val\text{-}train}},\qquad R_{score}=\frac{Score_{test}}{Score_{val\text{-}train}}$$

【Analysis】 $R$ 把“绝对能力”和“分布迁移损失”分开：高 SR 但低 $R$ 的策略并不一定适合部署。

4.4 Training

【Paper】 四个 baseline 都从 pretrained checkpoint 在同一 EBench 数据上 fine-tune 200K steps，batch size 128，AdamW，cosine scheduler + warm-up，peak learning rate $1\times10^{-5}$。每帧使用三路图像、状态和指令，策略按 60 Hz 查询。

<Algorithm number={1} title='EBench post-training and evaluation preparation' inputLabel='输入' outputLabel='输出'

4.5 Inference

4.6 代码实现对照

【Code】 baselines/X-VLA/run.py 用 AutoModel.from_pretrained(..., trust_remote_code=True) 加载模型，拼接 joints、缩放后的 base 和 gripper 为 proprio，调用 model.inference_api(..., steps=10) 产生 chunk，再反缩放并逐步发送。baselines/InternVLA-A1/inference.py 维护 30 步 action queue 与图像历史，使用 EvalClient 执行 chunk；若通信失败，两者都会重建 client 并 reset。

【Analysis】 代码的核心不是重写 simulator，而是把不同策略的输入输出适配到同一个 client contract，这正是跨架构比较可复现的关键。

5. 实验

5.1 Experimental Setup

【Paper】 26 任务包括 10 mobile pick-and-place、9 mobile long-horizon、7 tabletop dexterous；每模型评测三次并报告均值 ± 标准差。OOD 轴分别固定改变 background、object、instruction，或同时改变三者。

5.2 Main Results

| Model | Val-Train SR | Test SR | SR retention | | ------------ | -----------: | --------: | -----------: | | $\pi_0$ | 30.5% | 24.4% | 0.80 | | XVLA | 28.3% | 24.7% | 0.87 | | InternVLA-A1 | 33.1% | 27.6% | 0.83 | | $\pi_{0.5}$ | 32.1% | 29.5% | 0.92 |

【Paper】 $\pi_{0.5}$ 同时取得最高 Test SR、Score（45.6%）和 retention；InternVLA-A1 的 Val-Train SR 最高，却在 Val-Unseen 降到 20.8%。因此总分相近并不表示行为相近。

5.3 Ablation Study

【Paper】 预训练敏感性实验显示，EBench 是三套 benchmark 中最能拉开 pretrained / from-scratch 差距的一套：$\pi_{0.5}$ 从零训练到预训练提升 8.5%→29.5% SR（+21.0），$\pi_0$ 提升 +13.2，XVLA 提升 +9.0；LIBERO 已接近饱和，RoboTwin 2.0 Hard 的 from-scratch 结果甚至可超过预训练 baseline。

5.4 Generalization

【Paper】 Background / Instruction 的 Test SR 约为 27–35%，Object swap 降至 21–29%，三者混合的 Mix 最难（18–23%）。训练动态上，$\pi_{0.5}$ 的 Val-Train 与 Test 曲线最同步；XVLA 在中间 checkpoint 非单调；InternVLA-A1 到 200K 时拟合最强但保留率仍只有 0.83。

6. 方法分析

6.1 为什么有效？

【Analysis】 EBench 有效的原因不是任务数量本身，而是把“能力标签”和“受控扰动”绑定到同一资产协议：模型失败后，可以区分是高精度控制、长时程信用分配、物体物理变化还是语言改写导致的。

6.2 核心创新

【Paper】 三种操作 regime 的统一动作空间。
【Paper】 五轴 capability taxonomy 与连续 progress metric。
【Paper】 资产级隔离和四轴 OOD 诊断。
【Code】 开源 server/client/analysis 工具把 benchmark 变成可重复运行的评测基础设施。

6.3 与已有方法的本质区别

【Analysis】 传统 suite 优化“一个平均分”，EBench 优化“可解释的误差分解”。它不是提出新的 Policy，而是改变 policy 比较和迭代的观测量。

6.4 关键假设

【Paper】 任务标签能代表关键能力，且模拟中的受控资产变化可近似部署中的分布偏移。【Analysis】 这两个假设若不成立，五轴分数可能只是 benchmark-specific correlation，而非真实机器人能力。

7. 局限性

7.1 作者明确提出的局限

【Paper】 EBench 完全在仿真中运行，作者不声称分数可直接预测真实机器人表现；26 个任务对 9 类场景仍较稀疏，场景级排名应谨慎解读，未来计划扩展到 50 个以上任务。

7.2 自己分析得到的局限

【Analysis】 运动规划生成的 19 类轨迹与遥操作的 7 类轨迹在动作分布上并不对称；三路固定视角也未覆盖遮挡、光照和传感器失效。另一个风险是把多个 atomic skill 叠加成 long-horizon 后，失败归因仍可能混合，最好配合逐子目标日志。

8. 启发与研究思考

【Analysis】 EBench 给 VLA 训练带来三个直接方向：

用 capability profile 做 targeted data collection，而不是平均增加所有任务数据。
对 Object / Mix 轴做显式物理增强，避免只提升背景和语言鲁棒性。
根据 profile 做 mixture-of-experts 或 capability-aware routing，让移动规划与灵巧接触控制共享视觉语言骨干、使用专门 action head。

更重要的是，未来报告模型时应同时给出“绝对成功率 + 分布迁移保留率 + 能力向量”。只有这样，benchmark 才能回答部署前真正关心的问题：模型到底会什么，以及换一个场景后还会不会。

DreamControl-v2 论文精读：让人形机器人在自身空间里“做梦”

Thu, 27 Aug 2026 00:00:00 GMT

1. 论文概述

【Paper】 DreamControl-v2 研究的是一个很具体却很棘手的问题：如何让人形机器人自主完成“下蹲捡取、打开抽屉、倒水、擦拭、出拳”等需要全身协调和环境接触的长时任务。作者延续 DreamControl 的两阶段思想：先用生成模型“梦”出参考动作，再让物理仿真中的 RL 策略学会跟踪这些动作，同时完成任务目标。

一句话总结

【Analysis】 这篇论文最重要的设计转移是：不再生成“人的动作再适配机器人”，而是先把人体动作离线重定向到目标机器人，再在机器人自己的运动空间训练可控扩散模型。这样，空间约束、数据分布和后续 RL 使用的轨迹处在同一个坐标系里。

核心贡献

【Paper】

汇集 AMASS/HumanML3D、GRAB、Nymeria，以及经过物理优化的 OmniRetarget 轨迹，构建统一的 G1 robot-space 数据集。
在 G1 轨迹上训练带 text 与 spatio-temporal control 的 OmniControl 风格 guided diffusion prior。
将自动可行性过滤放入参考轨迹生成流程，减少原 DreamControl 中的任务专用 IK、人工筛选和试错式 prompt calibration。
通过扩散轨迹数量、数据混合和 MDM 初始化的消融，展示先验规模对下游 RL 的影响，并在仿真及真实 Unitree-G1 上验证 8 项技能。

2. 背景与相关工作

【Paper】 直接在 RL 中学习复杂人形操作会遇到长时域探索、接触动力学和稀疏任务奖励。DreamControl 的做法是使用 OmniControl 这类人体动作扩散模型生成“像人一样”的轨迹，再把轨迹误差写入 RL 奖励，因此推理时策略不需要看到参考轨迹，仍可自主适应环境。

原流程的瓶颈在于 generate-then-retarget：先在人体空间满足手部约束，重定向到 G1 后末端位置可能偏离目标；工程上只能不断调整人体空间的 prompt，并人工删除失衡、脚滑或无法执行的样本。论文的核心假设是，若训练数据一开始就在 G1 空间，扩散模型便能直接回答“G1 的右腕在第 40 帧到达这个位置”。

3. 问题定义

【Paper】 给定文字指令 $p$、长度为 $N$ 的时空控制信号 $c\in\mathbb{R}^{N\times J\times3}$，模型生成 G1 轨迹 $T\in\mathbb{R}^{N\times D}$：

$$ T \sim P_\theta(T\mid p,c). $$

控制信号可以只约束一个关节的一两个关键帧，也可以同时约束双手和膝盖。轨迹随后经后处理变成 G1 的关节角 $q_t\in\mathbb{R}^{27}$、全局位姿 $T_t\in SE(3)$ 以及双手的开合命令。RL policy 的观测包含真实机器人本体感知和机器人根坐标系下的物体位姿；参考轨迹只出现在训练奖励中，部署时不作为观测输入。

4. 方法

4.1 Overall Architecture

四个阶段分别是：人体/机器人数据重定向到 G1、训练可控扩散先验、采样并过滤多条参考轨迹、在 IsaacLab 中用 PPO 训练全身控制策略。数据流是“文字 + G1 空间时空约束 → 扩散轨迹 → 可执行轨迹集合 → 物理 RL policy”。

4.2 核心模块

Robot-space 数据构建

【Paper】 对人体数据选择髋、膝、踝、肩、肘、腕等 12 个对应关键点，求解：

$$ (q_{robot},T_{robot})=\mathcal{F}{retarget}(\mathcal{P}{human}). $$

Pyroki/JAX 求解器最小化相对关节角、相对关键点、脚滑和尺度差异。Xsens 格式的 Nymeria 先通过带置信度权重的 SMPL 拟合转换；随后所有轨迹重采样到 20 FPS、裁剪/补齐到 10 秒，并把根朝向 canonicalize 到 Z+。PHC 风格过滤会去掉跑步机跑步等缺少环境语境的动作；Nymeria 还用关键词和时间戳截取 drawer、cabinet 等交互片段。

G1 轨迹表示与扩散模型

每帧使用 263 维表示：根角速度 1 维、平面速度 2 维、根高度 1 维、22 个关节的位置/速度/6D 旋转，以及 4 维足部接触特征。该表示沿用 HumanML3D/MDM 的 canonicalized SMPL 结构，因此可以从 MDM 权重初始化 OmniControl 风格 Transformer。

【Paper】 realism-guidance block 是一个零初始化的 Transformer 副本，输入文字与约束并调制主干特征；采样时再结合 classifier-free guidance 和关键点空间梯度，把轨迹推向指定位置。与 ControlNet 的直觉相同，零初始化使训练初期不会破坏原有运动先验。

后处理、过滤与 RL

采样的 263 维轨迹经 $\mathcal{F}{post}$ 恢复到 27 个 G1 关节角和全局位姿。自动过滤检查手-物体距离、根高度、脚部稳定性、障碍物碰撞和抓取时腕部朝向。保留下来的多条轨迹组成 ${\hat\tau_i}{i=1}^\kappa$，RL 以轨迹跟踪奖励与任务完成奖励联合训练。动作空间是 27 个目标关节角加左右 Inspire 手的二值开合命令；腰部 roll/pitch 锁定，仅允许 yaw。

4.3 关键公式

Retargeting

$$ q_{robot},T_{robot}=\mathcal{F}{retarget}(\mathcal{P}{human}) $$

$\mathcal{P}_{human}$ 是人体关键点序列，输出是 G1 关节角与根部 SE(3) 位姿。【Analysis】 这一步把“人体数据很丰富”和“控制器只认 G1”之间的接口固定下来。

Xsens 到 SMPL

$$ \mathcal{P}{human}=\arg\min{\theta,T_{pose}}\left|\mathbf{w}\odot\big(\mathbf{x}{xsens}-\mathcal{F}{smpl}(\theta,T_{pose})\big)\right|_2^2. $$

其中 $\mathbf{w}$ 提高腕、膝、踝等可靠关节的权重，$\mathcal{F}_{smpl}$ 是可微前向运动学。

空间引导

$$ \mu_t\leftarrow\mu_t-\tau\nabla_{\mu}\mathcal{G}(\mu_t,\mathbf{c}), $$

$\mu_t$ 是当前去噪轨迹，$\mathcal{G}$ 是前向运动学得到的关键点与控制信号之间的 MSE，$\tau$ 控制引导步长。它使“右腕在第 $t_g$ 帧到达把手”成为采样过程中的可微约束。

4.4 Training

【Paper】 扩散模型使用 AdamW，学习率 $1\times10^{-5}$，从 MDM 预训练权重初始化；RL 在 IsaacLab/IsaacSim 中使用 PPO，约 8,912 个并行环境、2,000–5,000 次迭代。每个任务采样约 500 条参考轨迹，训练 8 个技能库策略。

4.5 Inference

【Paper】 推理时输入开放词汇文字和 G1 空间中的控制点，扩散模型直接生成候选轨迹；过滤器选出可行样本后，训练好的 policy 根据本体感知与物体相对位姿闭环输出动作。由于参考轨迹已经被蒸馏进奖励训练，部署阶段不必再运行扩散模型或调 prompt。

4.6 代码实现对照

【Code】 截至论文与项目主页公开信息，作者没有提供可访问的官方 GitHub 代码仓库或训练配置；项目页仅提供论文、视频和演示。因此本文不对具体 Python 文件、DataLoader 或 checkpoint 做代码级断言。可以复现的实现线索来自论文：Pyroki/JAX 负责重定向，OmniControl/MDM 负责扩散先验，IsaacLab + PPO 负责 RL。

5. 实验

5.1 Experimental Setup

三种扩散训练数据配置为 AMASS（21.8K）、AMASS + Nymeria（26.4K）和 Full-Mix（29.6K）；后者再加入 GRAB 与 OmniRetarget。扩散模型指标包括 FID、R-Precision、Diversity、Control L2 与 Skating Ratio；RL 指标为 100 个随机仿真环境上的 Success Ratio 和 Control Error。

5.2 Main Results

【Paper】 Full-Mix 的 FID 为 0.265、Control L2 为 0.066、Skating Ratio 为 0.096；在 8 个技能上，Success Ratio 分别为 Pick 0.99、Punch 0.99、Deep Squat & Pick 0.94、Drawer Open 0.96、Pour 0.92、Vertical Wipe 1.00、Deep Squat 0.99、Step & Punch 0.91。真实实验在 Unitree-G1 上展示了 Drawer Open、Deep Squat & Pick 和 Punch 等技能。

5.3 Ablation Study

【Paper】 数据规模扩大带来稳定收益：Full-Mix 在 Non-AMASS 测试集上的 FID 从 AMASS-only 的 2.720 降至 0.316，R-Precision Top-3 从 0.117 升至 0.264。增加采样轨迹数量时，3 个任务的 RL 成功率持续上升并趋于饱和，说明参考轨迹覆盖度直接影响策略对物体位置变化的泛化。

5.4 Generalization

在 AMASS 测试集上，Full-Mix 与 AMASS-only 表现接近（FID 0.320 vs. 0.328），没有明显损害旧域能力；在 Non-AMASS 测试集上则显著更好。【Analysis】 这支持“统一归一化 + 异构数据混合”可以扩展技能覆盖，而不是简单地用新数据覆盖旧分布。

Prompt calibration 的 FID/Control L2/有效轨迹率为 AMASS 2.010/0.180/8.0%、Full-Mix 3.260/0.260/4.0%；预重定向为 0.265/0.066/68.0%。从 MDM 初始化也优于随机初始化：FID 0.265 对 0.741，R@3 0.388 对 0.254。

6. 方法分析

6.1 为什么有效？

【Analysis】 预重定向同时解决了两个错位：几何错位（人体手到达的位置不等于 G1 手的位置）和分布错位（AMASS 动作不覆盖抽屉、倒水等机器人交互）。扩散先验负责提供多样、语义一致的候选，RL 则把这些候选转化为能处理动力学和扰动的闭环控制器。

6.2 核心创新

真正的创新不是重新发明 diffusion 或 PPO，而是把“数据统一、空间约束、自动过滤、RL 蒸馏”串成可扩展接口：任何新的人体/机器人数据先进入 G1 空间，任何任务通过文字和少量关键点约束取样，再由同一 RL 配方学习。

6.3 与已有方法的本质区别

DreamControl 需要先在人类空间生成，再 retarget，并通过试错调整 prompt；DreamControl-v2 在机器人空间训练和采样，约束在变换前后保持一致。与只做轨迹跟踪或 teleoperation 的方法相比，RL policy 在部署时不依赖外部参考轨迹。

6.4 关键假设

人体与 G1 存在足够稳定的 22 关节语义对应关系。
统一的 263 维表示能容纳 locomotion、抓取和接触动作。
任务特定的过滤器可以用几何阈值近似安全性与可行性。
扩散轨迹覆盖度足够高时，PPO 能从 tracking reward 中学到自主闭环行为。

7. 局限性

7.1 作者明确提出的局限

【Paper】 论文主要强调原 DreamControl 的可扩展性瓶颈，并未给出系统性的失败案例或安全性证明；真实部署展示在 Unitree-G1 和固定腰部自由度配置上，技能库规模为 8 项。

7.2 自己分析得到的局限

【Analysis】 预重定向把复杂度从推理期移到了数据工程期：Pyroki 求解、Xsens/SMPL 对齐、任务关键词切片和每任务过滤器仍需维护。263 维动作表示还依赖精确的 G1 标定，换机器人可能需要重新训练或至少重新适配。最后，成功率是在随机仿真环境中统计的，不能直接等价为开放世界中的安全可靠性。

8. 启发与研究思考

【Analysis】 这项工作给通用 humanoid policy 一个很实用的模块化方向：把“生成先验”当作数据引擎，而不是部署时必须运行的策略。后续值得追问三件事：第一，能否让过滤器由可学习的世界模型替代，减少手写 task heuristic；第二，能否在统一 robot-space 中加入视觉观测，让空间 prompt 从人工关键点走向场景理解；第三，轨迹数量的收益何时饱和，是否可以用主动采样把预算集中到高不确定性物体位姿。

DexUMI 论文精读：用人手作为通用灵巧操作接口

Thu, 27 Aug 2026 00:00:00 GMT

1. 论文概述

【Paper】《DexUMI: Using Human Hand as the Universal Manipulation Interface for Dexterous Manipulation》把 embodiment gap 拆成 action/kinematic gap 与 visual gap，分别用硬件和软件适配处理：外骨骼约束人手运动并记录编码器、腕姿态、视觉和触觉；离线流水线再把人手区域替换成目标机器人手。

一句话总结

【Analysis】 DexUMI 的关键不是训练更大的策略，而是让示教数据在采集时就“长得像”目标机器人：外骨骼提供可迁移动作，同位相机和同型触觉保持观测一致，最后再做机器人手视觉合成。

核心贡献

【Paper】

为目标机器人手优化可穿戴外骨骼，使指尖 workspace 匹配且保持可穿戴性。
集成关节编码器、iPhone ARKit、腕下 OAK-1 相机和触觉传感器，直接记录动作与观测。
用 SAM2、ProPainter 和动作回放构造机器人视角示教视频，并处理遮挡。
在欠驱动 Inspire Hand 和全驱动 XHand 的四类任务上达到约 86% 平均阶段成功率，采集吞吐量是传统 teleoperation 的 3.2 倍。

2. 背景与相关工作

【Paper】 灵巧手在自由度、连杆、驱动方式、接触面和传感器上差异很大。teleoperation 有空间视角错位且缺少直接触觉；视觉 hand retargeting 又受遮挡和指尖定位误差影响。DexUMI 反过来让人直接与物体交互，再把动作和图像转换到机器人域。

3. 问题定义

【Paper】 给定目标机器人手的运动学与传感器配置，构造外骨骼和数据处理函数，使示教分布与机器人执行分布接近。

输入：RGB 观测 (o_t)、腕部 6-DoF 位姿、外骨骼关节角和触觉 (f_t)。
输出：长度 (L=16) 的 UR5 相对末端动作与手部动作；Inspire 为 6-DoF，XHand 为 12-DoF。
执行：策略 10 Hz 预测，只执行前 8 步；UR5/Inspire/XHand 分别以 125/10/60 Hz 执行并线性插值。
机器人：12-DoF（6 主动 DoF）Inspire Hand 与 12-DoF 全驱动 XHand。

4. 方法

4.1 Overall Architecture

【Paper】 数据流为“外骨骼示教 → 时间对齐与动作映射 → 机器人手回放 → 人手分割/背景修复/机器人手合成 → DINO-V2 + tactile 的 Diffusion Policy”。部署时只保留机器人侧传感器。

4.2 核心模块

外骨骼机制与 workspace 优化

【Paper】 外骨骼参数 (mathbf p) 包括关节位置和连杆长度。目标是匹配指尖在 (SE(3)) 中的运动映射，并以参数边界保证佩戴性和拇指避碰。XHand 可从 URDF 初始化；Inspire 的闭环连杆先用动捕指尖轨迹，再用等 DoF 四连杆拟合。

传感器与动作映射

【Paper】 Alps 电阻式编码器测量主动关节，逐关节回归映射为机器人电机值；iPhone ARKit 追踪腕姿；OAK-1 150° DFoV 相机固定在手腕下方；XHand 使用磁式触觉阵列，Inspire 使用 FSR。
【Code】 标定脚本为 real_script/teleoperation/calibrate_inspire_mapping.py 和 calibrate_xhand_mapping.py。

软件适配

【Paper】 (1) SAM2 分割人手/外骨骼；(2) ProPainter 修复被删背景；(3) 回放同一组动作录制机器人手视频并再次分割；(4) 用两种 mask 的交集进行遮挡感知合成。

【Code】 对应 0_interpolation.py、1_replay_hand.py、3_segment.py、4_inpaint_exo.py、5_compose_video.py 和 6_generate_dataset.py，最终写出 Zarr 中的图像、pose、hand_action、proprioception 与 FSR。

Diffusion Policy

【Paper】 视觉经增强后的 DINO-V2，取 CLS token 与触觉、本体状态拼接，策略预测 16 步 action chunk。手动作可选 absolute 或 relative，腕部始终 relative。

4.3 关键公式

外骨骼优化目标为：

$$ \max_{\mathbf p};\mathcal S(\mathcal W_{\mathrm{exo}}^{\mathrm{tip}}(\mathbf p),\mathcal W_{\mathrm{robot}}^{\mathrm{tip}}) $$

其中指尖 workspace 是所有指尖位姿的集合，外骨骼参数包含关节位置和连杆长度。实现时两侧 workspace 采样并计算最近邻距离；一项鼓励覆盖机器人空间，另一项抑制不可达姿态。【Analysis】 这可看作带边界约束的对称 Chamfer-like workspace 距离。

扩散训练脚本对动作 (a) 加噪并预测噪声：

$$ \mathcal L=\mathbb E_{s,\epsilon}[\lVert\epsilon-\epsilon_\theta(a_s,s,o_t,f_t)\rVert_2^2] $$

其中 noisy action 是第 (s) 步的加噪动作，视觉与本体输入在 (o_t)，触觉输入为 (f_t)。【Code】 train_diffusion_policy.py 明确生成 timesteps、noisy_actions 并调用模型计算 loss。

4.4 Training

【Paper】 每任务训练 400 epochs；轨迹数为 Cube 310、Egg Carton 175、Tea 400、Kitchen 370 加 100 条 knob-only。Inspire/XHand 分别以 45/30 FPS 记录，按传感器延迟对齐、插值并下采样 3 倍。

【Code】 训练入口使用 Hydra、Accelerate 和可选 EMA；数据 batch 包含 camera_0、action、proprioception、fsr。优化器、noise scheduler 和 checkpoint 由配置实例化。

4.5 Inference

【Code】 eval_xhand.py 和 eval_inspire_hand.py 每 100 ms 采集观测并生成 16 步 chunk，只执行前 8 步。relative 手动作加到当前电机值；XHand 维护 virtual current motor position，减小外力造成的读数漂移。

4.6 代码实现对照

【Code】 官方仓库还包含 STM32 固件、FSR/编码器驱动、动作回放和完整数据生成脚本。视觉适配是离线脚本链，不是端到端生成模型；机器人手视频必须真实回放采集，这是复现时的硬件前置条件。

5. 实验

5.1 Experimental Setup

【Paper】 每任务评估 20 个 episode，并复用各方法的初始物体配置。Cube 测试精确抓取；Egg Carton 测试多指协同；Tea 要求用镊子夹茶叶；Kitchen 包含关火旋钮、搬锅、抓盐和撒盐。

5.2 Main Results

【Paper】 完整系统在 Inspire 的 Cube/Carton/Tea(tool、leaf) 上为 1.00/0.85/1.00/0.85；XHand Tea 为 1.00/0.85，Kitchen 的 knob/pan/salt 为 0.95/0.95/0.75。摘要报告平均成功率约 86%。

5.3 Ablation Study

【Paper】 去掉软件适配后，Raw/Mask 在 Inspire 上明显下降：Cube 从 1.00 变为 0.20/0.60，Carton 从 0.85 变为 0.05/0.10。absolute 手动作也更脆弱；Inspire Tea leaf 在带触觉时为 0.00，而 relative 为 0.85。触觉收益取决于任务，XHand 抓盐有明显帮助，但镊子任务受噪声和弱力信号影响。

5.4 Generalization

【Paper】 15 分钟采集实验显示，DexUMI 虽比裸手慢，但 collection throughput 是 teleoperation 的 3.2 倍；两种手型都能完成精细、接触丰富和长时序任务。

6. 方法分析

6.1 为什么有效？

【Analysis】 外骨骼把人类动作投影到机器人可达域；同位相机/同型触觉使输入语义一致；relative action 允许策略持续修正接触误差；视觉合成则消除训练时的人手外观。

6.2 核心创新

【Analysis】 真正的创新是 interface co-design：机制、传感器、数据生成和 action space 一起设计。单独 retargeting 或 inpainting 都不能同时保证接触动力学和遮挡一致。

6.3 与已有方法的本质区别

【Paper】 teleoperation 传递远程控制，DexUMI 让人直接操作物体再离线转换；视觉 retargeting 依赖指尖追踪，DexUMI 读取编码器和触觉；普通 imitation learning 不处理 embodiment gap，而 DexUMI 先在数据层处理它。

6.4 关键假设

【Analysis】 方法假设指尖 workspace 足以代表主要接触几何、腕下相机能固定、机器人手形状可由动作回放得到。移动相机、掌面接触主导或软物体任务会削弱这些假设。

7. 局限性

7.1 作者明确提出的局限

【Paper】 每种机器人手仍需单独优化外骨骼；当前只匹配指尖 workspace。3D 打印变形会让编码器失真，FSR 对安装敏感，XHand 触觉高压后会漂移。视觉流水线依赖真实机器人手回放，inpainting 可能模糊且要求相机刚性安装。

7.2 自己分析得到的局限

【Analysis】 86% 平均成功率来自每任务 20 次、有限初始状态，尚不足以证明跨物体、跨操作者和跨相机泛化。每条示教都要占用目标手回放，数据生成吞吐量也受硬件数量限制；SAM2 固定 prompt 在不同背景下可能失效。

8. 启发与研究思考

【Analysis】 对 VLA/模仿学习而言，扩大模型前应先检查训练与部署的 observation/action 是否等价。未来可把 workspace 优化扩展到接触 patch 和力闭环，用动作条件生成模型替代真实手回放，并学习对相机位姿变化不敏感的视觉表征。

BeyondMimic 论文精读：从动作跟踪到可组合的人形机器人控制

Thu, 27 Aug 2026 00:00:00 GMT

1. 论文概述

论文名称：《BeyondMimic: From Motion Tracking to Versatile Humanoid Control via Guided Diffusion》
作者：Qiayuan Liao、Takara E. Truong、Xiaoyu Huang、Yuman Gao、Guy Tevet、Koushil Sreenath、C. Karen Liu
机构：UC Berkeley、Stanford University
论文链接：arXiv
代码：HybridRobotics/whole_body_tracking
项目主页：BeyondMimic

一句话总结

【Paper】 BeyondMimic 把“学会动作”和“完成任务”拆成互补的两阶段：第一阶段用紧凑、与动作无关的 RL 配方跟踪大量人类动作；第二阶段把这些策略滚动出的状态–动作轨迹压到 VAE 潜空间，用 guided diffusion 在部署时对未来状态施加新目标，因而无需为每个任务重新训练。

核心贡献

【Paper】

用相同 MDP、奖励、随机化和超参数训练不同动作，约 2.5 小时人类动作在仿真中全部验证，并将 30 段（约 15 分钟）部署到真实 Unitree G1。
通过相对身体位姿、低阻抗 PD setpoint、三项正则和自适应采样，兼顾敏捷性、自然性与 sim-to-real 稳定性。
提出状态–动作 co-diffusion：VAE 提供平滑动作潜变量，扩散模型同时预测短时域状态和潜变量，允许在推理时加入任意可微任务代价。
在未见过的速度/航点控制、关键帧 inpainting、障碍物绕行和任务切换上实现零样本组合，并在真实机器人上展示。

2. 背景与相关工作

【Paper】 传统模型式人形控制把 CoM、接触和足端规划交给低频规划器，再由高频控制器跟踪；简化动力学容易产生僵硬、屈膝和缺乏手臂协调的动作。DeepMimic 类方法能复现高动态动作，却通常“一动作一套调参”；AMP 学到的是风格先验，但策略仍然绑定具体任务。VAE 多技能策略虽然可组合，却依赖训练时显式目标，对障碍规避等隐式目标泛化较差。

【Analysis】 BeyondMimic 的切入点不是把所有任务标签收集齐，而是让“可行且像人的轨迹分布”成为先验，再在测试时优化任务代价。这样，规划和控制共享同一个短时域生成器，避免独立 planner 与 tracker 的分布错位。

3. 问题定义

【Paper】

输入（跟踪策略）：运动相位 $oldsymbol\psi$、anchor 位姿误差、IMU twist、相对默认姿态的关节位置、关节速度和上一动作；不使用时间堆叠。
输出：归一化关节位置 setpoint $mathbf a$，经 $oldsymbol\theta^{sp}=\boldsymbol\theta^0+\boldsymbol\alpha\odot\mathbf a$ 送入低层位置 PD，产生关节力矩。
跟踪目标：参考动作经前向运动学得到各目标身体的位姿与 twist；非 anchor 身体在 yaw 对齐、保持高度的 anchor-centered 坐标中比较，以容忍全局漂移。
数据与 embodiment：重定向的人类动作（LAFAN1 及补充动作集），Unitree G1 人形机器人；训练在 Isaac Lab 仿真，部署在真实硬件。
扩散阶段输入/输出：过去 $N$ 步、当前步和未来 $H$ 步的状态–潜变量轨迹；每次解码当前潜变量，输出最新的关节 setpoint。

4. 方法

4.1 Overall Architecture

数据流可以概括为：参考动作 → RL motion tracker → 滚动得到 state/action → VAE 将动作变成 latent → state–latent diffusion 预测短轨迹 → classifier guidance 修改未来状态 → VAE decoder 解码当前 latent 为关节 setpoint。

4.2 核心模块

统一的 RL Motion Tracking

输入/输出：输入为参考相位和机器人本体感知，输出为每关节 setpoint。
相对身体目标：跟踪位置、方向、线速度和角速度；anchor 保留最小的全局位置/方向误差用于平衡。
奖励：统一 task reward 加三项正则——软关节限位、动作变化率和非末端身体自碰撞惩罚。
随机化：仅随机地面摩擦/恢复系数、默认关节偏置、躯干质心，并周期性施加速度扰动。
自适应采样：根据片段失败率提高困难片段采样概率，学会后再回到近似均匀分布。

【Code】 tracking_env_cfg.py 以 Isaac Lab manager 配置 MDP；mdp/commands.py 计算相位、anchor 和身体误差，rewards.py 实现指数型跟踪奖励，events.py 实现三类随机化，scripts/rsl_rl/train.py 调用 PPO 训练。代码仓库覆盖动作跟踪训练；部署控制器位于另一个 motion_tracking_controller 仓库。

VAE 动作表示

输入：参考相位 $oldsymbol\psi$ 与 anchor 误差。
输出：动作潜变量 $mathbf z$；decoder 还读取重力投影、IMU twist、关节状态和上一动作，重建 $hat{\mathbf a}$。
作用：把尖锐、不规则的 PD setpoint 转成平滑、低维且带动作意图的表示，减轻扩散直接拟合力矩尖峰的不稳定。

State–Latent Diffusion

输入：混合 character/yaw-centric 参数化的状态序列与 latent 序列，并为每个 state/latent 位置独立采样噪声步。
输出：未来短时域的状态–latent 轨迹；当前 latent 经 decoder 变成动作。
作用：状态预测提供动作影响未来的因果线索，因此任务代价可以直接写在未来状态上，不需要额外的高维 forward dynamics model。

Classifier Guidance

把任务写成可微代价 $G(\tau)$，在每次反向去噪时加入 $-\nabla_\tau G$，就能把无条件的人类动作先验偏向航点、速度、关键帧或 SDF 障碍物约束。推理过程中不更新网络参数。

4.3 关键公式

Motion-tracking reward

$$ r=\sum_{s\in{p,R,v,\omega}}\exp\left(-\frac{\bar e_s}{\sigma_s^2}\right)-\lambda_l r_{limit}-\lambda_s r_{smooth}-\lambda_c r_{contact} $$

【Paper】 $ar e_s$ 是所有目标身体在位置、方向、线速度或角速度上的平均平方误差，$\sigma_s$ 是尺度；三个 $\lambda$ 控制硬件安全、平滑性和自碰撞。指数形式让小误差区域的改进仍有梯度，同时不同动作共享同一奖励尺度。

VAE 与 diffusion objective

$$ \mathcal L_{VAE}=\mathbb E[|\hat{\mathbf a}-\mathbf a|^2]+\beta D_{KL}(q_\mathcal E(\mathbf z|\boldsymbol\psi,\mathbf e_{anchor})|\mathcal N(0,I)) $$

$$ \mathcal L_{Diffusion}=\mathbb E\left[|z_\phi(\tau^{\mathbf k},\mathbf k)-\tau|^2\right] $$

其中 $\tau$ 是 state–latent 轨迹，$\mathbf k$ 为每个位置独立的去噪步。第一式约束 latent 可解码为动作，第二式学习轨迹数据的 score/去噪场。

Guidance

$$ \nabla_\tau\log p(\tau|\tau^*)=\nabla_\tau\log p(\tau)-\nabla_\tau G(\tau) $$

【Analysis】 这解释了“训练任务无关、推理目标可变”：扩散模型提供行为先验梯度，代价梯度只负责在该先验附近选择满足当前任务的模式。

4.4 Training

【Paper】 阶段一用 PPO 在 Isaac Lab 中训练 motion tracker；阶段二先用 tracker rollout 收集 state/action，再以 DAgger 训练条件 VAE，最后对 state–latent 轨迹做自监督 DDPM 训练。训练数据不含任务标签，所有策略使用共享配方。作者强调 C++ 低延迟执行、精确同步和厂家动力学参数是迁移关键。

4.5 Inference

【Paper】 每个控制周期从当前本体状态构造历史窗口，以高斯噪声初始化 state–latent 未来轨迹；反向去噪时对任务代价求梯度并加入 guidance。当前 latent 用最新观测交给 VAE decoder，解码成关节 setpoint，PD 控制器执行后滚动窗口继续预测。

4.6 代码实现对照

【Code】 官方仓库明确覆盖 motion tracking：scripts/csv_to_npz.py 完成动作预处理，replay_npz.py 回放，scripts/rsl_rl/train.py/play.py 训练和评估；tracking_env_cfg.py 给出 G1 的观测、动作、奖励、事件和终止配置。README 建议用 Isaac Lab 2.1.0、Isaac Sim 4.5.0、Python 3.10，并通过 WandB registry 管理动作。扩散控制器和 C++ 部署代码不在该仓库中，论文中的第二阶段需结合项目发布的其他组件理解。

5. 实验

5.1 Experimental Setup

【Paper】 训练约 2.5 小时动作，仿真中验证全部片段；挑选 30 段、总计 15 分钟部署到 G1。评估覆盖静态平衡、跳跃/踢腿/空翻、舞蹈和步行跑步，并在室外软土、落叶和不平地面测试。自然性用户研究招募 $N=77$，将 BeyondMimic 与 Unitree 原生控制器进行 20 组 5 秒片段二选一。

5.2 Main Results

【Paper】

空中侧翻峰值加速度约 $31,m/s^2$，骨盆角速度最高约 $20,rad/s$（平均 $7.01,rad/s$），并能连续完成接触丰富的动作。
用户整体偏好 BeyondMimic 的自然性为 70.8% 对 29.2%（$p<.001$）；步行 57.0%，跑步 84.7%。
速度控制仿真误差：步行 12.14%，跑步 13.65%；真实机器人可连续跑过 50 m，并能在被扶住后暂停、稳定、恢复。
同一低速命令可产生步行或慢跑等多模态步态，并自然完成步行到跑步的切换。

5.3 Ablation Study

【Paper】 Rot6D 比 quaternion/axis-angle 更利于 sim-to-real；注入 2 ms 延迟已增加速度误差，5 ms 出现失败，10 ms 在三次中失败两次。移除自适应采样后，四个动作中的三个在 30k iteration 仍有困难片段失败；潜空间扩散的 cartwheel 仿真成功率从无 latent 的 5% 提升到 95%。

5.4 Generalization

【Paper】 推理时可组合航点代价与 SDF 障碍规避代价，绕开障碍后到达目标；也可把 joystick 速度跟踪替换为航点目标，或在走路、跑步和连续空翻之间切换。关键帧每 0.2 s 注入一次时，模型能把稀疏姿态补成连续的 cartwheel，并回到命令控制的步行。

6. 方法分析

6.1 为什么有效？

【Analysis】 第一阶段把复杂的“像人”偏好隐式装进动作数据，同时用相对身体坐标释放无害的全局漂移；第二阶段不直接扩散尖锐 PD action，而是在平滑 latent 上建模，并让 decoder 使用最新 proprioception 修正细节。扩散先验因此负责“选一个可行的人类动作模式”，guidance 只需施加小的任务偏置。

6.2 核心创新

【Paper】 真正的创新是把共享配方的 scalable motion tracking 与 state–action latent diffusion 连接起来：前者提供大量可迁移技能，后者把技能变成可在测试时优化的短轨迹分布。

6.3 与已有方法的本质区别

【Analysis】 DeepMimic/AMP 的任务目标在训练时决定策略；层级方法把 planner 和 controller 分开；目标条件 VAE 需要预先枚举条件。BeyondMimic 则把任务代价延迟到去噪过程，因而可以组合训练集没有出现过的目标。

6.4 关键假设

人类动作数据覆盖足够多的“原子技能”，新任务能在其邻域内被组合。
任务代价对短时域状态轨迹可微，且 guidance 不会把样本推离可行动作流形。
真实系统状态估计、执行延迟和动力学误差足够小；否则扩散预测的优势会被闭环延迟吞没。

7. 局限性

7.1 作者明确提出的局限

【Paper】 扩散控制依赖状态估计质量；当前预测时域约 0.64 s，难以处理需要提前规划的远距离目标。历史窗口有助于稳定预测，却可能让模型陷入重复运动；提高 guidance weight 又会在模式切换和高方差状态下 destabilize。细粒度目标仍需轻量 guidance 调参，起步和收尾阶段更容易绊倒。

7.2 自己分析得到的局限

【Analysis】 代码仓库只公开动作跟踪训练，完整扩散训练和实时部署复现实验的门槛仍高（Isaac Lab、WandB 动作注册、机器人描述文件和硬件同步均不可省略）。此外，依赖重定向质量和 G1 的特定关节/执行器建模，换 embodiment 时“共享超参数无需调参”的范围需要重新验证。

8. 启发与研究思考

【Analysis】

“先学会可行分布，再在推理时优化目标”可能是人形机器人从模仿走向通用控制的一条更稳健路径。
相对坐标、低阻抗和严格低延迟这些工程选择并非附属项，而是决定高动态 sim-to-real 能否成立的算法组成部分。
后续研究可把 0.64 s 局部预测与高层世界模型结合，或学习自适应 guidance / 状态估计器，降低切换瞬态和手工权重调节。

A1 论文精读：Fully Transparent、Adaptive、Efficient 的 Truncated VLA

Thu, 27 Aug 2026 00:00:00 GMT

1. 论文概述

【Paper】 A1 面向一个很实际的部署矛盾：VLA 的大 VLM backbone 提供了泛化能力，但 7B 级模型和需要 10–20 次 denoising 的 diffusion/flow action head 很难在普通硬件上实时运行。论文提出一个完整开源的 VLA stack，并把“省算力”定义为端到端问题，而不是只压缩语言模型。

论文链接：arXiv:2604.05672　代码：ATeam-Research/A1　项目页：A1

一句话总结

【Analysis】 A1 的关键不是发明一个更大的 policy，而是把每个控制时刻的计算预算变成可调旋钮：动作在浅层已经稳定时立即退出；若使用 Flow Matching，则把上一层的 action chunk 当作下一层的初值，避免每层重新从随机噪声开始。

核心贡献

【Paper】

联合加速两个瓶颈：用 action-consistency early exit 减少 VLM 层数，用 Inter-Layer Truncated Flow Matching 减少每层 denoising 次数。
共享 action head 的多出口训练：训练时对随机层或所有层的动作同时监督，推理时可以在中间层直接接 action head。
跨 embodiment 预训练：混合 DROID、AgiBot、RoboCOIN、RoboMind、GM-100、RoboChallenge，以及 15,951 条自采轨迹。
完整开源：论文承诺公开权重、训练与推理代码、数据处理脚本/清单和评测协议。
性能与效率并重：LIBERO 平均 96.6%、VLABench 平均 53.5%、RoboChallenge 29.00%；Flow Matching episode latency 最多下降 72.3%，MLP 版本 backbone 计算量最多下降 76.6%。

2. 背景与相关工作

【Paper】 典型 VLA 由两部分组成：VLM 将图像、语言和 proprioception 压成语义表示，action head 再把表示解码成连续动作。大 backbone 的问题是每个 token 都要经过全部层；Flow/Diffusion action head 的问题是一次动作还要重复多次 denoising。只优化其中一项，另一项就会成为新的瓶颈。

A1 依赖三个经验观察：

Trajectory convergence：Flow Matching 轨迹通常在少于三步时已经靠近正确 mode，后续步骤主要做精修。
Action redundancy：相邻控制时刻的 action chunk 大多平滑，不需要每次都做同等强度的更新。
Layer-wise coupling：中间 VLM hidden state 已包含足够的空间与视觉特征，可以先产生一个可用动作。

【Analysis】 DeeR-VLA 也使用 dynamic early exit，但 A1 的边界更宽：它把 action head 的迭代开销纳入同一个预算控制器，并且保留一个共享 head，而不是为每个出口各自维护完整 head。

3. 问题定义

【Paper】 在时刻 $t$，观测为多相机图像、语言指令和机器人状态：

$$o_t=[I^1_t,ldots,I^n_t,q_t],$$

其中 $q_t$ 包含关节角、夹爪位姿等 proprioceptive state。策略输出长度为 $H$、动作维度为 $D$ 的 chunk：

$$A_t=[a_t,a_{t+1},ldots,a_{t+H-1}]in\mathbb{R}^{H\times D}.$$

论文同时实现两种 head：A1-MLP 用 L1 回归直接预测 chunk；A1-FM 学习条件 vector field，生成多模态连续动作。

| 要素 | A1 设定 | | ------------ | ------------------------------------------------------------- | | Observation | 多视角 RGB、语言、proprioception（具体相机随数据集而变） | | VLM | Molmo 初始化的 Vision-Language Model | | Action head | 400M 级 Qwen2 Flow Matching，或轻量 MLP | | Action chunk | 仿真配置通常为 10 步；预训练配置为 50 步，具体由 YAML 决定 | | Robot | ARX、Franka、UR5、AgiBot、OpenArm、Dobot 等多种 embodiment | | Benchmarks | LIBERO、VLABench、LIBERO-Plus、RoboChallenge 与真实机器人任务 |

【Code】 configs/models/pretrain.yaml 将 fixed_action_dim 设为 32、num_actions_chunk 设为 50；LIBERO 配置则使用 10 步 chunk。代码因此支持论文表格之外的不同动作维度与 horizon，而不是把 7D/8-step 写死。

4. 方法

4.1 Overall Architecture

【Paper】 数据流是 image + language + state → VLM layer i → shared action head → action chunk。训练阶段让多个层都产生可监督动作；推理阶段逐层执行并比较相邻层的动作差异，满足阈值即退出。

4.2 核心模块

Molmo VLM backbone 与多出口

输入：多相机图像、语言 token、state token。
输出：每个候选层的 prefix KV cache 或 hidden state。
作用：提供视觉语义和 implicit affordance prior。
为什么需要：A1 的目标不是把 VLM 换成小模型，而是让强 VLM 只计算到“已经足够”的深度。

【Code】 AffordVLAEarlyExit 继承 Molmo。模型 forward 返回 exit_layer 与 exit_action；候选层的 KV cache 会传入 Flow Matching head。a1/model.py 中主干层数由配置决定，因而出口集合可以按实验设置取每两层一个出口。

MLP action head

输入：指定层的 action-token hidden states。
输出：连续 action chunk。
作用：并行回归动作，计算量相对 VLM 可忽略。
训练：对中间层动作施加 L1 loss。

它适合作为“只加速 backbone”的基线：由于 head 很小，即使每层都调用一次，也不会像 FM head 那样把节省的 VLM 计算重新花掉。

Flow Matching action head

输入：主 VLM 的 prefix KV、当前 proprioception、噪声动作 $x_t$ 和时间 $t$。
中间模块：state/action/time projection → Qwen2 decoder-only expert → MLPResNet vector-field head。
输出：$H\times D$ 的 vector field 或最终 action chunk。
作用：表达一对多的连续动作分布，并通过 KV-conditioned self-attention 读取 VLM 语义。

【Code】 FlowMatchingActionHead 默认使用约 896 hidden size 的 Qwen2 expert；其 predict_vector_field 支持 2D 或 4D attention mask。代码动态把 qwen2.model.config.num_hidden_layers 设成当前缓存层数，使同一个 expert 能配合不同深度的 VLM prefix。

Action-consistency threshold

相邻出口产生 $A_t^{(i-1)}$ 与 $A_t^{(i)}$ 后，使用 cosine similarity、L2 distance 或 mean absolute deviation 等指标计算差异。每层阈值不是手工拍脑袋设置，而是从训练集的 discrepancy 分布离线校准，并通过目标 exit distribution 控制平均计算量。

4.3 关键公式

Flow Matching 训练目标

【Paper】 采样噪声 $\epsilon\sim\mathcal N(0,I)$ 与 $\tau\in[0,1]$，构造：

$$A_t^\tau=\tau A_t+(1-\tau)\epsilon,$$

并回归条件 vector field：

$$\mathcal L_\tau(\theta)=\mathbb E\left[|v_\theta(A_t^\tau,o_t)-u(A_t^\tau\mid A_t)|_2^2\right],\quad u=\epsilon-A_t.$$

$v_\theta$ 是 action head 预测的速度场，$u$ 是连接噪声与真实动作的监督方向；论文使用偏向低噪声阶段的 Beta 分布采样时间。

Euler action integration

$$A_t^{\tau+\delta}=A_t^\tau+\delta v_\theta(A_t^\tau,o_t).$$

$\delta$ 是积分步长；标准推理中总步数为 10。【Code】 AffordVLAEarlyExit.predict_actions_flow_matching 从 $t=1$、dt=-1/steps 反向积分到 0，这与论文正文的时间方向写法相反，但和代码训练时的 $A^\tau=\tau\epsilon+(1-\tau)A$ 约定一致，实际含义都是从噪声走向动作。

Early exit criterion

$$\Delta_t^i=d\left(A_t^{(i)},A_t^{(i-1)}\right)<\eta_i.$$

$d$ 是动作差异度量，$\eta_i$ 是第 $i$ 个出口的阈值。训练集收集每层差异矩阵 $V\in\mathbb R^{K\times N}$，再根据目标概率 $p_k\propto\rho^k$ 对尚未分配的样本做 filtered quantile，从而得到互斥的出口比例。

Inter-Layer warm start

$$A_{t,0}^{(i+1)}=A_{t,1}^{(i)}.$$

右侧是上一层经过截断 denoising 的结果。它把“每层重新采样”的 FM 变成跨层传播的 refinement，既减少步数，也让浅层输出更接近下一层的稳定 mode。

4.4 Training

【Paper】 训练分为两阶段：先用公开与自采多机器人轨迹预训练，再针对具体 robot/task fine-tune。数据统一为同步的 $(o_t,s_t,\ell,a_t)$ episode，过滤缺帧、时间戳异常、极端 outlier、长时间静止段，并做 dataset-level 与 embodiment-level balanced sampling。图像使用 sharpening、random erasing；state 使用随机维度 zero-out。

优化时冻结 ViT；VLM 学习率为 $5\times10^{-5}$，action head 为 $5\times10^{-4}$，前 1,000 步 warm-up，随后 cosine annealing。【Code】 训练入口是 a1/train.py 与 launch_scripts/train_vla.py，具体数据混合和模型类型由 configs/experiments/*.yaml、configs/datasets/*.yaml 注入，而非写死在脚本中。

4.5 Inference

【Paper】 推理时从浅层开始逐层计算。MLP head 在每层快速得到 action；FM head 则每层只执行 $\delta$ 次截断 denoising，并用上一层输出 warm-start。若差异小于阈值，立即返回当前 chunk，否则继续到下一出口；最后一层是必然退出的 fallback。

4.6 代码实现对照

| 论文概念 | 官方代码位置与行为 | | ----------------- | ------------------------------------------------------------------------------------------------------------- | | VLM + action head | a1/vla/affordvla.py；普通模型支持 l1_regression、diffusion、flow_matching | | Early-exit 模型 | a1/vla/affordvla_early_exit.py；forward 输出 exit_layer/exit_action | | Flow Matching | a1/vla/action_heads.py 的 FlowMatchingActionHead，Qwen2 expert 读取主干 KV | | 多层计算 | 通过 len(past_key_values) 动态设置 Qwen2 expert 的有效层数 | | Warm start | predict_actions_flow_matching(..., input_x=...) 接收上一层 action 作为初值 | | 数据管线 | a1/data/vla/ 下的 RLDS、LeRobot、RoboChallenge 等 builder 与 batch transform | | 评测入口 | eval_libero_exit.sh、robot_experiments/libero/eval_libero_exit_fm_truncated_anchor.py、eval_vlabench.sh |

【Analysis】 代码层面最重要的实现细节是 KV cache：中间层输出并不是重新编码成一个静态向量，而是直接作为 Qwen2 action expert 的 past keys/values。这让 action head 能看到与当前 VLM 深度一致的 prefix，同时避免重复计算已完成的主干层。

5. 实验

5.1 Experimental Setup

【Paper】 仿真包含 LIBERO 四个 suite（Spatial、Object、Goal、Long）和 VLABench 四类任务；真实实验覆盖 Franka、AgiBot、OpenArm、Dobot-Arm，并在 UR5 等平台收集训练数据。RoboChallenge 使用 Table30 的 30 个真实机器人任务，每项任务测试 10 次；LIBERO-Plus 用于 zero-shot distribution shift。

5.2 Main Results

【Paper】 主要结果如下：

| Benchmark | A1 结果 | 对比 | | --------------------- | ---------: | ------------------------------------------- | | LIBERO average | 96.6% | $\pi_0.5$ 96.9%，A1 在 Object 达 99.8% | | VLABench average | 53.5% | $\pi_0.5$ 49.5% | | Real-world mean | 56.7% | $\pi_0.5$ 47.5%，$\pi_0$ 40.8% | | RoboChallenge Table30 | 29.00% | $\pi_0$ 28.33%，X-VLA 21.33%，RDT-1B 15.00% | | LIBERO-Plus zero-shot | 75.3% | 高于 OpenVLA-OFT、$\pi_0$、$\pi_0$-FAST |

真实任务中，A1 在 AgiBot 的 pick glue 和 clean table 分别达到 80% 与 20%；fruit arrangement 只用 50 条样本仍达到 50%。这些结果说明多机器人预训练带来的并非单一轨迹记忆，而是一定程度的跨硬件迁移。

5.3 Ablation Study

【Paper】 A1-MLP 的 early exit 展现出清晰的 compute–accuracy 曲线：

| exit criterion $c$ | 计算量下降 | 平均成功率 | 推理时间 | | -----------------: | ---------: | ---------: | -------------: | | 1.0 | 15.6% | 96.6% | 20.6 s（上升） | | 0.7 | 39.1% | 96.3% | 16.5 s | | 0.4 | 58.5% | 94.0% | 6.8 s | | 0.1 | 76.6% | 92.3% | 5.6 s |

【Paper】 A1-FM 中，c=1.0, δ=2 且 warm-start 时，LIBERO 平均成功率为 96.4%，episode latency 从 37.8 s 降到 10.5 s（72.3%）；没有 warm-start 时同样 δ=2 仍需 27.5 s。单纯把每层 denoising 设为 10 步甚至会让 early exit 的时间升到 40.9 s，说明“减少 VLM 层数”并不自动等于端到端加速。

5.4 Generalization

【Paper】 在未见过的 LIBERO-Plus 上，标准 LIBERO 训练的 A1-FM 达到 75.3% 平均成功率（Spatial 86.6%、Object 80.0%、Goal 66.8%、Long 58.0%）。【Analysis】 这项实验把效率方法和表征泛化分开检验：A1 并不是只在熟悉布局里靠提前退出取得高分，而是保留了 Molmo 的跨场景视觉语义能力。

6. 方法分析

6.1 为什么有效？

【Analysis】 A1 同时利用了两种冗余。VLM 深层的表示变化在简单动作上很小，层间 action consistency 可以把这些“无效深度”跳过；Flow trajectory 在当前层已经接近正确 mode 时，下一层不必从噪声重新开始。前者减少 $L$，后者减少每层的 $\delta$，所以收益近似作用在端到端乘积上，而不是单独优化某个模块。

6.2 核心创新

【Paper】 真正的新组合是“共享多出口训练 + 训练集校准阈值 + 跨层截断 FM”。其中阈值校准把抽象的预算 $c$ 变成可执行的每层 quantile；warm-start 则避免 early-exit 把计算转移给 action head。

6.3 与已有方法的本质区别

与静态 pruning 不同：A1 对每个控制时刻动态选择深度。
与只做 VLM early exit 的方法不同：A1 同时控制 flow denoising。
与为每个出口复制 head 不同：A1 训练一个共享 action head，减少参数和维护成本。
与单纯减少 FM steps 不同：A1 还跨层复用上一层的 action state，因此少步数不会从随机初值开始。

6.4 关键假设

【Paper】 方法依赖中间层已经携带可用 affordance，以及相邻层的动作差异能预测“是否值得继续计算”。【Analysis】 这两个假设在训练分布外可能失效：动作可能看起来稳定但尚未完成接触细节，或者层间差异小却共同偏离目标。因此最终 fallback 和阈值校准不可省略。

7. 局限性

7.1 作者明确提出的局限

论文结论强调的是效率与开放性，没有单独列出完整的 limitation 清单。论文未明确说明不同 backbone、不同阈值指标在更广泛机器人上的失效边界，也未报告训练数据去重、各数据源规模占比对结果的独立贡献。

7.2 自己分析得到的局限

Early exit 可能增加 wall-clock 开销：MLP 的 c=1.0 和 FM 的 δ=10 已显示计算量下降但时间上升，真实收益依赖 kernel、KV cache 和通信实现。
阈值需要离线校准：换 robot、相机、动作归一化或任务分布后，原有 discrepancy quantile 未必仍对应目标 exit ratio。
跨层 action head 的训练成本更高：同时监督多层会增加 forward/head 调用；论文没有给出相对单出口训练的总训练时间和显存曲线。
Flow Matching 的时间约定存在文稿/代码差异：正文写作是 $0\rightarrow1$，代码以 $t=1$、负步长反向积分；复现时必须以 checkpoint 与实现的约定为准。
RoboChallenge 平均分仍有限：29.00% 虽超过若干开源基线，但距离闭源强基线还有明显差距，复杂长时序和接触任务仍是瓶颈。

8. 启发与研究思考

【Analysis】 A1 给出的重要研究视角是：VLA 的效率不应只用参数量或单次 FLOPs 衡量，而应问“这一次控制决策到底需要多少计算”。从这个视角可以继续探索：

用不确定性、接触事件或 value model 替代单一 action discrepancy，减少“稳定但错误”的早退；
让 exit budget 随任务阶段、剩余时间和能耗动态变化，而不是固定指数分布；
将 warm-start 从 FM action chunk 扩展到视觉 token、KV cache 或 latent world model；
把训练时的多出口监督与 real-time scheduler 联合优化，直接最小化 success–latency–energy 的 Pareto 前沿；
对每个 embodiment 学习可迁移的阈值校准器，避免换硬件后重新收集大规模 calibration set。

WSA1 论文精读：3D World-Spatial-Action Robot Control

Wed, 26 Aug 2026 00:00:00 GMT

1. 论文概述

【Paper】 《WSA1: a 3D-Centric World-Spatial-Action Model for Generalizable Robot Control》提出 World-Spatial-Action（WSA）范式。它不把机器人控制理解为“看图后直接回归动作”，而是要求模型同时回答三个问题：动作会怎样改变 3D 世界、目标 3D 状态应该在 2D 视觉上呈现什么样子、从这个 3D 状态变化反过来应该执行什么动作。

一句话总结

【Analysis】 WSA1 的真正卖点不是增加一个深度分支，而是把 forward dynamics（action → world）和 inverse dynamics（world → action）放进同一个可互相 attend 的 latent space；2D visual thinking 则充当语言目标与 3D 状态之间的语义桥梁。

核心贡献

【Paper】

提出 3D-Centric World-Spatial-Action Joint Modeling，联合学习 3D world prediction、3D-consistent 2D visual thinking 与 3D inverse dynamics。
构造带三个专家的 Mixture-of-Transformers（MoT）：2D Spatial Expert、3D Spatial Expert 和 3D Action Expert，并用双向 world–action attention 施加因果依赖。
将约 6,000 小时的 InternData-A1、RoboTwin、AgiBot-World、RoboChallenge 与 EgoDex 混合预训练，其中真实机器人数据约 1,000 小时，覆盖 8 种 embodiment、300+ 任务和 50+ 原子技能。
WSA1-B（3B）和 WSA1-L（6B）在 RoboTwin2.0 hard 上分别达到 92.7% 与 93.1% SR；在 7 个真实桌面任务上达到 77.5%/80.3% SR，超过论文对比的 π0.5。

2. 背景与相关工作

【Paper】 现有 Robot Foundation Model 大致分成两条路线：

2D-centric VLA：以 π0.5、OpenVLA 等为代表，从语言、图像和 proprioception 直接生成连续动作，优点是继承 VLM 的语义知识，但通常是 reactive policy。
2D/3D-centric WAM：先预测未来视频或几何，再由 action expert 执行，提供 imagine-then-execute 能力，但很多工作仍是单向的“预测后执行”。

论文认为两类方法共享两个瓶颈：第一，2D 视觉表示与真实物理交互的 3D 结构不匹配；第二，单纯 imitation learning 依赖大规模真实 teleoperation，成本高且数据只覆盖演示分布。WSA 的回答是：用 3D 因果先验提高每小时数据的信息密度，并用 simulation 与 human egocentric data 补足真实数据。

【Analysis】 因而 WSA 不只是“给 VLA 加深度图”。它改变的是策略的联合分布：从 $p(A\mid O)$ 变为同时约束 $p(G\mid A,O)$、$p(V\mid G,O)$ 与 $p(A\mid G,O)$ 的闭环模型。

3. 问题定义

【Paper】 在时刻 $t$，任务指令为 $l$，视觉观测为 $v_t$，机器人状态为 $s_t$，合并当前观测 $O_t={v_t,s_t,l}$。动作不是单步向量，而是长度为 $H$ 的 chunk：

$$ A_t=(a_{t+1},\ldots,a_{t+H}). $$

标准行为克隆目标是：

$$ \max_\theta;\mathbb{E}{(v_t,s_t,A_t,l)\sim D{dem}} \left[\log\pi_\theta(A_t\mid v_t,s_t,l)\right]. $$

WSA1 进一步引入未来 3D 世界状态 $G_t=(g_{t+1},\ldots,g_{t+K})$ 和未来子目标图像 $V_t=(v_{t+1},\ldots,v_{t+N})$，学习：

$$ p(G_t\mid A_t,O_t),\qquad p(V_t\mid G_t,O_t),\qquad p(A_t\mid G_t,O_t). $$

$p(G_t\mid A_t,O_t)$ 是 Action-Conditioned 3D World Model：预测动作造成的场景变化。
$p(V_t\mid G_t,O_t)$ 是 3D World-Aware Visual Thinking：把 3D 目标状态投影成可理解的 2D 子目标。
$p(A_t\mid G_t,O_t)$ 是 3D Inverse Dynamics：从期望的 3D 状态演化生成可执行动作。

【Code】 官方仓库的默认策略配置将 chunk_size 与 n_action_steps 设为 50（WSA-Base），推理时从 action chunk 队列逐步取出动作；WSA-Large 的 action_horizon、n_action_steps 由对应 checkpoint 配置决定。代码还支持 action normalization、proprioception 和多相机输入。

4. 方法

4.1 Overall Architecture

【Paper】 当前图像、语言和机器人状态先编码成 observation tokens，再送入共享的 MoT。2D Spatial Expert 产生视觉子目标 latent，3D Spatial Expert 产生未来 3D scene latent，3D Action Expert 对 noisy action chunk 做 flow-based denoising。数据流只有一条主线：Observation + Instruction → 2D/3D latent → action chunk，同时 3D latent 与 action token 双向交互。

4.2 核心模块

2D Spatial Expert：指令对齐的视觉思考

输入：$O_t$ 与目标 3D 世界 latent $G_t$。
输出：未来子目标图像的抽象 visual tokens $h_v$，而不是 RGB 像素。
作用：回答“完成 instruction 后场景在视觉上应该是什么样子”，保留物体语义、外观和时序变化。
训练信号：用预训练 VAE/Cosmos tokenizer 编码的子目标图像作为 target。

论文将这一支初始化为 Qwen3-VL 或 Wan2.2 风格的视觉生成 backbone。【Analysis】 预测 latent 而非像素让它更像“视觉计划”而不是昂贵的视频渲染器。

3D Spatial Expert：动作导致的世界预测

输入：当前观测 $O_t$ 与动作 chunk $A_t$。
输出：未来 3D 场景的 latent $h_g$。
作用：学习 forward dynamics，显式编码物体位姿、遮挡和接触变化等几何后果。
教师表示：论文使用 Depth Anything 等 3D foundation model 产生的几何 token。

3D Action Expert：3D inverse dynamics

输入：$O_t$、未来 3D scene latent 和加噪动作 $\hat A_t$。
输出：动作 flow field，经过迭代去噪得到完整 action chunk。
作用：把目标 3D 状态转成机器人末端位姿或关节控制，避免只从二维相关性猜动作。

Bidirectional World–Action Attention

【Paper】 依赖规则有三条：所有未来 token 可看当前 observation；visual token 可看 3D scene token，保证 2D–3D consistency；3D scene token 与 action token 彼此全连接，形成 world–action mutual constraints。【Analysis】 这一步是 WSA 与“先预测未来再单独执行”的 WAM 的本质差异：action-conditioned world model 和 inverse dynamics 共享信息，而不是两个串联模块。

4.3 关键公式

视觉思考损失

$$ \mathcal{L}{2D}=\mathbb{E}\left[|f{2D}(O_t,G_t)-f_{enc}(V_t)|_2^2\right]. $$

$f_{2D}$ 是 2D Spatial Expert，$f_{enc}$ 是冻结的图像 tokenizer，$V_t$ 是演示中的未来子目标图像。该损失让视觉计划与目标 3D 状态一致。

3D 世界预测损失

$$ \mathcal{L}{3D}=\mathbb{E}\left[|f{3D}(O_t,A_t)-f_g(G_t)|_2^2\right]. $$

$f_g$ 是预训练 3D teacher（例如 Depth Anything），$f_{3D}$ 要从动作和当前观测恢复未来几何。

Action flow matching

$$ \hat A_t=\tau A_t+(1-\tau)\omega,\qquad \omega\sim\mathcal{N}(0,I), $$

$$ \mathcal{L}{ACT}=\mathbb{E}\left[|\omega-A_t-f{act}(O_t,G_t,\hat A_t)|_2^2\right]. $$

其中 $f_{act}$ 预测从噪声到真实动作的 flow。总目标为：

$$ \mathcal{L}{total}=\mathcal{L}{2D}+\mathcal{L}{3D}+\mathcal{L}{ACT}. $$

【Code】 仓库的 WSA-Large training_loss 实际记录 loss_video、loss_action 和可选 loss_3d，并由 lambda_video、lambda_action、lambda_3d 加权。WSA-Base 的 3D 分支使用 query bottleneck 对齐 Depth Anything 中间层，代码中同时计算 cosine loss 与 layer-normalized MSE；这是比论文公式更具体的工程实现。

4.4 Training

【Paper】 训练分两阶段：第一阶段在异构数据上预训练行为与世界先验，第二阶段在目标 embodiment/benchmark 上 post-train。两阶段都保留三种 WSA 学习目标，而不是预训练完后只保留 action loss。

【Code】 WSA-Base 的 launch 脚本提供 wsa_base_pretrain.sh、RoboTwin/LIBERO/真实机器人 fine-tune；WSA-Large 对应 wsa_large_pretrain.sh 与 6B Wan2.2 backbone。README 记录训练使用 8 张 NVIDIA H200；推理示例则以 RTX 4090 为参考。

4.5 Inference

推理时不使用真实未来图像或 Depth Anything teacher。模型从当前 observation 和 instruction 生成视觉/3D latent，并对 action chunk 做有限步 diffusion/flow denoising，然后闭环执行前若干动作，再读取新观测。

【Code】 WSALargePolicy.predict_action_chunk 调用 model.infer_action，支持文本或预计算 context；select_action 将 chunk 放入 deque，逐步弹出单步动作。WSA-Base 默认 num_inference_steps=10，WSA-Large 的 joint inference 同时推进 video 与 action scheduler。【Analysis】 论文图中展示的 goal 3D scene 是推理时的内部计划；真实部署并不需要把 3D 点云显式输出给控制器。

4.6 代码实现对照

| 论文概念 | 官方代码位置 | 实际实现要点 | | --- | --- | --- | | WSA-Base policy | src/lerobot/policies/WSA_Base/modeling_wsa_base.py | Qwen3-VL-2B + action expert；支持 2D/3D query、Cosmos tokenizer 与 DA3 teacher。 | | WSA-Large policy | src/lerobot/policies/WSA_Large/modeling_wsa_large.py | Wan2.2-based model；推理入口为 infer_action，输出 action chunk 后做 denormalization。 | | MoT / experts | WSA_Base/modeling_wsa_base.py、WSA_Large/core/models/wan22/mot.py | 三路 expert 共享 token 流和依赖 mask；Large 变体由 WSALarge/WSALargeJoint 选择。 | | 3D target | WSA_Base/da3_teacher.py、WSA_Large/core/models/wan22/future_3d_expert.py | 训练时调用 Depth Anything 生成中间层 target，压缩为 future-3D query。 | | 数据与训练 | launch/wsa_*_pretrain.sh、src/lerobot/datasets | LeRobot v3 数据格式，多数据集采样和 action/state normalization。 | | 真实机器人推理 | evaluation/Real_Piper_Example、evaluation/Real_Lift2_Example | GPU policy server 与机器人 client 分离，通过同步/WebSocket 请求闭环执行。 |

5. 实验

5.1 Experimental Setup

【Paper】 真实实验使用单臂 AgileX PiPER（7-DoF、三相机）与双臂 ARX Lift2（两条 7-DoF 手臂、三相机），包含 RGB block sorting、object organization、trash cleaning、pen holder placement、toy box organization、sweep trash、unzip pencil bag 七项任务。仿真使用 RoboTwin2.0 50 个双臂任务和 LIBERO 四个 suite；RoboTwin hard 模式包含背景和 distractor 随机化。

【Code】 官方仓库提供 RoboTwin、LIBERO、PiPER 和 Lift2 的 inference README；真实机器人示例把模型服务端和机器人端拆开，便于将 checkpoint 接到自己的硬件。

5.2 Main Results

【Paper】 结果摘要如下：

| Benchmark | WSA1-B | WSA1-L | 对照观察 | | --- | ---: | ---: | --- | | RoboTwin2.0 hard（50 tasks） | 92.7% | 93.1% | 开源模型中最高，超过 Fast-WAM 91.8% 与 InternVLA-A1 89.6%。 | | LIBERO average | 97.4% | 98.2% | 接近或超过多数 VLA/WAM，Large 在 Spatial/Goal/10 suite 均强。 | | 真实 7-task SR | 77.5% | 80.3% | π0.5 为 54.9%，InternVLA-A1 为 39.2%。 | | 真实 7-task completeness | 82.7% | 86.5% | 说明即使未完全成功，动作执行进度也更高。 |

真实任务上，WSA-L 在 trash cleaning、sweep trash、unzip pencil bag 等需要多步空间规划和接触操作的任务上提升明显。【Analysis】 这与 3D world/action mutual constraints 的预期一致，但论文没有做“只增加参数量”的严格控制，因此不能把全部增益归因于 WSA 结构。

5.3 Ablation Study

【Paper】 在 RoboTwin2.0 上，action-only baseline SR 约 59.7%（另一处实验描述四舍五入为 60%）；加入 visual thinking 后约 76%，加入 3D world prediction 后约 75%，三者联合达到 80.14%。视频监督更擅长 appearance/语义和时序可见变化，3D 监督更擅长物体位姿、接触和几何约束。

预训练消融从约 80% 提升到 89%，在预训练和 post-training 两阶段都保留 WSA modeling 后达到约 93%。【Analysis】 这说明辅助目标不仅是“预训练正则项”：如果下游阶段移除 2D/3D 目标，模型会丢掉一部分可迁移的 world-action prior。

5.4 Generalization

【Paper】 泛化来自三个维度：

数据源泛化：simulation 提供大量低成本交互，human video 提供手物关系与任务语义，real robot data 缩小 sim-to-real gap。
空间泛化：随机物体位置、姿态、背景和 distractor，检验模型是否学习几何而非像素记忆。
embodiment 泛化：同一预训练策略迁移到 PiPER、Lift2 以及仿真双臂任务。

论文报告的 6,000 小时并非 6,000 小时真实机器人轨迹：表 1 中 InternData-A1 占 396M frames，AgiBot-World 占 206M frames，EgoDex 占 68M frames；真实机器人数据合计约 1,000 小时。【Analysis】 因此“数据高效”更准确的含义是减少昂贵 real-robot hours，而不是减少所有 embodied frames。

6. 方法分析

6.1 为什么有效？

【Analysis】 WSA1 可能有效有三层原因：

3D prediction 把“动作对场景的影响”变成可监督的中间变量，减少仅凭当前图像回归动作的歧义。
visual thinking 保留 VLA 的开放世界语义，使 3D geometry 不会变成与 instruction 脱节的几何重建。
3D scene token 与 action token 双向 attention，令 forward 和 inverse dynamics 共享可校验的状态表示；动作既要能解释未来世界，未来世界也要能支持动作生成。

6.2 核心创新

建模对象的创新：从 VLA/WAM 的单向联合分布转为 world–spatial–action 三元联合建模。
约束方式的创新：用 attention dependency rules 实现软因果归纳偏置，而不是额外串联一个规划器。
数据配方的创新：让 human、simulation、real 三种数据各自承担“任务意图、控制机制、现实校准”的角色。

6.3 与已有方法的本质区别

| 范式 | 主要联合对象 | 因果方向 | 主要缺口 | | --- | --- | --- | --- | | 2D VLA | 视觉/语言 → action | 单向 | 缺少预测和显式 3D dynamics。 | | 2D WAM | future video + action | 多为 2D 单向 | 视频变化未必对应物理几何变化。 | | 3D WAM | future 3D world + action | predict → execute | forward model 与 inverse model 未充分双向耦合。 | | WSA1 | 2D visual + 3D world + action | world ↔ action，visual 受 3D 约束 | 仍依赖 teacher 和大量异构数据。 |

6.4 关键假设

预训练 3D teacher 的 latent 足以表达 manipulation 所需的几何和接触信息。
未来子目标图像和未来 3D scene 可以被压缩成与动作共享的 latent，而不会丢失控制关键信息。
来自不同 robot、simulation 和 human video 的表示能够通过统一 observation/action schema 对齐。
action chunk 和有限步 denoising 的计算延迟仍适合闭环控制。

7. 局限性

7.1 作者明确提出的局限

论文结论主要强调可扩展与数据效率，【Paper】 没有单独列出完整的 limitation section，也没有报告长时记忆、失败恢复或 RoboChallenge2.0 训练代码。官方 README 的 TODO 仍包括 RoboChallenge2.0 workflow 和下一代 WSA1.5。

7.2 自己分析得到的局限

【Analysis】teacher 依赖：训练需要 Depth Anything/DA3 生成 3D target，teacher 的遮挡、尺度和跨相机误差可能被蒸馏进策略；代码中还要承担额外 teacher forward 成本。
【Analysis】因果性仍是结构归纳偏置：双向 attention 强制 token 互读，但并不等价于从干预数据中识别真实物理因果。论文没有做 action intervention 或 counterfactual world prediction 评测。
【Analysis】评测规模有限：真实实验只有 7 个桌面任务、每任务 30 个配置，尚不足以覆盖移动操作、柔性物体、工具使用和长时任务。
【Analysis】参数量与训练配方混杂：WSA-L 同时更大且 backbone 不同，WSA 与 baseline 的数据、训练步数和计算预算未完全严格匹配。
【Analysis】部署成本：Large 依赖 Wan2.2、text encoder 和 diffusion/flow scheduler；README 给出的训练需要 8×H200，实时性和显存门槛仍高。

8. 启发与研究思考

从“预测像素”转向“预测可控制状态”：world model 不一定要生成逼真的视频，能否预测与 action decoder 对齐的 3D latent 可能更实用。
把 forward/inverse consistency 变成数据筛选信号：若一个演示的 action 无法解释预测的 3D 变化，或 3D 目标无法反推出 action，可在预训练前识别噪声轨迹。
研究真实干预评测：未来应加入“执行动作 A/B 后场景如何不同”的 counterfactual benchmark，而不仅是最终 success rate。
更细的 embodiment factorization：将任务、几何、动力学和机器人本体拆成可组合 token，有望减少每换一台机器人就重新 fine-tune 的成本。
长时任务需要 memory：当前 WSA1 的 action chunk 仍是短期闭环。WSA1.5 README 已提出 memory capabilities，说明下一步自然方向是把 3D world state 从短期 goal 扩展为可检索的长期场景记忆。

Do World Action Models Generalize Better than VLAs? 论文精读

Wed, 26 Aug 2026 00:00:00 GMT

1. 论文概述

【Paper】 论文不提出一个新的 policy，而是回答一个很具体的问题：把视频生成 world model 改造成 World Action Model（WAM）之后，是否真的比典型 Vision-Language-Action（VLA）更能应对训练分布之外的视觉、语言和机器人状态？作者在单臂 LIBERO-Plus 与双臂 RoboTwin 2.0-Plus 上，统一测试公开 checkpoint，并把扰动拆成可复现的维度。

一句话总结

【Analysis】 WAM 的优势更像是“预训练时已经学过视频中的运动规律”，而不是“推理时多算几步就必然更强”：它们在噪声、光照、干扰物布局上经常领先，但在相机视角和初始关节状态改变时并不稳；$π_{0.5}$ 依靠更丰富的机器人与网页数据也能达到相近甚至更好的结果。

核心贡献

【Paper】

提出 RoboTwin 2.0-Plus：在 50 个双臂任务上沿 7 个维度、21 个子维度施加结构化扰动，并给出 1 个 clean baseline 加 7 个正交分支的评测协议。
将 WAM、经典 VLA 和混合方法（如 MOTUS、VLA-JEPA）放在 LIBERO-Plus 与 RoboTwin 2.0-Plus 上比较，而不是只报告单一干净测试集。
分析视频 backbone 的时空先验、task-specific 数据多样性、action 生成方式与 inference latency 各自对鲁棒性的影响。
给出可复用的 benchmark 代码与配置，官方仓库同时支持数据采集、扰动开关和策略评估。

【Paper】 论文最后的结论是有条件的：WAM 通常对视觉扰动更鲁棒，但不是所有扰动都受益；推理开销则是现实部署的主要障碍。

2. 背景与相关工作

【Paper】 典型 VLA 以 VLM 为 backbone，学习从当前历史状态 $h_t$ 到动作的条件分布：

$$ \pi(a_t\mid h_t). $$

VLM 的 next-token 或 action diffusion 训练擅长语义和空间 grounding，却未必显式预测“执行动作后画面会怎样”。当测试环境改变光照、背景、杂物或相机时，策略可能依赖训练集中的外观捷径。

【Paper】 WAM 则从视频生成模型出发。其视频 backbone 在互联网视频上学习时空变化，机器人微调阶段再让 latent 表示与动作关联。论文讨论的代表包括 Cosmos-Policy、GE-Act、LingBot-VA、Fast-WAM 和 DreamZero；MOTUS、VLA-JEPA 作为部分加入 world modeling 的混合路线单独分析。

【Analysis】 这里的对照不是“有 world model / 没有 world model”的二元实验。模型同时改变了 backbone、action representation、训练数据、是否做 embodied pre-training、扩散步数和 action chunk，因此论文更准确的定位是系统性 robustness study。它能发现设计的关联，但不能把所有差异归因于单一模块。

3. 问题定义

3.1 评测对象

【Paper】 对每个候选 policy，在相同任务和初始条件下执行 clean 与扰动分支，记录 episode success rate。论文主要关心四个问题：

| 问题 | 需要回答的证据 | | --- | --- | | RQ1：WAM 是否鲁棒？ | 两个 benchmark 的总体与分维度成功率 | | RQ2：优势是否普遍？ | camera、robot、language、light、background、noise、layout 的分项结果 | | RQ3：为何有差异？ | backbone 先验、训练数据与 action/world coupling 的对照 | | RQ4：代价是什么？ | 相同设备上的每次 inference wall-clock |

3.2 扰动与成功率

【Paper】 RoboTwin 2.0-Plus 覆盖 50 个 Aloha-AgileX 双臂任务。完整评测是每任务 8 个配置：clean，以及 Camera、Robot、Language、Light、Background、Noise、Layout 七个只激活一个维度的分支；每个配置运行 50 episodes。总体分数是各扰动分支的平均成功率，而不是只看 clean baseline。

【Analysis】 这种设计把“场景变了所以失败”和“策略本来就不会做任务”尽量分离：同一任务、同一模型、一次只打开一个开关。它仍然不是现实世界所有 shift 的分布，因为扰动幅度、组合方式和 simulator 物理都被预先规定。

3.3 WAM 与 VLA 的条件分解

【Paper】 论文用两种抽象描述差别。VLA 直接估计：

$$ \pi_\theta(a_t\mid h_t). $$

WAM 可能联合生成未来状态与动作：

$$ p_\phi(h_{t+1},a_t\mid h_t), $$

或先生成未来视觉状态、再由 inverse-dynamics model（IDM）解码动作：

$$ p_\phi(h_{t+1}\mid h_t),g_\psi(a_t\mid h_t,h_{t+1}). $$

有些方法（如 GigaWorld-Policy）采取相反的 action-first 因果方向。

【Analysis】 这不是声称两类 policy 在理论上不可互相表达；在有限数据、有限算力和不完美目标下，它们把学习难点放在不同位置：VLA 更依赖 embodied data 学动态，WAM 把一部分动态先验交给视频预训练，再学习 action 与未来状态之间的关系。

4. 方法

4.1 Overall Architecture

【Paper】 论文的方法主体是“benchmark + comparative protocol”：环境生成器从 clean episode 出发，只打开一个 YAML perturbation branch，候选 policy 读取被扰动的 observation 和 instruction，随后以 success rate 汇总。代码侧的核心数据流是 task_config/*.yml → RoboTwin task setup → render-time / scene-time perturbation → policy rollout → success check。

4.2 核心模块

七维扰动 taxonomy

【Paper】 七个维度与实际子维度如下：

| 维度 | 子维度 | 具体变化 | | --- | --- | --- | | Sensor Noise | N1–N5 | motion / Gaussian / zoom / fog / glass blur | | Light Conditions | L1–L4 | diffuse color、方向、specular、shadow | | Camera Viewpoints | C1–C3 | 距离、球面位置、yaw/pitch/roll | | Robot Initial States | 1 项 | 关节噪声与夹爪极端初值 | | Background Textures | B1–B2 | 场景主题、桌面材质 | | Objects Layout | O1–O2 | 干扰物数量、目标物位姿 | | Language Instructions | R1–R3 | 对话包裹、常识改写、目标状态描述 |

【Code】 官方仓库在 task_config/ 中把分支声明为 YAML。demo_vision_noise.yml 让每帧 RGB 以 1.0 probability 注入五类噪声；demo_light.yml 仅打开 lighting ablation；demo_camera.yml 默认启用 C1/C3、关闭 C2 以避免仿真不稳定；demo_language_plus.yml 组合 R1/R2/R3；demo_background_plus.yml 和 demo_objects_plus.yml 分别启用增强背景与目标位姿扰动。

LIBERO-Plus 与 RoboTwin 2.0-Plus

【Paper】 两套 benchmark 互补：LIBERO-Plus 是 MuJoCo/robosuite 上的单臂 Franka Panda，2 路 $256\times256$ 相机、7-dim delta EEF；RoboTwin 2.0-Plus 是 SAPIEN/ManiSkill3 上的 Aloha-AgileX 双臂，3 路 $320\times240$ 相机、14-dim joint position，控制频率约 25–30 Hz。

【Analysis】 如果某个模型在两者都稳定，证据比单一 simulator 更强；但两者 action space、camera 数量和训练 demo 数都不同，所以跨 benchmark 的绝对分数不能直接横向排序。

WAM 家族的设计分叉

【Paper】

Cosmos-Policy 把 robot state、future image 和 value estimates 编成 latent frames，在同一个 diffusion 过程中做 policy、world model 和 value prediction。
GE-Act 从 Genie Envisioner 的视频 latent 经轻量 flow-matching action decoder 产生 action trajectory。
LingBot-VA 在交错序列中自回归生成 future visual state 与 action，动作可看作 IDM 输出。
Fast-WAM 联合去噪 state/action，但测试时可以省略显式视觉状态生成；它因此更快且不需要 task-agnostic embodied pre-training。

【Analysis】 这些不是论文重新实现的统一模型；作者使用公开 checkpoint 或公开实现，因而结论应理解为“当前可用实现的 robustness profile”，而不是控制变量完全相同的架构竞赛。

4.3 关键公式

【Paper】 若把视觉历史、语言和动作都纳入状态 $h_t$，VLA 的直接策略为：

$$ \pi(a_t\mid h_t). $$

WAM 的 IDM 形式为：

$$ p(h_{t+1},a_t\mid h_t)=p(h_{t+1}\mid h_t)g(a_t\mid h_t,h_{t+1}). $$

其中 $p(h_{t+1}\mid h_t)$ 是视频 backbone 对未来视觉状态的分布，$g$ 将状态变化解码为 robot action。联合去噪方法则直接拟合 $p(h_{t+1},a_t\mid h_t)$。

【Analysis】 公式揭示了实验假设：若未来状态预测的时空先验能在噪声、光照和 clutter 下保持稳定，$g$ 就可以从较可靠的状态变化中生成动作；但相机位姿和 robot initial state 改变的是几何对应关系，单纯的视频先验未必足够。

4.4 Training

【Paper】 作者整理了不同模型的训练数据阶段。经典 VLA（如 $π_0$、OpenVLA-OFT、X-VLA）通常需要 cross-embodiment robot data；$π_{0.5}$ 还加入 high-level planning、VQA、captioning、grounding 和 mobile manipulation 数据。WAM 中 Cosmos-Policy 主要做 task-specific trajectories，LingBot-VA 使用约 16k 小时 cross-embodiment data，Fast-WAM 则只做 task-specific finetuning。

【Paper】 为了在 RoboTwin 上比较 $π_{0.5}$，作者从预训练 checkpoint 出发，在完整 27.5k RoboTwin demonstrations 上训练 60k gradient steps：AdamW（$β_1=0.9,β_2=0.95$）、gradient clipping 1.0、cosine learning-rate decay（$2.5\times10^{-5}$ 到 $2.5\times10^{-6}$）、batch size 64，并采用 delta joint actions。

4.5 Inference

【Paper】 评测时模型都处于 closed-loop rollout：policy 根据当前 observation 和 language instruction 输出 action chunk，环境执行后返回下一 observation。WAM 可能还要扩散生成 future visual state；因此其 runtime 不仅包含 action decoder，还包含 state denoising、VAE 与 autoregressive/KV-cache 等开销。

【Paper】 同一设备的 wall-clock 对比如下：$π_{0.5}$ 为 63 ms/chunk，X-VLA 195 ms，Fast-WAM 190 ms，GE-Act 300 ms，Cosmos-Policy 390 ms，LingBot-VA 在 real-world 配置 480 ms、RoboTwin 配置 5230 ms；后者相对 $π_{0.5}$ 慢 83 倍。

4.6 代码实现对照

【Code】 官方仓库 RoboTwin2.0-Plus 是 benchmark 与数据采集实现，不是论文中所有 VLA/WAM 的统一训练仓库。script/collect_data.py 读取 task_config/<name>.yml，构造 task class，调用 setup_demo()、play_once() 和 check_success()；成功 episode 才保存 trajectory。

【Code】 关键实现位置包括：

| 代码位置 | 实际职责 | | --- | --- | | task_config/demo_*.yml | 选择 clean 或单一扰动分支、episode 数和相机/数据字段 | | envs/_base_task.py | 解析 sensor noise、camera、background、object、language 等开关 | | envs/camera/camera.py | 创建 head / wrist cameras 与相机配置 | | script/collect_data.py | 采集 episode、写 seed、保存成功 trajectory | | description/task_instruction_plus/ | 提供 50 tasks × 50 variants 的语言 JSON |

【Code】 例如 demo_objects_plus.yml 将 distractor 数量设为 3–15，并以 2 cm 的 x/y Gaussian noise 与 $±15^\circ$ yaw 扰动目标位姿；demo_vision_noise.yml 让五种噪声在 episode 间循环。代码支持逐子维度开关，但论文主协议只汇报七个聚合分支。

5. 实验

5.1 Experimental Setup

【Paper】 RoboTwin 2.0-Plus 的 50 个双臂任务使用 clean + domain-randomized demonstrations；LIBERO-Plus 则是 40 个任务（4 suites × 10），两套 benchmark 的训练和控制频率不同。RoboTwin 评测统一使用单个模型覆盖所有任务；LIBERO 汇报更多公开 checkpoint。

【Paper】 RoboTwin 上评估 X-VLA、MOTUS、LingBot-VA、Fast-WAM 以及重新 finetune 的 $π_{0.5}$。DreamZero 因 cross-embodiment 不兼容、Wan2.1-14B 重新训练成本高和超过 15 分钟 warm-up 被排除；GigaWorld-Policy 因 checkpoint 尚未公开，只进入架构比较。

5.2 Main Results

【Paper】 RoboTwin 2.0-Plus 结果（成功率 %）：

| Model | Original | Camera | Robot | Language | Light | Background | Noise | Layout | Total | | --- | ---: | ---: | ---: | ---: | ---: | ---: | ---: | ---: | ---: | | $π_{0.5}$ | 78.4 | 45.6 | 27.6 | 74.4 | 49.6 | 71.7 | 64.9 | 56.8 | 58.6 | | X-VLA | 65.6 | 23.2 | 65.2 | 64.4 | 63.1 | 58.6 | 49.7 | 34.8 | 53.1 | | MOTUS | 87.0 | 21.6 | 85.0 | 83.2 | 84.6 | 84.4 | 43.1 | 82.8 | 71.5 | | LingBot-VA | 92.1 | 28.9 | 36.2 | 87.3 | 89.0 | 91.3 | 80.9 | 87.9 | 74.2 | | Fast-WAM | 91.2 | 30.4 | 53.2 | 86.7 | 88.8 | 90.0 | 76.4 | 83.2 | 72.7 |

【Paper】 LingBot-VA 总体 74.2%，在七个扰动维度中的五个排名第一；Fast-WAM 72.7% 排第二。$π_{0.5}$ 的 clean 成功率只有 78.4%，扰动平均降至 58.6%，而 LingBot-VA 在 noise、light、layout 上分别为 80.9%、89.0%、87.9%。

【Paper】 LIBERO-Plus 的关键总分是：$π_{0.5}$ 85.7%、Cosmos-Policy 82.2%、GE-Act 80.3%、VLA-JEPA 77.9%、Fast-WAM 51.5%。因此“WAM 必然超过 VLA”并不成立：在单臂 LIBERO 上，$π_{0.5}$ 既是最快的模型，也获得最高总体成功率。

【Paper】 案例显示，噪声下 $π_{0.5}$ 可能撞上 hammer，layout 下会撞到红色干扰块，强光下抓取对齐失败；对应的 LingBot-VA 在图中三例均完成任务。案例是定性证据，不能替代表格中的全量 episode 统计。

5.3 Ablation Study

【Paper】 最有信息量的“自然消融”来自同一 Fast-WAM 架构的两个 checkpoint：RoboTwin checkpoint 在 clean + domain-randomized 27.5k demonstrations 上训练，LIBERO checkpoint 只用 clean demonstrations。前者从原始 91.2% 降到扰动总分 72.7%；后者从原始 97.6% 暴跌到 51.5%，camera 16.4%、background 53.7%、noise 37.7%。

【Analysis】 由于 backbone 与 architecture 相同，这个对照强烈提示 task-specific data diversity 是必要条件；但它仍不是严格的随机种子消融，两个 checkpoint 还跨 benchmark、embodiment 和数据生成器，不能把 21.2 个百分点的差距全部归因于“是否 domain randomization”。

【Paper】 论文也通过模型家族做结构性对照：MOTUS 使用 video backbone 但由额外 VLM 生成动作，在 RoboTwin 的 robot initial state 维度达到 85.0%；VLA-JEPA 用 human video 的 future-state objective 增强 VLA，在 LIBERO 达到 77.9%。这些中间结果说明，时空先验“如何接入”与“是否存在”同样重要。

5.4 Generalization

【Paper】 WAM 的优势主要集中在视觉外观扰动。Cosmos-Policy 在 LIBERO 的 noise、light 和 layout 取得 92.7%、96.5% 和 82.2%；未来图像在噪声输入下仍能恢复运动中的机械臂。相反，异常高饱和背景可能造成空间扭曲和颜色不一致。

【Paper】 两个 benchmark 共同显示 camera viewpoint 与 robot initial state 是较难的维度。它们改变的不只是像素统计，而是视角到动作坐标、初始几何和接触轨迹的映射；视频预训练学到的自然运动先验不自动解决 embodiment calibration。

【Paper】 推理速度表明 robustness 与 inference compute 不成正比：$π_{0.5}$ 63 ms/chunk 却在 LIBERO 取得 85.7%；LingBot-VA 在 RoboTwin 配置为 5230 ms/chunk 才取得 74.2%。Fast-WAM 省略测试时的显式状态生成后为 190 ms，但仍约为 $π_{0.5}$ 的 3 倍。

6. 方法分析

6.1 为什么有效？

【Analysis】 论文证据支持三条相互作用的因果链：

时空先验：视频 backbone 见过大量物体运动、手部运动和镜头变化，因此对 blur、light 等视觉扰动更不容易丢失动态线索。
动态—动作耦合：IDM-style WAM 先问“未来状态应该是什么”，再解释“动作怎样造成它”，比只从当前像素回归动作多了一个结构化中间变量。
数据多样性：Fast-WAM 的跨 benchmark 对照说明先验不是万能的；若 task-specific demonstrations 只有 clean 场景，video prior 仍可能在未见背景和 camera 上失败。

6.2 核心创新

【Analysis】 这篇工作的真正创新在于把 robustness 从“某个模型在 clean benchmark 的一个数字”变成可诊断的 profile：扰动 taxonomy、正交配置、两个 embodiment、模型训练数据表和 runtime 表被放在同一个分析框架里。RoboTwin 2.0-Plus 的代码还把 benchmark 变成可扩展的 declarative test suite，而不是一次性脚本。

6.3 与已有方法的本质区别

| 维度 | 经典 VLA | WAM / hybrid | | --- | --- | --- | | Backbone | VLM，常以 next-token/action objective 预训练 | 视频生成 world model 或附加 video objective | | 核心条件 | 当前观测直接到 action | 联合生成 future state/action，或 IDM 解码 | | 鲁棒性来源 | 更丰富的 robot/web/human data | web-scale video 的 spatiotemporal prior + embodied/task finetune | | 推理代价 | 通常较低 | diffusion denoising、VAE、AR/KV cache 额外开销 | | 失败模式 | 对外观/遮挡分布敏感 | 对几何、语言推理和异常背景仍可能敏感 |

【Analysis】 所以工程选择不是“WAM 取代 VLA”，而是权衡：如果部署预算容许 diffusion、且目标是视觉扰动下的泛化，WAM 值得考虑；如果需要高频控制、已有大量多样机器人数据或 action latency 更重要，$π_{0.5}$ 一类 VLA 可能更合适。

6.4 关键假设

【Paper】 实验隐含的关键假设包括：成功率足够代表 policy quality；单维度扰动可以隔离 failure cause；公开 checkpoint 的训练数据和实现差异可以通过说明进行公平比较；视频预训练中的动态先验与机器人操作存在可迁移关系。

【Analysis】 这些假设对 benchmark 很实用，但要谨慎外推到真实机器人：连续轨迹质量、接触力、安全性、恢复行为和长尾组合扰动都没有被 success rate 完整刻画。

7. 局限性

7.1 作者明确提出的局限

【Paper】 论文的评测以 simulation benchmark 为主，没有在本文中系统报告真实机器人实验；DreamZero 因 checkpoint、算力和 warm-up 限制无法纳入量化比较；RoboTwin 训练时已有一定 background/language randomization，可能与 Plus 分支重叠；主要指标是 success rate，未详细分析 failure mode 或 trajectory quality。

7.2 自己分析得到的局限

【Analysis】 第一，WAM、VLA 的 action representation、chunk size 和控制频率不同，例如 LingBot-VA 使用 30-dim absolute EEF + joints、chunk 4，而 $π_{0.5}$ 使用 50-step chunk；这会影响扰动敏感性与 latency，不能只看 architecture 标签。

【Analysis】 第二，LIBERO 与 RoboTwin 的总分不是同一数据分布上的 paired measurement。第三，camera C2 默认关闭，完整的 3D viewpoint shift 尚未成为主结果。第四，语言 R1/R2/R3 的组合分支把不同难度混在一起，若要研究 language reasoning，应该使用仓库提供的 demo_language_r2.yml / demo_language_r3.yml 做细分。

8. 启发与研究思考

【Analysis】 这篇论文最值得带走的不是某个冠军数字，而是三条研究路线：

把 robustness 当作训练目标的分解，而不是最后的测试标签。 noise、light、layout 与 camera、robot state 应分别建模，模型可能在前者变强、后者变弱。
将视频先验与 calibration 先验结合。 WAM 擅长外观与动态，但几何变化需要 camera-to-action、proprioception 和 embodiment-specific adaptation；两者结合可能比继续增大视频 backbone 更划算。
同时优化鲁棒性与 latency。 Fast-WAM 的“训练时预测、测试时省略视觉生成”说明 world-model supervision 不必等于每一步都生成完整视频；蒸馏、少步 denoising、action-only heads 和 asynchronous execution 是自然方向。
扩展 benchmark 的因果诊断。 除 success rate 外加入 recovery、collision、trajectory smoothness、contact stability，并测试组合扰动和真实 camera/robot calibration shift，才能判断时空先验是否真的提升了可部署性。

What Matters for Latent Actions in Robot Learning 论文精读

Wed, 26 Aug 2026 00:00:00 GMT

1. 论文概述

论文名称：《What Matters for Latent Actions in Robot Learning》
作者：Xizhou Bu、Qingda Hu、Lei Zhou、Lingfeng Zhang、Yingbo Tang、Zihao Liu、Xinyi Tao、Zhiqiang Ma、Qingqiu Huang、Chufeng Tang、Hongbo Wang、Jing Zhang、Jiayi Ma、Hangjun Ye、Wei Li、Xiaoshuai Hao
论文链接：arXiv
项目主页：LAM project
代码链接：GitHub

一句话总结

【Paper】 论文把 latent action learning 统一成可比较的 autoencoding 框架，系统评估 latent-action 建模范式、正则化、动作头、维度、归一化和数据规模，回答“哪些设计真正改善机器人控制”，而不是只报告某一个方法的孤立结果。

核心贡献

【Paper】 研究覆盖 41 个去重后的设计选择、三个 benchmark（LIBERO、LIBERO-Plus、RoboTwin2.0）和 Franka Panda 真实实验，主要结论是：

原始 LAPO（IDM-FDM）在直接使用 raw video 时仍是最强基线之一；$\Delta$DINO 这种简单的语义特征差分也很有竞争力。
连续正则化方法的类型差异小于正则化强度差异；VAE 是默认首选，VQ-VAE 在 zero-shot 鲁棒性上更有优势。
latent action 维度 32 在 7-DoF 单臂和 14-DoF 双臂之间取得最稳健的折中；已有合适正则时不必额外归一化。
FDM 重建指标比训练 probe 解码 physical action 更能预测下游表现，但只适合粗粒度筛选。
用 latent action 微调 VLM backbone，且扩大 Stage-II 视频规模，会稳定提升下游策略和真实机器人成功率。

2. 背景与相关工作

【Paper】 VLA 需要把视觉、语言和 physical action 对齐，但机器人 action data 的规模远小于互联网图像/视频。Latent Action Model（LAM）试图从无标注视频的相邻帧中提取紧凑的 $z_t$，把“状态如何变化”作为 physical action 的替代监督，从而把海量 video-only data 接入机器人学习。

已有方法大致分两类：

IDM-FDM：Inverse Dynamics Model 从 $(o_t,o_{t+1})$ 推断 $z_t$，Forward Dynamics Model 再用 $(o_t,z_t)$ 重建未来帧，代表是 LAPO、LAOF、CoMo。
CFD-AE：先计算 $\Delta$RGB、$\Delta$DINO 或 optical flow，再用 Encoder/Decoder 压缩和重建差分。

【Analysis】 过去工作往往只改一个模块、换一套数据和 action head，导致“方法更好”与“实验配方更好”混在一起。这篇论文的价值不在于提出全新的 LAM，而在于把这些选择放到同一坐标系中，测量它们对 downstream policy 的真实影响。

3. 问题定义

【Paper】 在时间 $t$，机器人观察图像 $o_t$，执行 physical action $a_t\in\mathbb{R}^{d_a}$ 并到达 $o_{t+1}$。LAM 学习低维 latent action $z_t\in\mathbb{R}^{d_z}$，使其包含从当前帧到未来帧的 transition information。

轨迹可写成：

$$ \tau=(o_t,a_t,z_t,o_{t+1},l)_{t=1}^{T}, $$

其中 $l$ 是语言指令。训练分为三阶段：

| 阶段 | 数据 | 目标 | 是否需要 physical action | | --- | --- | --- | --- | | Stage I Pre-training | 无标注视频帧 | 学习 LAM 与 transition representation | 否 | | Stage II Mid-training | 语言标注视频 + 自动生成 $z_t$ | 用 latent action 微调 VLM backbone | 默认否，可做可访问对照 | | Stage III Post-training | 机器人示教 $(o_t,a_t,l)$ | 学 physical-action policy | 是 |

【Paper】 Stage I 使用 700M spatiotemporal Transformer，随机时间下采样因子来自 ${1,2,3,4,5}$，帧被 center-crop 到 $224\times224$；Stage II/III 使用 Qwen3-VL-4B 与 OpenVLA-OFT 配方。

4. 方法

4.1 Overall Architecture

【Paper】 统一数据流是：相邻观测进入 LAM 得到 $z_t$；Stage-II 用 $(o_t,z_t,l)$ 微调 VLM；Stage-III 再把 VLM 表征接到 physical-action head。IDM-FDM 通过未来帧重建学习隐式 transition，CFD-AE 则直接重建预定义的帧差分。

4.2 核心模块

Latent-action modeling

LAPO：$z_t=\mathrm{IDM}(o_t,o_{t+1})$，$\hat o_{t+1}=\mathrm{FDM}(o_t,z_t)$。优点是无需额外预处理，直接从 raw frames 学习。
LAOF：在 LAPO 的未来帧重建外，再由 FlowDecoder 重建 optical flow；论文分别测试 RAFT 与 SEA-RAFT。
CoMo：将 IDM 的未来帧输入替换为 $\Delta$DINO，以减轻 causal leakage。
CFD-AE：$z_t=\mathrm{Encoder}(\Delta_t)$，$\hat{\Delta}_t=\mathrm{Decoder}(z_t)$，其中 $\Delta_t$ 可为 $\Delta$RGB、$\Delta$DINO 或 optical flow。

【Paper】 这四种方法共享 latent dimension 和 autoencoding 预算，因此比较重点是“motion signal 从哪里来”，而不是网络容量差异。

正则化

【Paper】 总目标为 $\mathcal{L}=\mathcal{L}{method}+\lambda{reg}\mathcal{L}_{reg}$，比较 AE、VQ-VAE、VAE、Sparsity 和 SIGReg：

| 方法 | latent 约束 | 直觉 | | --- | --- | --- | | AE | 无额外约束 | 重建能力最强但可能 shortcut | | VQ-VAE | codebook 离散化 | 学可复用 action prototypes | | VAE | KL 到 $\mathcal{N}(0,I)$ | 连续、平滑、可采样 | | Sparsity | VCM + $\ell_1/\ell_2$ | 少量维度激活、降低冗余 | | SIGReg | 随机投影后匹配高斯 | 保持各向同性、避免 collapse |

Latent action integration

给定 $h_t=\mathrm{VLM}_{\psi}(o_t,l)$，论文比较五种 action head：DAP（$h\to a$）、LAP（$h\to z\to a$）、JAP（$h\to[z,a]$）、JAP-DAP 和 JAP-LAP。DAP 只把 latent action 当 Stage-II 的辅助监督；LAP 在推理时保留 latent bottleneck；JAP 则让 latent 与 physical action 从同一个高层特征并行预测。

4.3 关键公式

LAPO 重建：

$$ z_t=\mathrm{IDM}(o_t,o_{t+1}),\qquad \hat{o}{t+1}=\mathrm{FDM}(o_t,z_t), $$ $$ \mathcal{L}{recon}=\lVert o_{t+1}-\hat{o}_{t+1}\rVert_2^2. $$

其中 $z_t$ 是需要被压缩的 transition code，$\hat{o}_{t+1}$ 是 FDM 的预测帧；该损失迫使 latent action 携带足以解释状态变化的信息。

VAE 正则：

$$ \mathcal{L}{reg}^{VAE}=D{KL}\big(p_{IDM}(z_t|o_t,o_{t+1}),|,\mathcal{N}(0,I)\big). $$

【Analysis】 $\lambda_{reg}$ 决定“保留 transition 信息”和“限制 latent 容量”的平衡；过大时 latent 过于规整，FDM 反而无法重建真实变化。

Physical-action 训练：

$$ \mathcal{L}{latent}=\lVert z_t-\hat z_t\rVert_2^2,\qquad \mathcal{L}{act}=\lVert a_t-\hat a_t\rVert_2^2. $$

JAP 使用 $\mathcal{L}{latent}+\mathcal{L}{act}$，DAP/LAP 在各自阶段使用对应分支的损失。

4.4 Training

【Paper】 Stage I 在约 5,900 万帧的混合 video-only corpus 上训练 150k steps；数据包括 OXE 子集以及 Robotwin、Liberoplus。Stage II 用 LAM 的 IDM 自动标注 $z_t$，再以 latent action 监督 Qwen3-VL-4B；Stage III 用 LIBERO、LIBERO-Plus 或 RoboTwin 的 physical action 做策略后训练。

4.5 Inference

【Paper】 推理阶段只需当前 front-view RGB observation 与语言指令。VLM 产生 $h_t$，随后由 DAP/LAP/JAP action head 输出 physical action；评测不使用 wrist camera、joint state 或数据增强，以隔离 latent-action backbone 的影响。

4.6 代码实现对照

【Code】 官方 GitHub 仓库在本次核对时仅包含 README，未提供模型定义、DataLoader、训练脚本、配置或推理实现。因此无法把论文中的 IDM/FDM、正则化和 action head 映射到具体代码文件；项目页提供的模型与数据链接也不能替代仓库源码。文章中的实现细节均以论文正文和附录为准。

5. 实验

5.1 Experimental Setup

【Paper】 LIBERO 是 7-DoF 单臂 end-effector delta control；LIBERO-Plus 在相同任务上加入 RobotInit 等扰动，本文报告最具挑战的 RobotInit；RoboTwin2.0 是 14-DoF 双臂 joint-position control，选取 12 个任务。每个消融通常汇报 3 个随机种子的平均成功率。

代理指标包括负的 Linear/MLP probe loss、SSIM Gain 和 MSE Gain。前两者测 latent 是否能解码 physical action，后两者测 FDM 是否比“直接复制当前帧”更好地重建未来帧。

5.2 Main Results

【Paper】 在七种建模范式的跨 benchmark 平均中，排序为 LAPO 0.7327 > $\Delta$DINO 0.7280 > CoMo 0.7167 > $\Delta$RGB 0.6973 > LAOF 0.6907 > SEA-RAFT 0.6433 > RAFT 0.6427。LAPO 不需要 optical-flow 预处理，说明简单的 raw-frame IDM-FDM 仍然是强基线；$\Delta$DINO 接近 LAPO，表明预训练语义空间本身提供了有效归纳偏置。

【Analysis】 optical flow 并没有带来预期收益：像素位移会丢掉接触、遮挡、边界变化等 transition cues，且估计误差会传播到 latent。LIBERO-Plus 的噪声扰动进一步放大了这一问题。

5.3 Ablation Study

【Paper】 连续正则化的类型并非主导因素，强度才是关键。推荐值为 VAE $10^{-7}$、Sparsity $10^{-5}$、SIGReg $10^{-3}$，VQ-VAE 为 1；VQ-VAE 在 LIBERO-Plus 的平均成功率 0.517，高于 AE 0.445、VAE 0.433、Sparsity 0.468 和 SIGReg 0.467，但在其他 benchmark 不一定占优。

【Paper】 action integration 上，DAP 最弱，LAP 更强，JAP 以及先联合微调再接 DAP/LAP 的混合方案整体最好。解释是 latent action 不应只作为一次性的 Stage-II 标签，而应在 downstream training 中持续约束 backbone，同时避免过窄的 latent bottleneck 直接限制 physical action。

5.4 Generalization

【Paper】 $d_z=32$ 是跨 embodiment 的稳健折中：LIBERO 上 $d_z=16$ 得到 0.926、$d_z=32$ 为 0.922；LIBERO-Plus 上 $d_z=8$ 为 0.526、$d_z=32$ 为 0.516；RoboTwin2.0 上 $d_z=32$ 达到 0.856，明显高于 $d_z=8$ 的 0.802。适当正则化后不归一化 latent action 更好，33 个方法- benchmark 组合中 28 个受益，平均提升 +0.0115。

Stage-II 数据规模从 Robotwin+Liberoplus（14.5%）扩展到完整约 59M 帧后，三个 benchmark 都提升，LIBERO-Plus 的增益最高可达 9.0%，说明 latent-action VLM tuning 存在稳定的 scaling trend，而不只是某个 action head 的偶然收益。

真实实验中，OpenVLA-OFT（LA-Tuned）在 400 次 rollout 中成功 317 次，原始 OpenVLA-OFT 成功 259 次，整体成功率从 64.75% 提升到 79.25%；10k 个 Stage-III steps 时 LA-Tuned 已达 85.0%，超过 baseline 在 40k steps 的 76.25%。

6. 方法分析

6.1 为什么有效？

【Analysis】 latent action 的有效性来自三个互补因素：第一，FDM 重建迫使 representation 关注可预测的状态转移；第二，VLM backbone 在大规模视频上获得 motion-aware visual features；第三，LAP/JAP 把这些 features 与 physical control 保持结构化连接。它不是把 latent 当作“更短的 action token”，而是把 latent 当作视觉表征到控制之间的中间坐标系。

6.2 核心创新

【Paper】 论文的创新主要是实验方法论：统一 autoencoding 框架、跨 41 项选择的 controlled study、代理指标相关性分析以及 VLM latent-action scaling law。与提出一个新网络相比，这种系统基准更适合指导后续 LAM 工程取舍。

6.3 与已有方法的本质区别

【Analysis】 传统 LAM 论文常围绕单一正则或动作头证明有效；本文把“latent 如何学”“latent 如何接入 policy”“如何评价 latent”拆成三个正交问题，并显示强基线、超参数和训练阶段耦合关系。结论因此更像设计准则，而非一个不可替换的模型配方。

6.4 关键假设

【Paper】 主要假设包括：相邻帧足以提供可学习的 transition signal；自动生成的 latent action 可以作为 VLM 的稳定监督；video-only 表征的提升能迁移到 physical action policy。【Analysis】 这些假设在 front-view、有限任务和固定控制接口下成立，但不代表所有机器人 embodiment 或长时程任务都成立。

7. 局限性

7.1 作者明确提出的局限

【Paper】 论文强调 proxy metric 不能取代完整 downstream evaluation：Pearson 相关性较高，但 Spearman 相关性明显较低，因此只能做粗粒度筛选，不能可靠地给模型排序。跨 latent dimension 比较时，所有 proxy 的相关性还会下降。

7.2 自己分析得到的局限

【Analysis】 研究仍主要使用单帧 front-view 输入，Stage-I 的 700M Transformer 和 8×H200 训练成本很高；RoboTwin2.0 只选 12 个任务；官方仓库暂未提供可复现实验代码。因此，结论对多视角、proprioception、长 horizon 和更低算力设置的外推仍需验证。

8. 启发与研究思考

先选强基线，再调正则强度。 LAPO + VAE($10^{-7}$) + $d_z=32$ 是合理起点，避免一开始堆叠复杂 optical-flow 或稀疏正则。
把 latent 保留到 policy learning。 若有 physical action labels，JAP/JAP-LAP 的联合训练比只在预训练阶段使用 latent 更有说服力。
代理指标应按同一维度使用。 FDM 的 SSIM/MSE Gain 更贴近 transition，但最终模型选择仍必须回到真实任务成功率。
数据规模是可扩展杠杆。 在 Stage-III 配方固定时扩大 video-only Stage-II 数据仍有收益，说明机器人数据稀缺并不意味着 representation 学习无法扩展。
值得继续研究的方向：从单帧 latent action 走向 history-aware latent、把接触/力觉纳入 transition supervision，以及设计能跨 action dimension 校准的 proxy metric。

VTAM 论文精读：让机器人用触觉预测接触动力学

Wed, 26 Aug 2026 00:00:00 GMT

1. 论文概述

一句话总结

【Paper】 VTAM（Video-Tactile Action Model）把第三人称相机、腕部相机和 GelSight 触觉图像编码到同一个视频 latent 空间，预测未来视觉与触觉变化，再由条件 Diffusion Policy 联合生成动作、状态和虚拟力。

核心贡献

【Paper】

以预训练 video transformer 为 backbone，通过轻量 modality-transfer finetuning 接入触觉，不需要 tactile-language paired data 或独立触觉预训练。
用交替的 in-view self-attention 与 cross-view attention 建模视觉—触觉的时空动力学，而不是把触觉当作策略末端的额外 token。
从 GelSight 形变光流构造三维 virtual force proxy，并把它放进动作去噪目标，缓解训练中的 modality collapse。
在薯片抓取放置、黄瓜削皮、不同高度与倾角的白板擦拭上，分别达到 90%、85% 和 95% 成功率。

2. 背景与相关工作

【Paper】 视觉适合识别物体和几何，但在抓取遮挡、滑移、柔性物体变形等场景中，关键接触状态并不可靠地出现在视觉 token 里。已有 tactile-augmented VLA 多采用语义空间投影或 policy 末端拼接，模型必须在面向静态语义对齐的 latent 中间接学习接触物理；高频触觉梯度很容易被视觉梯度压制。

生成式 world model 提供了另一条路线：用未来观测约束模型学习动力学。VTAM 的问题是如何把局部、高频、接触界面的形变动态纳入视频世界模型，同时保证这些信号真的影响动作生成。

【Analysis】 因此 VTAM 的关键不只是“多一个传感器”，而是把触觉提升为可预测的状态变量，再用辅助目标把它与控制梯度绑定。

3. 问题定义

【Paper】 在时间 $t$，模型接收两路 RGB-D 视觉流、GelSight tactile stream、语言指令以及机器人 proprioceptive state。每个视图经 VAE 编码为连续 latent $z_t^v$，其中 $v=1,2$ 是两路相机，$v=3$ 是触觉。

输出包含未来视频 latent、未来触觉 latent，以及长度为 $H$ 的动作、状态和虚拟力序列。动作 $a\in\mathbb{R}^7$ 表示 6-DoF 末端位姿与 1D 夹爪宽度，状态 $s\in\mathbb{R}^{16}$，虚拟力 $f\in\mathbb{R}^3$。

4. 方法

4.1 Overall Architecture

【Paper】 三路 VAE latent 经过 28 个交替注意力块形成 visuo-tactile representation；该表示通过 cross-attention 条件化 action diffusion head，同时预测 future actions、future states 与 future forces。

4.2 核心模块

多视图视频—触觉世界模型

【Paper】 每个 block 先在单一视图内做 self-attention，保留相机画面或触觉形变的空间结构；再把三路 token 拼接后做 cross-view attention，让视觉运动与接触变形交换信息。这样既能表达同一帧内的局部压力分布，也能表达跨帧的滑移与接触转变。

虚拟力正则

【Paper】 令 $I_0$ 为无接触触觉参考帧，$I_t$ 为当前帧。由稠密光流 $u_t=(u_x,u_y)$ 计算：

$$ f_x=\mathbb{E}[u_x],\qquad f_y=\mathbb{E}[u_y],\qquad f_z=\mathbb{E}[\nabla\cdot u_t]. $$

$f_x,f_y$ 近似切向剪切，$f_z$ 用形变场散度近似法向压缩。它不是标定后的物理力，而是与接触形变几何相关的低维 proxy；预测它比重建整张高分辨率触觉图更容易稳定训练。

4.3 关键公式

【Paper】 Stage I 在未来多视图 latent 上做 flow matching：

$$ \mathcal{L}{\mathrm{stage1}}=\mathbb{E}\left[|v\theta(z_t,t)-v^*|_2^2\right]. $$

Stage II 把动作、虚拟力和状态拼成联合目标 $z_0=[a;f;s]$，条件 token 为 $c=[0_{10};s_t]$。最终目标是：

$$ \mathcal{L}{\mathrm{stage2}}=\mathcal{L}{\mathrm{action}}+\lambda_1\mathcal{L}{\mathrm{state}}+\lambda_2\mathcal{L}{\mathrm{force}}. $$

其中三项分别匹配动作、状态和虚拟力的 velocity field；$\lambda_1,\lambda_2$ 控制状态与触觉监督强度。联合去噪让动作不仅拟合历史轨迹，还要与可预测的物理状态转移一致。

4.4 Training

【Paper】 作者采用两阶段训练。Stage I 只微调预训练视觉 backbone，使其先学会未来视觉—触觉 latent dynamics；Stage II 固定这一对齐后的世界表示，引入 action/state/force 联合 flow matching。真实数据由人工 teleoperation 收集，包含 100 条薯片、105 条擦拭和 61 条削皮轨迹。

【Analysis】 先对齐世界表示再学习控制，隔离了“模态迁移”和“动作优化”造成的分布漂移；这是比端到端同时训练更易收敛的工程选择。

4.5 Inference

【Paper】 推理时，当前视觉—触觉观测进入世界模型，action diffusion head 预测未来动作 chunk；控制器执行动作并在下一次更新时读取新的真实观测。论文报告数据采集与执行频率为 30 Hz，策略推理频率为 1 Hz。

4.6 代码实现对照

【Code】 项目页链接到 https://github.com/haorany7/VTAM，但截至本文写作该地址返回 HTTP 404，未能获得官方模型定义、数据加载器、训练配置或推理脚本。因此下表只列出论文中可确认的接口，代码行为均标记为“论文未明确说明”。

| 组件 | 论文可确认内容 | 官方代码状态 | | --- | --- | --- | | 感知输入 | 两路相机 + GelSight + proprioception | 仓库 404，无法核验 | | 世界模型 | 预训练 video transformer，28 个交替注意力块 | 仓库 404，无法核验 | | 动作头 | 条件 diffusion，联合预测 action/state/force | 仓库 404，无法核验 | | 数据 | 100/105/61 条三类任务 teleoperation 轨迹 | 仓库 404，无法核验 |

5. 实验

5.1 Experimental Setup

【Paper】 平台是 6-DoF xArm6 平行夹爪，夹爪手指安装 GelSight Mini；两台 Intel RealSense D455 组成双头视觉。每个模型在四类真实试验上评估，每项 20 次，总计 80 次；基线包括 Genie Envisioner、视觉版 $\pi_{0.5}$ 和简单 tactile injection。

5.2 Main Results

| 模型 | Chip | Peel | Wipe | | --- | ---: | ---: | ---: | | Genie Envisioner | 0% | 0% | 2.5% | | $\pi_{0.5}$（Vision） | 10% | 0% | 0% | | $\pi_{0.5}$ + Tactile | 5% | 0% | 0% | | VTAM | 90% | 85% | 95% |

【Paper】 VTAM 在薯片任务中能根据触觉确认是否真正夹住；削皮时保持连续剪切力；擦拭时适应平面与倾斜白板。视觉基线常在抓取失败后仍继续放置，或在倾斜表面施加过大法向力。

5.3 Ablation Study

【Paper】 薯片任务上的 10 次消融结果如下：

| 变体 | 触觉集成方式 | 成功率 | | --- | --- | ---: | | Vision-only | 无 | 0% | | Late-Fusion Tactile | 仅下游注入 | 0% | | No Virtual-Force Reg. | Joint latent | 10% | | VTAM | Hierarchical world model | 90% |

这组结果同时回答两个问题：只在动作头拼接触觉不足以学习接触动力学；没有 virtual-force regularization 时，视觉梯度会重新占主导。

5.4 Generalization

【Paper】 视频 backbone 的预测可保持两路相机的时间一致性，并生成合理的触觉演化；细节有轻微模糊，但作者认为不影响操作相关信息。论文未报告跨机器人本体或大规模未见任务的额外数字，因此不能把该结果外推成通用 zero-shot 能力。

6. 方法分析

6.1 为什么有效？

【Analysis】 视觉 latent 负责全局几何与语义，触觉 latent 负责接触界面的高频变化；预测未来而非被动拼接，使模型必须解释“当前形变将如何演化”。virtual force 又给触觉路径提供直接梯度，避免 action loss 仅靠视觉就达到局部最优。

6.2 核心创新

【Paper】 创新是三个机制的组合：共享视频 latent 的 visuo-tactile dynamics、联合 action/state/force flow matching，以及由形变推导的 virtual-force regularization。任一机制单独存在都不能解释完整的消融差距。

6.3 与已有方法的本质区别

| 维度 | 典型 tactile-VLA | VTAM | | --- | --- | --- | | 触觉角色 | 额外语义 token 或末端特征 | 可预测的世界状态 | | 融合位置 | 反应式 late fusion | 视频 backbone 内的 cross-view attention | | 物理监督 | 通常无显式目标 | virtual force velocity matching | | 控制约束 | 直接回归动作 | action/state/force 联合去噪 |

6.4 关键假设

【Analysis】 方法假设 GelSight 形变光流与接触力单调相关，且预训练视频 VAE 能保留触觉图像所需的局部细节；同时假设两路视觉、触觉和状态在时间上可以精确同步。论文没有给出标定误差、传感器失效或不同 tactile hardware 的系统评估。

7. 局限性

7.1 作者明确提出的局限

【Paper】 论文主要展示三类任务和单一 xArm6/GelSight 组合；作者没有报告大规模跨本体、跨传感器或长时部署结果。virtual force 是 proxy 而非真实 3D 力，不能直接替代力矩传感器的物理标定。

7.2 自己分析得到的局限

【Analysis】 形变光流对材质、光照和接触面积敏感，换用不同弹性体可能需要重新校准；28 层多视图 transformer 与 diffusion head 的实时成本也未公开。更重要的是，触觉只在发生接触后提供强信号，模型仍需视觉完成接近、搜索和脱离阶段的状态估计。

8. 启发与研究思考

【Analysis】 VTAM 提示，下一代 VLA 的 multimodality 不应止于“把传感器 token 拼起来”，而应让每种传感器都进入可预测的 world model。一个直接方向是把 virtual force 扩展成 slip、contact mode 和 deformation phase 的离散 latent，再用真实力传感器或自监督事件标签校准 proxy。另一个方向是研究触觉缺失时的 modality dropout，使策略能在传感器污染或延迟下优雅退化。

VP-VLA 论文精读

Wed, 26 Aug 2026 00:00:00 GMT

1. 论文概述

【Paper】 VP-VLA（Visual Prompting as an Interface for Vision-Language-Action Models）将一个端到端 VLA 拆为两个频率不同的系统：高层 System 2 Planner 负责理解指令、判断当前子任务并找出目标物与目标位置；低层 System 1 Controller 负责把这些结果转化为动作。两者不通过额外 token、dense mask 或新模态通信，而是通过叠加在原始 RGB 图像上的视觉提示（visual prompt）通信：抓取时画 crosshair，放置时画 bounding box。

一句话总结

【Analysis】 VP-VLA 的关键不是让低层 action policy 额外学习一种抽象的 affordance 表示，而是把高层已完成的“看哪里、放到哪里”判断，画成 VLA 原本就会处理的 RGB 证据；低层于是从“同时理解意图、定位与控制”变成“跟踪明确空间锚点”。

核心贡献

【Paper】 提出双系统 VLA：事件驱动的 System 2 只在任务阶段切换时重规划，System 1 高频执行视觉—动作控制。
【Paper】 提出 native visual prompting interface：用目标掩码的中心 crosshair 表示交互锚点，用目标区域的 bounding box 表示放置约束，均直接覆盖到 RGB 观察上。
【Paper】 加入 visual grounding auxiliary objective，使 VLA backbone 显式预测提示的离散坐标，避免把叠加符号当作无关噪声。
【Paper】 在 RoboCasa-GR1-Tabletop、SimplerEnv 与真实 Franka 任务上报告稳定收益，尤其改善 novel object、未见位置与 clutter 场景下的空间 grounding。

2. 背景与相关工作

【Paper】 标准 VLA 把语言 $l$ 与多相机观测 $o_t$ 直接映射为 action chunk。单个网络必须在一次或少数几次 forward 中完成指令解析、目标实例识别、空间关系推理、接触点选择和低层控制。论文认为这种 monolithic bottleneck 会使模型在训练场景分布之外依赖图像捷径，而非真正根据语言定位对象。

已有方法也会在 VLA 前插入中间表示，例如 goal image、轨迹、关键姿态、affordance map 或 dense segmentation mask。【Paper】 作者指出：训练自由的 VLM grounding 通常不够精确；dense mask 与 VLM 的自然 RGB 输入分布不同，常要另加 encoder 或复杂 fusion；只在第一帧标点的静态提示又无法随多阶段操作更新。

【Analysis】 这里的取舍非常具体：信息量太少的纯文本不能约束落点，信息量太大的 mask 则改变了下游模型的感知分布。crosshair 与 box 用极少像素表达“交互中心”和“可放置区域”，同时保留场景原貌，是一种刻意追求兼容性的中间接口。

3. 问题定义

【Paper】 常规策略为

$$ a_t = \pi_\theta(l,o_t), \qquad o_t={o_t^1,\ldots,o_t^m}, $$

其中 $m$ 是相机数，$a_t={a_t^1,\ldots,a_t^n}$ 是用来掩盖推理延迟、保持运动平滑的 action chunk。VP-VLA 额外构造视觉接口图像 $I_{vp}^t$，得到

$$ a_t=\pi_\theta(l,o_t,I_{vp}^t) =h_\psi!\left(f_\omega(l,o_t,I_{vp}^t)\right). $$

$f_\omega$ 是 VLM backbone，$h_\psi$ 是连续 action decoder，$\theta={\omega,\psi}$。区别不在于额外输入一张“处理过的图片”本身，而在于 $I_{vp}^t$ 来自显式的子任务与实体 grounding，因此其符号与当前阶段一一对应。

4. 方法

4.1 Overall Architecture

【Paper】 数据流为：instruction + observation + robot state → System 2 → text-conditioned segmentation → RGB visual prompt → System 1 → action chunk。训练时，System 1 还从关键帧的提示中学习坐标 grounding；部署时，System 2 不需要每个控制步都调用。

4.2 核心模块

System 2 Planner：按事件更新的高层推理

【Paper】 规划器先把全局指令分解为有序子任务，再在当前观测、指令和机器人状态下识别当前子任务 $s_k$、目标物 $e_{obj}$ 与目标位置 $e_{loc}$：

$$ {s_k,e_{obj},e_{loc}}= \operatorname{VLM}_{\text{planner}}(l,o_t,S_t). $$

不是每帧都运行该 VLM。作者以夹爪状态作为物理阶段代理：夹爪由开变闭或由闭变开时，认为抓取/释放等语义阶段可能已经改变，才触发重评估。这样“拿起杯子”完成后，提示才会从杯子转向桌面或容器。

视觉提示生成：SAM3 把名字变成空间约束

【Paper】 给定实体名称，text-conditioned segmentation model $\mathcal{G}$ 在图像上产生提示：

$$ \psi_t=\mathcal{G}(o_t,e_{obj},e_{loc}), \qquad \psi_t={C,B}. $$

$C\in\mathbb{R}^2$ 是目标物 mask 重心处的 crosshair，适合 pick；$B\in\mathbb{R}^4$ 是目标放置区域的 box，适合 place。两者叠加到 overhead RGB 观察，形成 $I_{vp}^t$。对于开门、关门等非抓取原语，论文同样以对象的交互位置作为提示对象。

【Analysis】 crosshair 和 box 分别编码“在哪里接触”与“哪里可满足约束”，但不强迫低层策略复制一个像素级 mask。这让 action policy 仍能使用背景、遮挡、夹爪姿态等原始视觉线索来决定具体轨迹。

System 1 Controller：带提示的连续动作策略

【Paper】 System 1 同时接收语言、原始图像与 visual-prompt 图像，由 VLM 提取多模态表征、action decoder 输出连续控制信号。论文的实现细节使用 QwenOFT：将 OpenVLA-OFT 的 Prismatic VLM 替换成 Qwen3-VL-4B-Instruct；action decoder 预测 action chunk。

关键帧 visual grounding

【Paper】 作者只在 episode 第一帧和事件帧附加 grounding supervision。图像坐标被划分为 $N=1000$ 个离散 bin：对于 crosshair，模型输出 $(x,y)$；对于 box，输出 $[x_1,y_1,x_2,y_2]$ 的结构化 JSON。目标是让 VLM 内部表征与画出的提示建立可读的空间对应。

4.3 关键公式

事件触发条件

$$ E_t=\mathbb{1}!\left(\left|\phi(S_t)-\phi(S_{t-1})\right|>\epsilon\right). $$

【Paper】 $S_t$ 是机器人物理状态，$\phi$ 是状态映射，$\epsilon$ 是阈值。在桌面实验中，$\phi$ 被实例化为 gripper status：开闭状态改变时 $E_t=1$，System 2 重做阶段判断。这个定义是启发式 event detector，不等同于从视觉直接证明子任务成功。

联合训练目标

$$ \mathcal{L}{\text{total}} =\mathcal{L}{\text{action}}(\theta) +\lambda,\mathbb{1}{\text{event}}\mathcal{L}{\text{grounding}}(\omega). $$

【Paper】 $\mathcal{L}{\text{action}}$ 是 action prediction 的 L1 loss；$\mathcal{L}{\text{grounding}}$ 是离散位置 token 的 cross-entropy；$\lambda$ 权衡二者，实验设为 $0.1$。grounding loss 仅对 VLM 参数 $\omega$ 反传，而 action loss 更新包含 VLM 与 action decoder 的策略参数。

【Analysis】 指示函数把 auxiliary loss 放在信息发生变化的时刻：若每一帧都反复要求同一坐标，监督信号可能大量重复；若完全不要求位置输出，VLM 也可能把彩色符号视作无意义的 augmentation。

4.4 Training

【Paper】 数据准备首先以规则将任务拆成子任务列表；关键帧上由 VLM 选择当前子任务、对象与位置名称；随后用 text-conditioned segmentation 在到下一关键帧前的全部帧上生成 mask 与 box，并转成 overlays。OXE 实验沿用 starVLA 的设置，丢弃 visual prompt 为空的 episode，且该过滤同时用于方法与 baseline。

【Paper】 训练基于 starVLA，在 8 张 GPU 上完成；System 1 使用 Qwen3-VL-4B-Instruct，AdamW 对 VLM 的学习率为 $10^{-5}$、对 action model 为 $10^{-4}$，$\lambda=0.1$。

4.5 Inference

【Paper】 初始帧和每次 event 时，System 2 将当前阶段翻译为实体名称；SAM3 在最新 observation 生成 overlay；System 1 在控制循环中根据该 overlay 预测并执行 action chunk。没有 event 时沿用当前提示，避免高层 VLM 成为每一步控制的延迟瓶颈。

4.6 代码实现对照

| 论文组件 | 官方代码位置 | 可核对的实现行为 | | ----------------------- | ---------------------------------------------------------------- | ------------------------------------------------------------------------------------------------------------------------------------------- | | 数据预处理 | data_preparation/{Robocasa_tabletop,SimplerEnv}/ | 多进程启动 VLM 与 SAM3 server，将每个 episode 的 overlay、mask、box 和 subtask 记录保存为 .npz。 | | 训练数据 | starVLA/dataloader/visual_prompt_datasets.py | primary view 根据当前帧 mask/box 绘制提示；可配置 feed_both_images 同时给原图和 overlay，wrist view 保持原图。 | | action + grounding 训练 | starVLA/training/train_starvla_visual_prompt.py | trainer 先运行 policy 的 action forward/backward，再用 visual-prompt 坐标问答运行 qwen_vl_interface，以 visual_prompt loss scale 加权。 | | prompt 绘制 | visual_prompt_utils.py、visual_prompt_utility/sam3_client.py | object prompt 设为 crosshair，location prompt 设为 box；server 取最高分目标。 | | 运行时阶段切换 | examples/*/eval_files/model2*_interface*_visual_prompt.py | 首帧和 gripper state change 触发 VLM query；其输出决定是否推进 subtask，再请求 SAM3 重新覆盖图像。 | | 评测服务 | README.md、examples/*/eval_files/run_eval.sh | 同时需要 policy server、SAM3 server、VLM server 与对应模拟环境。 |

【Code】 仓库公开的示例配置与论文正文并非完全一致：论文的 implementation details 写 Qwen3-VL-4B-Instruct + QwenOFT，examples/*/train_files/*visual_prompt.yaml 当前列出 Qwen2.5-VL-3B-Instruct + QwenGR00T。README 则将 VP-VLA 描述为基于 Qwen3-VL-4B-Instruct。读者复现时应以具体 checkpoint、config 和 release 版本为准，不能把示例 YAML 直接当作论文唯一配置。

5. 实验

5.1 Experimental Setup

【Paper】 RoboCasa-GR1-Tabletop 包含 24 个桌面厨房任务、共 24,000 条视频；作者跟随 GR00T-X-Embodiment-Sim 的 Humanoid Robot Tabletop Manipulation subset，每个任务独立运行 50 次。SimplerEnv 使用 OXE 的 BridgeDataV2 与 Fractal 子集，训练 70k steps，8 GPU、每卡 batch size 32，并在四个官方任务上评测。

【Paper】 真实实验使用桌面固定的 Franka Research 3 七自由度机械臂，输入为固定第三人称和末端第一人称两张 RGB 图，均 resize 到 224×224；total batch size 为 256，action chunk size 为 16。任务包括 cluttered waste sorting、按颜色抓 egg、以及 egg carton 中的空间放置。

5.2 Main Results

【Paper】 在 RoboCasa-GR1-Tabletop 上，VP-VLA 的平均成功率为 53.8%，相对主要 baseline QwenOFT 的 48.8% 增加 5.0 个百分点；在多阶段 PnP * to * Close 上为 54.3% 对 43.7%。在 Placemat → Plate 的 novel split，论文报告 70.0% 对 52.0%；在 Tray → Plate，为 66.0% 对 56.0%。

| Robocasa 方法 | Average | PnP _ to _ Close | | -------------------- | --------: | ---------------: | | Isaac-GR00T N1.5 | 48.2% | 45.3% | | Isaac-GR00T N1.6 | 47.6% | 24.2% | | QwenGR00T + Qwen3VL | 47.8% | 50.3% | | QwenPI + Qwen3VL | 43.9% | 42.3% | | QwenOFT + Qwen3VL | 48.8% | 43.7% | | VP-VLA + Qwen3VL | 53.8% | 54.3% |

【Paper】 在 SimplerEnv，VP-VLA 平均 58.3%，QwenOFT 为 50.0%，绝对提升 8.3 个百分点；Put Eggplant in Yellow Basket 从 70.8% 提升到 95.8%。论文表中 $\pi_{0.5}$ 与 Isaac-GR00T-N1.6-Bridge 的平均分均为 57.1%。

| SimplerEnv 任务 | QwenOFT | VP-VLA | | --------------------------------- | --------: | --------: | | Put Spoon on Towel | 58.3% | 66.7% | | Put Carrot on Plate | 50.0% | 50.0% | | Stack Green Block on Yellow Block | 20.8% | 20.8% | | Put Eggplant in Yellow Basket | 70.8% | 95.8% | | Average | 50.0% | 58.3% |

【Paper】 真实 waste-sorting 中，VP-VLA / QwenOFT 的 ID 成功率为 87.5% / 80.0%，OOD 为 85.0% / 63.3%。颜色 egg 任务中，ID、OOD-color、OOD-position 分别为 77.1%、75.0%、75.0%，baseline 为 58.3%、29.2%、54.2%。

5.3 Ablation Study

【Paper】 RoboCasa 的组件消融结果如下。完整模型 53.8%，移除 grounding loss 降到 49.4%；把 grounding 扩展到所有帧为 49.5%；把 crosshair 换成单个 point 为 47.3%；将提示直接叠加在主要 RGB 而不是采用论文的分离视觉输入设计，为 50.8%。

| 变体 | Average | | ---------------------- | --------: | | w/o grounding | 49.4% | | w/ all-frame grounding | 49.5% | | w/ point | 47.3% | | w/ direct overlay | 50.8% | | Full VP-VLA | 53.8% |

【Paper】 SimplerEnv 的 decomposition 消融显示，若同时画 object crosshair 和 location box、而不按阶段切换，平均为 57.3%；使用任务分解的设置为 58.3%。两个数字接近，但论文强调前者不具备应对长多阶段任务的明确状态机。

【Analysis】 point 的退化说明“有目标”不足以解释收益，提示的几何形状也很重要：crosshair 既指向中心又提供局部结构；而关键帧优于全帧 supervision 则支持该方法的核心立场——提示应在决策点承载语义，不应变成每帧重复的视觉水印。

5.4 Generalization

【Paper】 VP-VLA 的提升主要出现在需要重新定位与精确放置的 OOD 设置：新物体、随机初始位置、变化的外观、干扰物与新容器。真实结果中，waste sorting 的 ID→OOD 落差只有 2.5 个百分点，QwenOFT 的落差为 16.7；新颜色 egg 的 77.1%→75.0% 也优于 baseline 的 58.3%→29.2%。

【Analysis】 这不是对“所有 OOD”都成立的保证。视觉提示的泛化依赖两个上游条件：planner 必须说对对象名，SAM3 必须在新场景中分割对该对象。实验说明该链路在所测 shift 上有效，但也让误差源从一个黑盒 VLA 变成可单独观察的 planner 与 segmenter。

6. 方法分析

6.1 为什么有效？

【Analysis】 VP-VLA 同时降低了三类不确定性：

语义不确定性：System 2 将长 instruction 缩减为当前一个原子子任务，低层不用在每步重新判断全局阶段。
空间搜索不确定性：crosshair 将抓取的候选区域从整张图缩到目标局部；box 提供放置的可接受区域，而不是单点终点。
时间不确定性：夹爪 event 将昂贵的推理与低延迟控制解耦，提示只在语义可能变化时更新。

grounding loss 使第一、二项真的进入 policy 的表示空间；否则“叠加图像”有可能只是一种未被模型利用的 augmentation。

6.2 核心创新

【Paper】 将 System 2 的符号级结果投影回原生 RGB，而非向 VLA 注入一种额外 dense modality。
【Paper】 以 object anchor 与 placement constraint 区分抓取和放置阶段的空间需求。
【Paper】 以 event-driven planner 支持动态、多阶段提示，而不是给整段任务一次静态目标。
【Analysis】 把高层的错误、分割的错误、低层控制的错误显式分开；可解释性在这里是工程上的可诊断性，不只是可视化效果。

6.3 与已有方法的本质区别

| 路线 | 接口 | 主要风险 | VP-VLA 的不同点 | | --------------------------------- | ----------------------- | ---------------------------------- | ---------------------------------------- | | 端到端 VLA | language + RGB → action | 单个模型承担全部推理与控制 | 将阶段理解/grounding 与控制显式解耦。 | | 纯文本 hierarchical policy | 子任务文本 | 文本难精确给出像素级接触与放置约束 | 用 crosshair/box 给出可消费的空间提示。 | | dense mask / affordance interface | RGB + dense 新模态 | 分布不匹配、额外 encoder/fusion | 只画轻量 RGB overlay，保持输入模态一致。 | | 静态 point prompt | 第一帧点位 | 物体移动、子任务切换后提示过时 | 用 gripper event 动态重规划与重绘。 |

6.4 关键假设

【Paper】 抓取或释放等 gripper 状态变化足以作为多数子任务阶段切换的代理。
【Paper】 目标物中心与目标区域 box 是对低层控制足够的信息密度，而不必传递 dense mask。
【Paper】 预训练 VLM 能可靠输出当前实体名称，SAM3 能将文字正确 ground 到当前图像。
【Analysis】 相机视角、对象可见性和标注的子任务边界需与部署时相近；若目标被严重遮挡或动作不是由夹爪开闭分段，event heuristic 可能不再合适。

7. 局限性

7.1 作者明确提出的局限

【Paper】 论文没有单列“Limitations”章节。正文中可直接确认的边界包括：真实视觉提示除 egg carton placement 的目标位置由用户指定外，均依赖自动预测；baseline 数值部分来自原论文或同行评审文献；并且 System 2 的阶段切换在实验中使用 gripper status 这个特定物理代理。论文未明确量化 VLM 或 SAM3 出错时的失败率。

7.2 自己分析得到的局限

【Analysis】 误差会级联：VLM 若把实例名称说错，SAM3 即使分割很准也是在标错物体；System 1 会忠实执行错误目标。
【Analysis】 event 不是完成验证：夹爪闭合可能是空抓，夹爪打开也可能是意外释放。仅依靠开闭变化触发 phase switch，在接触丰富或非抓取任务上可能造成过早推进。
【Analysis】 box 只表达图像平面的放置约束，无法直接表示高度、可达性、碰撞和接触力；像素内的“正确位置”不必然是机器人可执行的 3D 位置。
【Analysis】 官方代码需要 policy、SAM3、VLM 和多个 conda 环境同时运行。分系统提升了可诊断性，但也提高部署资源、同步与延迟管理的复杂度。
【Analysis】 公开 YAML 与论文 backbone/framework 的不一致使复现实验配置存在歧义，需要作者提供准确 release tag 或 checkpoint manifest。

8. 启发与研究思考

【Analysis】 VP-VLA 最值得借鉴的不是具体的红色 crosshair 或黄色 box，而是“让中间表示迁就下游模型的既有感知能力”。如果接口必须让 VLA 新学一个模态，接口本身可能成为新的瓶颈；若接口能在 RGB 中清楚表达并由辅助目标校准，层级分工才真正成立。

接下来值得检验的方向包括：

用视觉成功判别器、力觉或 3D state 共同触发阶段切换，替代单一 gripper event。
让 planner 输出多个带置信度的对象/位置候选，由 controller 结合可达性筛选，减少单次 grounding 错误的灾难性影响。
把 box 扩展为带深度与接触姿态的 3D constraint，同时仍用 RGB-compatible rendering 保持 VLA 输入分布一致。
在更长时程、非抓取、柔性物体和遮挡交互中比较：究竟是 interface 本身泛化，还是上游 VLM/SAM3 的先验在贡献收益。

VLAC 论文精读：让 VLA 同时成为策略与过程奖励模型

Wed, 26 Aug 2026 00:00:00 GMT

1. 论文概述

论文名称：《A Vision-Language-Action-Critic Model for Robotic Real-World Reinforcement Learning》
作者：Shaopeng Zhai、Qi Zhang、Tianyi Zhang 等，Shanghai AI Lab
论文链接：arXiv:2509.15937
代码 / 模型：VLAC GitHub、Hugging Face

一句话总结

【Paper】 VLAC（Vision-Language-Action-Critic）把“当前两帧相比是否更接近语言目标”建模成一个带正负号的 progress delta：它既能作为跨任务的 dense reward 和 done signal，也能在同一自回归模型中生成机器人动作，最终接入真实世界 PPO。

核心贡献

【Paper】

用 pair-wise progress understanding 代替任务专用的 reward shaping：任意中间帧都可以作为局部起点，正值表示进展、负值表示退步。
把 3000 小时以上人类 egocentric 数据、1200 小时公开机器人数据、15 小时自采数据和 VQA 数据混合训练，使 Critic 具备跨实体、场景和任务的泛化能力。
在一个基于 InternVL 的 autoregressive backbone 中同时实现 progress、task-done、task-description、VQA 与 delta-Eef action generation。
设计低延迟、异步的真实机器人 RL 基础设施，并提供 offline demonstration replay、return and explore、human guided explore 三档人机协同。

【Analysis】 论文真正改变的是 RL 的“反馈接口”：策略不再依赖每个任务重新写 reward 和终止分类器，而是把通用多模态理解直接转成可计算的局部 TD-like 信号。

2. 背景与相关工作

【Paper】 真实世界 RL 的难点并不只是优化器，而是反馈稀疏、失败样本利用率低，以及每个任务都要重新设计 reward 和 done detector。通用 VLM 的单帧打分通常空间精度不足、对视角和光照敏感，逐帧分数也可能非单调；时间对比或 TD 表征虽然平滑，却往往缺少跨任务泛化。

VLAC 选择“比较两帧”而不是“给一帧绝对完成度”。这使数据中的任意子片段都能产生监督，也自然得到 forward / backward 的正负样本。更重要的是，任务描述、参考轨迹和两帧图像都进入同一个语言条件接口，所以 one-shot 示例可以补足新任务的语义锚点。

3. 问题定义

【Paper】 一条任务轨迹表示为 $V=(O,l_{task})$，其中 $O=(o_1,ldots,o_T)$ 是 RGB 图像序列，$l_{task}$ 是语言目标。给定任意两个时间点 $i$ 和 $i+\Delta t$，模型输出相对进度：

$$ c_{i,i+\Delta t}=\mathrm{VLAC}(o_i,o_{i+\Delta t};l_{task}) $$

Observation：一对 RGB 图像，可选当前轨迹起点、参考演示图像，以及任务语言。
Critic output：有符号的相对 progress delta；正值表示第二帧更接近目标，负值表示退步。
Done output：给定单帧和任务描述，输出完成概率 / 0-1 判断。
Action output：多视角图像、机械臂状态、任务描述和最近动作历史，输出 7 维 delta end-effector pose（x、y、z、roll、pitch、yaw、open）的数字字符串。
Embodiment：实验使用 AGILE PiPER，7-DoF 末端执行器控制；真实 RL 包含 Rice Transfer、Unfold Mat、Pick-and-Place Bowl、Desktop Sweep 等任务。

4. 方法

4.1 Overall Architecture

【Paper】 多源数据先被转成 progress、done、task-description、VQA 和 action 任务；InternVL backbone 输出统一语义 token，推理时按 prompt 选择 Critic 或 Actor 角色。RL rollout 中，8B VLAC 负责 reward / done，2B VLAC 负责动作，二者通过异步服务与机器人交互。

4.2 核心模块

Pair-wise progress critic

输入：$(o_i,o_j,l_{task})$，可附带参考轨迹。
输出：归一化的 progress delta $c_{i,j}$。
作用：将成功轨迹的自然时间顺序转成局部监督；交换两帧就得到反向样本。
数据构造：相邻帧间隔约 0.2 秒；像素差低于 1% 时标为零进展；每对样本同时构造细粒度 / 长跨度、正向 / 反向四元组；5% 概率交叉采样不匹配的任务描述并标为零。

Task completion 与 description head

【Paper】 从轨迹前 30% 与后 20% 的帧生成任务描述；前 80% 标记未完成，后 95% 标记完成，中间区间不标注以避免边界噪声。这样 Critic 不只是比较两帧，还学习“什么状态算完成”。

Action head

【Paper】 动作以语义空间中的数字模板生成，例如 x: -47mm, y: 19mm, ... open: 0。固定的非数字模板 token 不参与动作搜索，只有数值 token 记录 logits，降低自回归长度并保证输出可解析。动作使用 delta-Eef 表示，减少对具体机械臂绝对坐标系的依赖。

Multi-source representation learning

【Paper】 数据混合包括 Ego4D HOD、Bridge、Droid、FMB、RoboSet、AGIBOT、自采机器人轨迹，以及 LLaVA、SpatialQA、RobotVQA、Spot-the-diff 和 InstructPix2Pix。人类数据提供通用任务进程先验，机器人数据提供动作 grounding，差异数据集增强细粒度视觉比较。

4.3 关键公式

局部进度标签

$$ c_{i,i+\Delta t}=\frac{\Delta t}{T-i},\qquad \Delta t\in[-i+1,T-i]\cap\mathbb Z $$

【Paper】 $T$ 是轨迹长度，$i$ 是第一帧位置，$\Delta t$ 可以为正或负。该标签只描述局部窗口内的相对前进程度，不依赖轨迹从任务起点开始，因此能混用截断片段和不同采集策略的数据。

VOC / VROC / VOC-F1

$$ v_i=v_{i-\Delta t}+c_{i-\Delta t,i}(1-v_{i-\Delta t}),\quad v_0=0 $$

$$ \mathrm{VOC\text{-}F1}=2\frac{\mathrm{VOC}\cdot\mathrm{VROC}}{\mathrm{VOC}+\mathrm{VROC}} $$

【Paper】 VOC 衡量预测值与原始时间顺序的 rank correlation；VROC 在反转输入视频后评估稳定性；VOC-F1 要求二者同时高。负率 NR 则统计 $c_{i,j}<0$ 的比例，用于发现不利于任务的动作。

PPO objective

$$ L^{PPO}=\mathbb E_t\left[\min(r_tA_t,\mathrm{clip}(r_t,1-\epsilon,1+\epsilon)A_t)\right],\quad r_t=\frac{\pi_{new}(a_t|s_t)}{\pi_{old}(a_t|s_t)} $$

【Paper】 $A_t$ 由 GAE 得到。VLAC 在 action token 生成前的 hidden state 上接线性 value head；动作 token 的 logits 与 $V(s_t)$ 一起计算 PPO，并加入 entropy regularization。

4.4 Training

【Paper】 VLAC 预训练使用 batch size 3200、最高学习率 $8\times10^{-4}$，总计约 4000 小时视频 / 机器人数据，采样约 4000 万条（部分为多轮对话）。真实 RL 采用 2B actor 与 8B critic；actor 预先用约 100 条 tele-operation 轨迹初始化，critic 负责 reward 和 done。

4.5 Inference

【Code】 官方仓库的 GAC_model 通过 prompt 模板实现 pair-wise critic、trajectory critic、done 判断和 VLA action generation。视频推理默认将视频压缩到 5 FPS，并用 batch_num、skip 控制显存与比较间隔；支持 zero-shot 或提供 reference video 的 one-shot 模式。

4.6 代码实现对照

【Code】 代码仓库公开的是推理与数据处理实现，训练入口明确指向 InternVL2 / ms-swift，而不是一个独立的 PPO 训练脚本。几个关键对应关系如下：

| 论文描述 | 官方代码位置 / 行为 | | --- | --- | | pair-wise progress prompt | evo_vlac/utils/model_utils.py 中 prompt_templete['v3'] | | trajectory critic / done | GAC_model.web_trajectory_critic、get_trajectory_done | | action parsing | get_action_prompt、fast_results_format 与 data_processing_vlm.py | | 7 维动作格式 | format_songling：x/y/z、roll/pitch/yaw、open | | 训练 | README 建议参考 InternVL2 quick start；论文中的 PPO 基础设施未完整开源 |

【Analysis】 因此不能把仓库中的视频 critic API 误认为完整的 real-world RL trainer；论文报告了 Ray、ZeroMQ、vLLM / Torch inference worker 等系统，但公开仓库主要帮助复现实验接口和输出解析。

5. 实验

5.1 Experimental Setup

【Paper】 Critic 评估覆盖 Bridge、Droid、RT1、RoboNet、Dobb-E、RH20T、EgoDex、RoboFAC，重点考察新实体、新场景、新任务和成功 / 失败轨迹区分。Actor 评估使用五类桌面任务；真实 RL 主要报告四类任务，每个成功率点由 10 次 trial 计算。部署时 observation 包含 instruction、front camera image 和 robot end-pose。

5.2 Main Results

【Paper】 关键结果包括：

RT1 这类训练未见的机器人、场景和任务，在 one-shot 条件下 VOC-F1 达到 0.95；
RoboNet 没有语言标注且时间结构不平滑，zero-shot VOC-F1 为 0，但给出参考样例后显著恢复，说明模型确实依赖任务语义而非盲目拟合时间；
RoboFAC-success 的 VOC-F1 为 0.89，RoboFAC-fail 为 0.44，能够把失败过程与正常进展分开；
Actor 平均成功率为 75%，加入 lighting transfer 后为 57%，scene transfer 后为 63%，仍能在未额外采集数据的扰动环境中执行。

【Paper】 四任务 RL 的 Baseline、Return-and-explore、Human-guided explore、Offline Demonstration Replay 平均最终成功率分别为 88%、95%、98%、93%。论文摘要还报告：约 200 个真实交互 episode 内，成功率从约 30% 提升到约 90%；人机介入可进一步提高样本效率并在部分任务达到 100%。

5.3 Ablation Study

【Paper】 消融显示，去掉 task-progress pretraining 后，VLAC w/o pretrain 的平均成功率降至 16%，而完整 VLAC 为 75%；这说明进度理解不仅改善 critic，也帮助 Actor 判断“当前阶段是否真的完成”。在多机器人实验中，Pick-and-Place Bowl 达到 80% 成功率所需的每机器人 episode 数为：8 台 64、4 台 147、2 台 325；并行 embodiment 带来明显的数据效率收益。

5.4 Generalization

【Paper】 lighting transfer 通过关闭荧光灯并加入彩色闪光源，scene transfer 使用不同地点、工作台和未精确标定的视角。Actor 在这些变化下仍能生成合理动作；one-shot reference 则为新任务提供了最小的上下文锚点。

【Analysis】 这里的泛化更接近“语义与过程接口的迁移”，并不等于对任意机械臂都无需重新校准：动作仍需通过 embodiment-specific 的 pose 归一化和执行器适配落地。

6. 方法分析

6.1 为什么有效？

【Analysis】 第一，pair-wise delta 把长时程 credit assignment 拆成局部比较，减少单帧绝对打分的视角偏差。第二，负向配对和失败轨迹让模型看到“做错一步”的证据，而不是只在成功终点学习。第三，人类视频提供了比机器人数据更广的任务先验，弥补真实机器人数据稀缺。最后，Actor 与 Critic 共享 backbone，使进度表征直接影响动作阶段判断。

6.2 核心创新

【Paper】 创新点不是单独提出一个 reward model，而是把 progress、done、action 和多模态理解统一为可 prompt-control 的 autoregressive model，再用异步系统把它接进真实机器人 RL。

6.3 与已有方法的本质区别

| 路线 | 反馈形式 | 迁移代价 | | --- | --- | --- | | 手工 reward shaping | 任务专用规则 / 终点信号 | 每个任务重写 | | 单帧 VLM scoring | 绝对完成度 | 易受视角、遮挡、光照影响 | | 时间对比表征 | 隐式排序或 embedding 距离 | 通常缺少语言和跨任务语义 | | VLAC | 两帧 + 语言的 signed progress delta | 通过 prompt 或 one-shot 迁移 |

6.4 关键假设

【Paper】 成功且高效的轨迹中，时间通常与任务进度正相关；像素差很小的相邻帧可视为零进展。【Analysis】 这也带来边界：如果示教包含回退、等待、绕路或任务本身允许多种顺序，时间排序未必等于因果贡献，progress label 可能把“更晚”误当成“更好”。

7. 局限性

7.1 作者明确提出的局限

【Paper】 论文讨论了三点：人机协同的时机和 reset 选择仍依赖启发式；PPO + tokenized delta-Eef 接口与自回归动作头耦合，对 diffusion / flow-matching policy 没有直接适配；多任务在线学习仍可能出现 reward scale drift、梯度干扰和 episodic forgetting。

7.2 自己分析得到的局限

【Analysis】

$c_{i,j}=\Delta t/(T-i)$ 依赖“时间越晚越接近完成”的弱因果假设，复杂失败轨迹需要更强的 outcome-aware 标注。
VOC / VROC 主要测排序一致性，不直接测 reward 校准误差；相同排序但不同幅值仍可能导致 PPO advantage 尺度不稳定。
8B critic 的低延迟服务、2B actor、并行机器人和 replay buffer 对 GPU 与工程系统要求很高，开源仓库不足以单机复现论文完整 RL 基础设施。
论文展示了 7 维 delta-Eef action，但跨 embodiment 的坐标系、控制频率和安全约束仍需要额外适配。

8. 启发与研究思考

【Analysis】 VLAC 给出的研究方向可以概括为“把通用多模态理解变成 RL 可消费的接口”。后续值得继续追问：

能否用 uncertainty 或 calibrated value 取代固定的 progress scale，让 Critic 同时输出奖励和置信区间？
能否学习 action-agnostic 的 progress representation，再接入 diffusion policy、flow matching 或离散 token policy？
人类 intervention 是否可以从三种手工策略变成基于失败模式覆盖率和边际收益的自动调度？
多机器人 scaling 是否能与 replay prioritization、task-wise normalization 和 gradient surgery 结合，稳定多任务在线演化？

VLAC 的启示并不是“一个大模型自动解决真实世界 RL”，而是：当 dense critic、done detector、policy prior 和低延迟系统被设计成同一条闭环时，真实机器人终于有机会把失败也变成可学习的数据。

ViVa 论文精读：让视频生成模型成为机器人价值函数

Wed, 26 Aug 2026 00:00:00 GMT

1. 论文概述

【Paper】 ViVa（Video-generative Value model）针对长时程机器人任务中的价值估计问题：单帧 VLM 能理解“现在有什么”，却不一定知道动作之后会发生什么。作者将预训练视频生成器 Wan2.2 改造成一个 value function，在给定三路相机图像和机器人本体状态后，同时预测 $K$ 步之后的本体状态与当前状态的标量 value。

一句话总结

【Analysis】 ViVa 的关键不是让模型生成可观看的视频，而是借用“必须解释时空变化”的生成训练目标，让 value 预测被机器人动力学约束，从而更早发现进展和错误。

核心贡献

【Paper】

将机器人 value estimation 定义为 future anticipation 问题，指出视频生成模型比静态 VLM 更适合表达交互动态。
通过 latent injection 在不改 Wan2.2 核心 DiT 的前提下加入本体状态和标量 value 两种新模态。
联合预测未来本体状态与 value，使价值信号与 embodiment dynamics intrinsically coupled。
在衬衫折叠、纸箱包装、纸卷整理三个长时程任务上取得强相关性、事件敏感性和泛化表现；接入 RECAP 后平均成功率达到 80%。

2. 背景与相关工作

【Paper】 VLA 在大规模预训练后已能执行多种操作，但现实交互具有 partial observability、接触动力学和 delayed feedback。RL 中的 value function 负责估计从当前状态出发的期望未来回报，并据此计算 advantage、筛选更好的行为。

以 GVL、TopReward 和 $pi^*_{0.6}$ 为代表的方案主要使用 VLM：前两者从稀疏采样帧或 token 概率得到 value，后者在 RECAP 中用密集监督训练 VLM value model。【Analysis】 这些方法的共同瓶颈是 backbone 的预训练目标偏向静态图像语义，而不是显式预测“物体如何移动、接触如何改变结果”。ViVa 因此选择视频生成先验，并将预测未来本体状态作为额外的 embodiment 约束。

3. 问题定义

【Paper】 在 MDP 中，时刻 $t$ 的联合观测为 $x_t=(o_t,q_t)$，其中 $o_t$ 是三路 RGB 视角，$q_t$ 是 14 维末端执行器位姿或关节状态。策略 $pi$ 的 value 定义为：

$$V^{\pi}(x_t)=\mathbb E_{\pi}\left[\sum_{k=t}^{T}r_k\mid x_t\right].$$

模型输入是当前的 cam_left_wrist、cam_right_wrist、cam_high 和归一化本体状态；输出是 $hat q_{t+K}$ 与 $hat v_t$，其中 $hat v_t$ 表示任务进展/结果。实验固定 $K=50$。

任务包括：双臂折叠衬衫（最长 300 秒）、纸箱包装（最长 300 秒）和纸卷整理（最长 240 秒）。每个任务有 50 个 held-out episodes，并人工标注 milestone 与 error frames。

4. 方法

4.1 Overall Architecture

【Paper】 ViVa 将七帧 latent 序列送入 Wan2.2：

[blank, current state, left wrist, right wrist, high view, future state, value]

前五帧是 clean conditioning，最后两帧是加噪 target；DiT 通过 flow matching 反演 target。【Analysis】 这相当于把“未来状态”和“价值”放在同一个生成空间里，让 value 不能只依赖静态外观。

4.2 核心模块

Latent injection

图像：预训练时空 VAE 将每路图像压成 latent frame。
本体状态：先归一化到 $[-1,1]$，再 repeat-padding 到 latent frame 的 $H'\times W'\times C'$ 个元素。
标量 value：归一化后 broadcast 到整张 latent frame，使所有元素携带同一个值。
blank token：因果 VAE 所需的零帧占位符。

Wan2.2 Diffusion Transformer

【Paper】 核心 DiT 不做结构修改，只用 latent injection 扩展模态。训练时对 future-state latent 和 value latent 分别采样噪声与 flow time；推理时固定条件前缀并做 reverse diffusion。

RECAP 接口

【Paper】 ViVa 替换 RECAP 中的 VLM value model，其他 advantage 估计、二值 improvement indicator 和 advantage-conditioned policy training 保持不变。这样可以把性能变化归因于 value representation。

4.3 关键公式

Flow matching loss

令干净 latent 为 $z_0$，高斯噪声为 $z_1\sim\mathcal N(0,I)$，插值路径为：

$$z_\tau=(1-\tau)z_0+\tau z_1,\quad \tau\sim\mathcal U[0,1].$$

DiT 预测恒定速度 $z_1-z_0$，总目标为：

$$\mathcal L=\lambda_{prop}\mathbb E|v_\theta(z_\tau^q;\tau,c)-(z_1-z_0^q)|2^2+\lambda{val}\mathbb E|v_\theta(z_\tau^v;\tau,c)-(z_1-z_0^v)|_2^2.$$

其中 $c$ 是五帧 clean prefix，$lambda_{prop}=0.5$、$lambda_{val}=1.0$（实验默认值）。第一项提供 embodiment 动力学监督，第二项直接监督 value。

Outcome-aware return

【Paper】 对长度为 $T$ 的 episode，非终止步奖励为 $1/T$；成功终止奖励为 0，失败终止奖励为 1。因此：

$$G_t=\begin{cases}(T-t)/T,&success\(T-t)/T+1,&failure.\end{cases}$$

成功轨迹的 value 位于 $[0,1)$，失败轨迹位于 $[1,2)$，两者始终有 1.0 的 margin。【Analysis】 该设计把“进展快慢”和“最终是否失败”分离，避免模型把接近终点的失败状态误认为高价值。

Event Response Score

对标注事件 $k$，以事件前后窗口均值计算：

$$ERS_k=d_k\frac{V_{after}^{(k)}-V_{before}^{(k)}}{V_{before}^{(k)}+\epsilon},$$

其中 milestone 的 $d_k=+1$、error 的 $d_k=-1$。MS/ES 是两类事件的平均 ERS；MDR/ErrDR 是 ERS 大于 0 的检测比例。

4.4 Training

【Paper】 训练数据来自三任务的 demonstration 与两轮 RECAP rollout：第一轮每任务 150 成功/50 失败，第二轮 100 成功/50 失败；模型训练一个 epoch，batch size 192，使用 8 张 NVIDIA A800，$K=50$。

【Code】 VivaDataset 从 LeRobot 数据集中读取三路图像和 observation.state，以 future_offset 取未来状态；状态按训练集 min/max 归一化到 $[-1,1]$。VivaModel.training_step 对整段 latent 加噪，只在 future-state 与 value 两帧上计算 MSE flow-matching loss。

4.5 Inference

【Paper】 推理时只提供前五帧条件，reverse diffusion 生成 future-state/value 两帧。value latent 的元素均值经 $[-1,1]\to[0,1]$ 重缩放得到 $hat v_t$；future-state latent 则按 repeat-padding 的逆过程分块平均还原为 14 维状态。

【Code】 inference.py 逐帧读取 episode，调用 predict_value，将预测值写回 parquet；官方脚本默认使用 1 个 DDIM denoising step，并同时保存归一化 prediction 与按 episode 长度反归一化的 model_prediction。

4.6 代码实现对照

| 论文描述 | 官方代码位置 | 对照结果 | | --- | --- | --- | | 七帧 latent 与条件 mask | viva_utils.py, viva_model.py | [1,1,1,1,1,0,0] 与论文一致 | | Wan2.2 backbone | wan_model.py, wan/ | 加载 Wan2.2-TI2V-5B，核心 DiT 复用 | | 状态/值注入 | viva_model.py | repeat-padding 与 broadcast 均显式实现 | | 数据与未来状态 | viva_dataset.py | LeRobot，多任务配置，默认 future_offset: 50 | | 推理输出 | inference.py | 输出 [0,1] value 与 episode-scale remaining-frame 估计 |

5. 实验

5.1 Experimental Setup

三个任务分别考察柔性织物双臂协调、纸箱多阶段装配和纸张撕取/回卷。评估集每任务 50 个 episode，并标注关键里程碑与实际发生的错误。

5.2 Main Results

【Paper】 Pearson/Spearman 全局相关性如下：

| 方法 | Shirt P/S | Box P/S | Paper P/S | | --- | --- | --- | --- | | GVL | 0.276 / 0.263 | -0.081 / -0.114 | -0.099 / -0.096 | | TopReward | 0.118 / 0.090 | 0.503 / 0.499 | 0.318 / 0.241 | | $\pi^*_{0.6}$ | 0.740 / 0.720 | 0.946 / 0.945 | 0.926 / 0.936 | | ViVa | 0.984 / 0.982 | 0.868 / 0.850 | 0.952 / 0.948 |

ViVa 在衬衫和纸卷上领先，纸箱上由 $pi^*_{0.6}$ 领先。事件级指标更能反映 RL 信号质量：衬衫任务 ViVa 的 MDR/ErrDR 为 0.990/1.000，而 VLM baseline 仅 0.407/0.500。

接入 RECAP 的真实机器人成功率为：

| 方法 | Shirt | Box | Paper | 平均 | | --- | ---: | ---: | ---: | ---: | | $\pi_{0.5}$ | 60 | 40 | 40 | 46.7 | | Gigabrain-0 | 50 | 50 | 20 | 40.0 | | RECAP (VLM) | 70 | 60 | 60 | 63.3 | | RECAP (ViVa) | 90 | 70 | 80 | 80.0 |

5.3 Ablation Study

【Paper】 架构消融显示：将 VLM 换成 video generator 后，衬衫 MDR 从 0.407 提升到 1.000；加入当前 proprioception 和 future-state prediction 后，纸卷 ES/ErrDR 达到 0.055/0.778。去掉预训练视频权重会显著恶化，衬衫 ES 从 0.012 降至 -0.524。

最佳折中是 $\lambda_{prop}=0.5$、$K=50$；$K=10$ 上下文不足，$K=75$ 则引入更多噪声。

5.4 Generalization

【Paper】 在未见过的 pants folding 任务上，ViVa 的相关性为 0.819/0.799，事件敏感性 ES 为 0.037，综合指标较 $pi^*_{0.6}$ 的 0.643 提升超过 60%。

效率方面，ViVa 训练成本 4 GPU·days、推理 0.18 s/frame；VLM baseline 为 6 GPU·days、0.32 s/frame。仅预测 value 的 video variant 更快（3 GPU·days、0.11 s/frame），但事件质量下降。

6. 方法分析

6.1 为什么有效？

【Analysis】 value 的监督本质上要求模型回答“当前行为是否把系统带向成功”。未来本体状态是一个低维、可检查的中间目标：若模型无法预测合理的末端姿态/关节变化，就很难仅凭外观给出稳定 value。视频 DiT 的时空先验则提供了跨帧的运动归纳偏置。

6.2 核心创新

【Analysis】 真正的创新是把 value 从一个孤立的 discriminative head，改写成生成序列中的一个 target frame；未来状态预测不是辅助可视化，而是让 value 学会遵守 embodiment dynamics 的训练约束。

6.3 与已有方法的本质区别

VLM value model 主要对当前帧做语义判别；ViVa 通过 noisy-target denoising 学习条件分布，并在同一 latent sequence 中联合建模未来状态与回报。前者问“这帧像不像成功”，后者问“从这帧出发，系统将如何演化以及结果如何”。

6.4 关键假设

三路视觉和 14 维本体状态足以作为 MDP 状态的实用代理。
预测固定 horizon 的未来状态能提供足够的 dynamics grounding。
大规模通用视频预训练的时空先验可以迁移到机器人操作。
归一化 return 的排序与 RECAP 所需的 advantage 信号一致。

7. 局限性

7.1 作者明确提出的局限

【Paper】 受资源限制，作者尚未对 value model 做大规模预训练；跨任务泛化潜力仍留作未来工作。

7.2 自己分析得到的局限

【Analysis】 论文只评估三个任务、单一机器人形态与三路相机；代码依赖 Wan2.2-TI2V-5B 和多 GPU 训练，复现实验门槛较高。把标量 value broadcast 成整张 latent frame 虽然简单，但空间冗余可能限制更细粒度的 value uncertainty 表达。推理默认单步 DDIM 也意味着生成质量与速度之间的权衡尚未充分探索。

8. 启发与研究思考

【Analysis】 ViVa 给出的方向是“用生成模型做 critic”，而不是只把生成模型当 policy 或 world model。后续可以沿三条线推进：

让模型预测 action-conditioned future state，从 state value 走向 Q/advantage 建模；
用多步或不确定性采样估计 value interval，而不是单一标量；
在更多 embodiment 与跨任务数据上预训练，使视频先验真正转化为通用机器人动力学先验。

VideoVLA 论文精读：让视频生成器同时想象与执行

Wed, 26 Aug 2026 00:00:00 GMT

1. 论文概述

论文名称：《VideoVLA: Video Generators Can Be Generalizable Robot Manipulators》

作者：Yichao Shen、Fangyun Wei、Zhiying Du、Yaobo Liang、Yan Lu、Jiaolong Yang、Nanning Zheng、Baining Guo

机构：西安交通大学、Microsoft Research Asia、复旦大学

会议：NeurIPS 2025

论文 / 代码 / 项目：arXiv · 官方代码 · 项目主页

一句话总结

【Paper】 VideoVLA 不把视频生成仅当作可视化副产品：给定当前图像和语言指令，它在一个多模态 Diffusion Transformer 中联合预测未来视频 latent 和将要执行的动作 chunk，借由二者在每一次去噪中的耦合，把预训练视频模型的条件理解、未来演化与物理先验迁移为机器人操控的泛化能力。

核心贡献

【Paper】

将 CogVideoX 的 Video DiT 扩展为 Video-Action DiT：视频、语言与连续动作在一个统一 token 序列中交互。
提出 dual-prediction：对未来视觉结果和动作同时施加 DDPM 去噪监督，而不是只学习动作。
在 SIMPLER 和 Realman 真实机器人上测试 in-domain、新物体、跨 embodiment 新技能三类能力，并报告优于所列基线的总体结果。
分析视觉想象与执行结果的相关性：高质量 imagined future 与更可靠的动作、较高的任务成功率相关。

【Analysis】 论文的关键转向不是“在 VLA 旁边再生成一段视频”，而是要求 action token 与 future-video token 在同一生成过程里彼此解释。视频预测因此为动作施加了一个很强的反事实约束：如果这段动作真会完成指令，模型也应能同时想象出合理的后果。

2. 背景与相关工作

【Paper】 常见 VLA 主要从视觉、视觉语言或语言理解模型迁移能力，再在机器人数据上微调。它们能读懂指令、识别物体，但面对未见物体、未见任务或未见环境时，泛化仍有限。另一边，大型视频生成器在新文本/新图像条件下生成连贯未来的能力，包含物体外观、运动与部分物理动态先验。

【Paper】 VideoVLA 的出发点是两类条件生成问题的结构相似性：视频模型根据文本和首帧预测未来世界，操控策略根据语言和当前观测预测未来行为。前者的“未来”尚没有可执行动作，后者的动作也未必被显式约束其视觉后果；论文用联合生成弥合这个缺口。

【Analysis】 相比把视频生成器作为高层 planner、再由另一个 policy 跟踪计划，VideoVLA 的耦合更紧：它只训练一个生成器。代价是不能在推理时先筛选多个未来视频再选动作；收益是 action 和 video 能在扩散的每个时间步交换信息，而不是只在两个模块接口处相接。

3. 问题定义

【Paper】 给定语言指令 $\mathcal{T}$ 与当前视觉观测 $\mathcal{O}$，策略要同时输出：

$$ \mathcal{A}={\boldsymbol{a}i\in\mathbb{R}^{7}}{i=1}^{K},\qquad \mathcal{F}={\boldsymbol{F}j}{j=1}^{N}. $$

$\mathcal{A}$ 是 action chunk。每步 7 维：前三维腕部旋转、接着三维腕部平移、最后一维夹爪二值状态（0 闭合、1 张开）。
$\mathcal{F}$ 是执行该 chunk 后预期看到的未来视频。模型实际预测其 latent，而非 RGB 像素。
每次执行一个 chunk 后获取新观测，再重复预测；动作频率和视频帧频率可以不同。

【Paper】 预训练使用 OXE（Open X-Embodiment）中与前作相同的子集：约 2,250 万帧，来自 60 个数据集、22 类机器人 embodiment；真实实验另采集 5,824 个 Realman 样本，覆盖 pick、stack、place 三项任务。

| Embodied AI 项目 | VideoVLA 的选择 | | --------------------- | ------------------------------------------------------- | | Observation | 当前单帧图像，经 3D-causal VAE 编为首帧 latent | | Language | T5 编码为固定 226 个 token | | Action representation | 不离散化的连续 7D action；一次预测 6 步（论文默认实验） | | Future representation | CogVideoX 3D-causal VAE 的 future-frame latent | | Policy / decoder | 预训练 CogVideoX-5B 初始化的多模态 DiT | | Deployment | 每轮只执行预测 6 步动作中的前 3 步，然后重新观测 |

4. 方法

4.1 Overall Architecture

【Paper】 架构由两类 encoder 和一个 DiT backbone 构成：T5 把指令变成文本 token；CogVideoX 的 3D-causal VAE 把训练视频变成 latent；DiT 以文本 token 和当前首帧 latent 为条件，联合生成 future-frame latents 与 action chunk。粉色 VAE decoder 只在展示 imagined future 时使用，并不参与机器人控制输出。

【Paper】 一句话数据流：instruction + current-image latent → unified DiT → future-video latents + action chunk；训练与运行时分别如何构造/去噪，在 4.4 与 4.5 展开。

4.2 核心模块

条件编码：T5 与 3D-causal VAE

【Paper】 T5 将 $\mathcal{T}$ 编为 226 个 token $\boldsymbol{T}$。3D-causal VAE 将视频 $\mathcal{F}$ 编为 $\mathcal{V}={\boldsymbol{V}j}{j=1}^{n}$；因其因果性，$\boldsymbol{V}_1$ 只编码首帧，恰好可作为当前观测 $\mathcal{O}$ 的表示。训练时编码完整视频获得首帧和未来 latent；推理时只编码当前图像以获得 $\boldsymbol{V}_1$。

Unified Video-Action DiT

【Paper】 模型以 raster order 展平当前/未来视觉 latent，拼接文本 $\boldsymbol{T}$、当前图像 $\boldsymbol{V}'_1$、带噪未来 latent ${\boldsymbol{V}'j}{j=2}^{n}$ 与带噪动作 $\mathcal{A}$。所有模态投影至共同 embedding dimension 后，经 self-attention 在时间和模态之间交互；扩散 timestep 用 adaptive LayerNorm 注入。

【Paper】 这让模型不是先“生成视频、再由视频取动作”，也不是并排的两个 head：future-video token 与 action token 在相同 DiT block 中共同去噪。论文还比较同步与异步 schedule，默认同步训练、同步推理的 SIMPLER 平均成功率为 80.4%，高于异步训练/同步推理的 73.8% 和异步训练/异步推理的 71.0%。

双预测为何是必要约束

【Paper】 消融中，完整 dual-prediction 在 Google Robot 的 SIMPLER in-domain 三任务均值为 80.4%；只去掉 video loss 降至 27.0%，只预测 action 降至 25.5%。在新物体 / 新技能泛化上，完整模型为 65.2% / 48.6%，No video loss 为 12.7% / 4.4%，Action only 为 11.3% / 2.1%。

【Analysis】 这份消融支持“视频损失很重要”，但不单独证明提升完全来自视频模型的物理常识：同时损失也增加了预测目标、提供了稠密的时间监督。它证明的是这种联训设定有效，不等价于对每个动作都进行了显式的 model-predictive verification。

4.3 关键公式

【Paper】 对目标 future-video latents 与 action chunk 加高斯噪声后，DiT 学习同时预测噪声。可将训练目标概括为：

$$ \mathcal{L}_{\mathrm{dual}} = \lambda_v\left\lVert\widehat{\boldsymbol{\epsilon}}_v-\boldsymbol{\epsilon}_v\right\rVert_2^2

\lambda_a\left\lVert\widehat{\boldsymbol{\epsilon}}_a-\boldsymbol{\epsilon}_a\right\rVert_2^2. $$

$\boldsymbol{\epsilon}_v,\boldsymbol{\epsilon}_a$：分别加到视频 latent、动作上的高斯噪声；
$\widehat{\boldsymbol{\epsilon}}_v,\widehat{\boldsymbol{\epsilon}}_a$：模型预测的噪声；
$\lambda_v,\lambda_a$：两项损失的权重。

【Code】 公开配置 config_use/action_config/videovla_config.yaml 的 VideoDiffusionLoss_withact 将 vd_lw 与 act_lw 都设为 1，和上述等权的 dual loss 对应；该配置没有替代论文的理论定义。

4.4 Training

【Paper】 论文采用 CogVideoX-5B 初始化，预训练 100K iterations、微调 15K iterations，使用 32 张 AMD MI300X、batch size 256、AdamW（learning rate $10^{-5}$，weight decay $10^{-4}$）。仿真推理预测 13 个 future latents（49 帧）；真实机器人为效率预测 4 个 future latents（13 帧）。两种情形均预测 6 个动作。

<Algorithm number={1} title='VideoVLA Dual-Prediction Training' inputLabel='输入' outputLabel='输出'

【Code】 公开仓库提供 inference、配置和模型实现，但 README 没有给出可复现的 OXE DataLoader 或完整训练入口。仓库配置中网络是 42 层、hidden size 3072、48 attention heads，视频长度为 49；这能核对发布的推理模型规格，却不能独立复跑论文数据处理和训练报告。

4.5 Inference

【Paper】 每轮推理只输入当前观测：编码首帧后，模型从噪声中同时去噪出视频 latent 和 6 步动作；部署时只执行前 3 步，获取新图像后再次调用策略。论文默认使用 50 个 DDIM denoising steps；局限性实验为了实时性改为预测 4 个 future latents、以 10 steps 去噪，单张 H100 约 1.1 秒，有效控制频率约 3 Hz。

<Algorithm number={2} title='VideoVLA Receding-Horizon Inference' inputLabel='输入' outputLabel='输出'

4.6 代码实现对照

| 论文描述 | 官方代码位置 | 可确认的实际行为 | | ------------------- | ----------------------------------------------- | -------------------------------------------------------------------------------------------------------------- | | Video-Action DiT | dit_video_concat_withact.py | 用线性层将 7D 动作投影为 action token；最后一个 action head 输出 7D noise prediction。 | | 多模态损失 | config_use/action_config/videovla_config.yaml | VideoDiffusionLoss_withact，视频与动作权重均为 1。 | | 输入与 action shape | sample_video_action.py、inference.yaml | 推理初始化 [1, 6, 7] 的零动作；action_lenght（仓库拼写）为 6。 | | 采样配置 | videovla_config.yaml | 配置列出 VPSDEDPMPP2MSampler_withact、50 steps、Dynamic CFG scale 6。 | | 输出 | sample_video_action.py | 代码取得 samples_z, action_samples_z，但示例脚本只把解码视频写为 MP4，未把动作样本序列化或接入机器人控制器。 |

【Analysis】 论文写作中的“DDIM 50 steps”和发布 YAML 的 sampler 类名 / CFG scale 并不完全同名同值；在无训练、部署与评测脚本的情况下，不能把这份最小推理仓库视作论文全部实验的逐行复现。因此上表只报告能从公开文件直接确认的事实。

5. 实验

5.1 Experimental Setup

【Paper】 仿真使用 SIMPLER：WidowX 在 Visual Matching（VM）下评 4 个任务；Google Robot 在 VM 与 Variant Aggregation（VA）下评 Pick Up Coke Can、Move Near、Open/Close Drawer、Open and Place。VA 会改变背景、光照和桌面纹理。所有仿真模型从 OXE 训练，指标为多次 trial 的 success rate。

【Paper】 真实实验用配有 7-DoF 手臂与夹爪的 Realman；论文采集 5,824 个 pick、stack、place 样本，并对预训练模型进行微调。真实新物体测试使用 12 个训练未见物体，跨 embodiment 新技能则让 Realman 执行只在 WidowX 训练数据中出现过的动作技能。

5.2 Main Results

【Paper】 在 12 个 SIMPLER in-domain 任务的总体平均上，VideoVLA 为 63.0%，高于表中 CogACT 的 62.6%、$\pi_0$ 的 50.0%、SpatialVLA 的 47.1%、OpenVLA 的 26.0%。分组看，VideoVLA 的 WidowX-VM 平均为 53.1%，Google-VA 平均为 62.8%，Google-VM 为 73.1%（后者略低于 CogACT 的 75.2%）。

【Paper】 真实 Realman 的 in-domain 三类任务总平均为 64.6%，高于 CogACT（58.4%）、$\pi_0$（50.7%）、SpatialVLA（22.9%）和 OpenVLA（9.7%）。在 12 个真实新物体上，VideoVLA 平均为 50.6%；相较 CogACT 的 26.9%、$\pi_0$ 的 21.8%，优势主要出现在 Clear Tape、Toy Duck 等多个物体，但不是每一项都第一。

【Paper】 上图的定性案例并列展示实际执行和 predicted video。论文把可执行动作带来的视频结果称为 visual imagination，并以此说明视频与动作在外观和运动上存在对应；定性图用于展示而非替代 success-rate 统计。

5.3 Ablation Study

| 消融（Google Robot, SIMPLER VM） | Pick Up | Move | Open/Close | 平均 | | -------------------------------- | ------: | ---: | ---------: | -------: | | CogVideoX-5B 预训练（默认） | 92.3 | 82.9 | 66.2 | 80.4 | | CogVideoX-5B 从头训练 | 18.6 | 10.8 | 9.2 | 12.6 | | OpenSora-1.1 backbone | 67.7 | 57.1 | 25.9 | 50.2 |

【Paper】 预测更长未来也更好：49 / 25 / 13 个 future frames 的平均成功率依次为 80.4% / 77.4% / 75.2%。作者据此认为，更长的视觉时间视野能帮助动作预测提前考虑后果。

5.4 Generalization

【Paper】 在 SIMPLER 的 10 个新物体上，VideoVLA 平均 success rate 为 65.2%，对第二名 SpatialVLA（50.8%）领先 14.4 个点，并在 10 个物体中的 8 个上最好。Google Robot 的跨 embodiment 新技能迁移平均为 48.6%，高于 CogACT 的 20.4% 与 SpatialVLA 的 18.9%。

【Paper】 Realman 跨 embodiment 新技能迁移平均为 58.0%，超过 CogACT 的 35.1%。这些技能在 WidowX 的训练数据中存在、在 Realman 的训练数据中不存在；实验试图区分“换物体”与“换 embodiment 后学习未演示技能”。

6. 方法分析

6.1 为什么有效？

【Analysis】 预训练视频 DiT 已在大规模视频中学习“文本条件下可能发生什么”的统计规律。VideoVLA 将动作也放进同一去噪问题，迫使一个可用于 robot control 的低维输出与高维视觉后果同步。这比只用 action loss 多出两层约束：对象/指令的语义一致性，以及轨迹随时间的可见后果。

6.2 核心创新

【Analysis】 核心创新是 joint visual-action diffusion，而非仅使用 CogVideoX 初始化。若未来视频只由一个冻结模型离线打标签，动作模型未必能在 sampling 中获得视频 token 的逐步反馈；VideoVLA 的 token-level joint denoising 正是其同步策略优于异步策略的设计理由。

6.3 与已有方法的本质区别

| 方法范式 | 主要预训练先验 | 行为输出 | VideoVLA 的差异 | | --------------------------- | ----------------------------------- | --------------------------------- | ------------------------------------------------------------ | | 理解型 VLA | VLM / vision-language understanding | 动作 token 或 action chunk | VideoVLA 迁移视频生成能力，并预测动作的视觉后果。 | | 独立 video planner + policy | 未来视频与控制器分离 | planner 输出视频，policy 输出动作 | VideoVLA 让 future video 与 action 在同一个 DiT 内联合采样。 | | 纯 Diffusion Policy | 机器人轨迹分布 | 连续动作 | VideoVLA 将视频 latent 作为联合目标和生成变量。 |

6.4 关键假设

【Analysis】 方法依赖三项假设：(1) 高质量通用视频先验能转移到相机视角下的机器人场景；(2) 训练数据中的 future video 与 action 已经时空对齐；(3) 联合生成学到的相关性足以跨越 embodiment 间不同的运动学和控制接口。第三项尤其强，因为同样的图像后果可能由不同 robot action 实现。

7. 局限性

7.1 作者明确提出的局限

【Paper】 最大限制是推理速度。面向真实部署时，预测 4 个 future latents（13 帧）和 6 个动作、执行其中 3 步，在单张 H100 上约需 1.1 秒，约 3 Hz。作者将瓶颈归于 CogVideoX-5B，建议后续使用更小的 robot-oriented video generator、one-step denoising 或模型蒸馏。

7.2 自己分析得到的局限

【Analysis】

想象不是验证。 模型生成的未来视频与动作来自同一个生成模型，二者自洽不必然代表二者都对真实环境正确；论文的相关性分析也没有把 imagined future 接入显式选择、拒绝或闭环纠错机制。
视觉后果未必可辨识动作。 第三人称图像下，多种 action trajectory 可能产生相近未来帧；特别是接触力、精细夹爪状态、遮挡区域很难仅凭视频确定。
公开复现链尚不完整。 官方仓库已发布模型和示例推理，但没有完整训练/数据加载/机器人部署流程；论文的训练数据变换与全部评测细节不能只靠当前代码仓库复现。
高成本限制控制频率与探索。 3 Hz 对慢速 pick-and-place 可用，却难以应对快速接触、扰动恢复或需要大量 candidate sampling 的场景。

8. 启发与研究思考

【Analysis】 VideoVLA 值得延伸的方向不是把视频长度一味加大，而是让 visual imagination 进入决策闭环：生成多个 action-video 样本，以视觉可达性、碰撞风险或目标进展为准则重排序；执行后比较真实观测和预测，检测模型失配并触发重规划。这样视频才从训练期 auxiliary target 升级为测试期的可用 world model。

【Analysis】 跨 embodiment 的下一步也应显式引入 embodiment token、运动学约束或 action canonicalization。VideoVLA 目前用统一的 7D wrist rotation/translation/gripper 表示降低差异，但不同臂长、坐标系、夹爪与低层控制器仍会把同一“想象结果”映射到不同可行动作。

【Paper】 作者以 SIFT、SAM、SAM-PT 与 Hungarian matching 比较 imagined video 和实际 execution 的前景关键点轨迹；Google 与 WidowX 图中更高的运动相似度对应更高成功概率。在新物体 / 新技能设置中，人工评定的 visual-imagination success rate 为 84.0% / 63.4%，实际执行 success rate 为 65.2% / 48.6%。这表明 imagination 有信息量，也同时显示从“看起来合理”到“真实执行成功”仍有明显落差。

TwinBrainVLA 论文精读：冻结通用大脑的双流 VLA

Wed, 26 Aug 2026 00:00:00 GMT

1. 论文概述

论文名称：《TwinBrainVLA: Unleashing the Potential of Generalist VLMs for Embodied Tasks via Asymmetric Mixture-of-Transformers》

作者：Bin Yu、Shijie Lian、Xiaopeng Lin 等（中关村科学院、哈尔滨工业大学等）

论文链接：arXiv:2601.14133

代码链接：ZGC-EmbodyAI/TwinBrainVLA

实现链接：Phys-Brain/PhysBrain-VLA

一句话总结

【Paper】 标准 VLA 把预训练 VLM 直接在机器人数据上微调，控制能力变强的同时却遗忘了开放世界视觉语义。TwinBrainVLA 复制两条同构 VLM 路径：冻结的 Left Brain 作为语义锚点，训练的 Right Brain 负责本体感知与控制；通过单向 Asymmetric Mixture-of-Transformers（AsyMoT），Right Brain 在每层注意力中查询 Left Brain 的 Key-Value，再由 Flow-Matching Action Expert 生成连续动作。

核心贡献

【Paper】

用 POPE、SEED-Bench、ScienceQA 和 MME 追踪 VLA 微调过程，展示只用机器人数据、甚至混入通用视觉问答数据，仍会出现严重的 catastrophic forgetting。
提出双流架构：Left Brain 始终冻结并保留通用能力，Right Brain 专门学习 sensorimotor control，并额外接收 proprioceptive state。
提出 AsyMoT：Right Brain 的 Query 同时访问自身 KV 与 Left Brain KV；Left Brain 只做自己的 self-attention，因此信息流是单向的。
在 SimplerEnv、RoboCasa、LIBERO 和 Franka Research 3 实验中验证 OOD 泛化，并通过 freezing、交互频率和 twin-to-one distillation 做补充分析。

2. 背景与相关工作

【Paper】 VLA 的吸引力在于把互联网规模 VLM 的语义先验迁移到机器人：模型应该能识别未见过的物体、理解组合指令，并把这些知识用于长时域规划。但机器人数据的目标是精确预测低层动作，和 VLM 预训练的语言/视觉目标并不一致。直接最小化 action loss 会把 backbone 推向窄域 controller，牺牲原本的 generalist brain。

论文对比了三类缓解思路：混入通用 QA 数据的 co-training、加入 Chain-of-Thought 的 VLA，以及通过数据工程避免视觉 shortcut。TwinBrainVLA 的取舍是结构性隔离：不要求每轮微调都重新维护通用数据，而是保留一份永不被 action loss 改写的语义副本。

3. 问题定义

【Paper】 给定多视角图像 $I$、语言指令 $T$、机器人本体状态 $s$ 和示教动作序列 $a$，学习一个连续控制策略：

$$ \pi(a_{t:t+H}\mid I_{t}, T, s_t) $$

其中 $H$ 是 action horizon，动作可以包含末端位姿、夹爪或关节控制量。论文实验主要使用 Qwen2.5-VL-3B-Instruct 和 Qwen3-VL-4B-Instruct 两种 backbone；训练数据来自 OXE 的 Bridge-V2、Fractal，以及 RoboCasa 使用的 PhysicalAI-Robotics-GR00T-X-Embodiment-Sim。代码实现还支持多 embodiment 条件和 action query token。

这里的核心约束不是“如何再加一个视觉 encoder”，而是：如何在 Right Brain 专门化时，让控制策略仍能访问没有被机器人数据污染的语义表示？

4. 方法

4.1 Overall Architecture

【Paper】 两条同构 VLM 接收图像和指令；Left Brain 只接收 $(I,T)$ 并冻结，Right Brain 接收 $(I,T,s)$ 并训练。每个 Transformer 层内，Right Brain 用自己的 Query 拼接两条路径的 KV 做注意力，最后将 Right Brain 表示交给 Action Expert 生成连续动作。训练与推理的具体循环分别见 4.4 和 4.5。

4.2 核心模块

Left Brain：冻结的 Generalist

输入：视觉观测 $I$ 与文本指令 $T$。
输出：语义 hidden states $H_L$，以及每层的 $K_L,V_L$。
作用：作为 semantic capability reservoir，保留 VLM 预训练的 open-world knowledge。
为什么需要：如果它参与 action loss 的梯度更新，就会重新落入单流 VLA 的遗忘路径。

【Paper】 Left Brain 从训练开始到结束都保持冻结。【Code】 PhysBrainVLA.py 的 MoT_Qwen_VL_Interface 载入两份独立 VLM，并在 freeze_left_vlm 为真时调用 freeze_qwen_vl；前向时还对 Left Brain 的 hidden/KV 使用 detach，确保 joint attention 不把梯度传回左路。

Right Brain：带状态的 Specialist

输入：图像 $I$、指令 $T$、proprioceptive state $s$，以及代码实现中的 <|propri|>、<|action|> 特殊 token。
中间模块：vision encoder、text tokenizer、state encoder $\phi$、Right VLM Transformer。
输出：用于 action expert 的条件表示 $H_R$，或 action query token 的 hidden states。
作用：让可训练路径专门吸收机器人动力学、embodiment 差异和动作时序。

状态编码器把关节角等状态投影到 VLM embedding 空间：

$$ H_R^0=[V(I);T(T);\phi(s)] $$

【Code】 公开的 PhysBrain 实现比论文初版更具体：Right Brain 可使用 prior/posterior 两种 action-token 排布，并引入 LLR regularization 防止模型过度依赖 Left Brain KV；这属于集成实现的扩展，不应倒推为 arXiv 论文正文的核心训练目标。

AsyMoT：单向语义桥

【Paper】 在第 $l$ 层，Left Brain 只做自身注意力：

$$ H_L^{l+1}=\operatorname{Attn}(Q_L^l,K_L^l,V_L^l)+\operatorname{FFN}(H_L^l) $$

Right Brain 则构造：

$$ K_{joint}^l=[\operatorname{sg}(K_L^l);K_R^l],\quad V_{joint}^l=[\operatorname{sg}(V_L^l);V_R^l] $$

再用 $Q_R^l$ 查询：

$$ H_R^{l+1}=\operatorname{Softmax}!\left(\frac{Q_R^lK_{joint}^{l\top}}{\sqrt{d_k}}\right)V_{joint}^l+\operatorname{FFN}(H_R^l) $$

它和 Cross-Attention 的差别是：Cross-Attention 的 Query 通常只能看另一路 KV；AsyMoT 让 Right Brain 同时看 Left Brain 和自己的上下文，因此既能读取语义锚点，又不会丢掉本体状态与动作 token 的局部信息。

【Code】 private/PhysBrainVLA.py 在每一层分别投影两路 QKV，并以 torch.cat([f_k, t_k], dim=2)、torch.cat([f_v, t_v], dim=2) 构造联合 KV；mot_attention_mode='unidirectional' 时 frozen stream 只看自身，trainable stream 看联合 KV。代码还实现了 full_joint 作为消融/兼容模式。

Flow-Matching Action Expert

输入：Right Brain 条件 $H_R$ 与噪声动作 $a_0$。
输出：长度为 $H$ 的连续动作轨迹 $a_1$。
模块：条件 Diffusion Transformer（DiT）/ FlowmatchingActionHead。
作用：把离散 token 级语义转换为平滑的连续控制。

论文使用向量场回归：

$$ \mathcal L_{action}=\mathbb E_{t,a_0,a_1}\left[\left|v_\psi(a_t,t,H_R)-(a_1-a_0)\right|_2^2\right] $$

其中 $a_0$ 是高斯噪声，$a_1$ 是真实动作，$a_t$ 是两者之间的插值，$v_\psi$ 是 DiT 预测的速度场。【Analysis】 这一步把“通用语义是否被保留”和“动作轨迹如何去噪”解耦：前者由双脑表示负责，后者由 action expert 负责。

4.3 关键公式

论文的总目标只对机器人动作优化：

$$ \mathcal L_{total}=\mathcal L_{action}(\theta_R,\psi,\phi;D_{robot}) $$

$\theta_R$：Right Brain 可训练参数；
$\psi$：Flow-Matching Action Expert 参数；
$\phi$：state encoder 参数；
$D_{robot}$：机器人示教数据集。

【Paper】 与单流 VLA 的关键差异是，action loss 不需要直接约束 Left Brain；冻结本身就是保持语义能力的结构先验。【Analysis】 这会把优化问题变成“允许右脑遗忘、但禁止整个系统失去语义锚点”，而不是要求一组参数同时满足两个相互冲突的目标。

4.4 Training

【Paper】 SimplerEnv 使用 OXE Bridge-V2 与 Fractal 子集；RoboCasa 使用 Humanoid Tabletop Manipulation 数据。实验训练基于 starVLA，使用 16 张 NVIDIA H100，并保持两条 VLM 以相同预训练权重初始化。Left Brain 不更新，Right Brain、state encoder 和 action expert 由 flow-matching action loss 更新。

【Code】 官方 TwinBrainVLA 仓库目前主要提供 README 和架构资产，完整可运行的模型逻辑在 PhysBrain-VLA 的 physbrain_vla/PhysBrainVLA.py；代码实际会加载两份 VLM，显存成本近似翻倍，并支持 Qwen2.5-VL、Qwen3-VL（以及集成分支中的 Qwen3.5）。

4.5 Inference

【Paper】 推理时不需要 CVAE 或额外语义数据：机器人读取图像、指令和状态，Left Brain 产生冻结的语义 KV，Right Brain 通过 AsyMoT 查询它们，Action Expert 从噪声动作开始沿 learned vector field 去噪，输出一个连续动作 chunk，再交给底层控制器执行。

【Code】 PhysBrain 实现会定位 <|action|> query token 的 hidden states 作为 action head 条件，并支持按 embodiment id 注入机器人类型；这说明公开实现已经把论文中的“状态条件”落实为具体 token/embedding 接口。

4.6 代码实现对照

| 论文概念 | 官方实现位置 | 实际行为 | | --- | --- | --- | | 双 VLM | physbrain_vla/PhysBrainVLA.py:MoT_Qwen_VL_Interface | 载入 frozen_vlm 与 trainable_vlm 两份模型 | | 冻结 Left Brain | physbrainvla_conf/utils.py、freeze_left_vlm | 冻结参数，前向结果 detach；可切换为不冻结做消融 | | AsyMoT | private/PhysBrainVLA.py 的逐层 attention loop | Right Q 查询 [frozen KV; trainable KV]，默认单向 | | 状态输入 | build_qwenvl_inputs、embodiment_conditioned_mlp.py | <|propri|> token、state encoder 与 embodiment id | | Action Expert | starVLA/.../GR00T_ActionHeader.py | FlowmatchingActionHead / DiT 负责连续动作 | | 训练与部署 | deployment/、README.md | 仓库 README 称 TwinBrainVLA 已集成到 PhysBrain 1.0；原始论文仓库本身没有独立训练脚本 |

5. 实验

5.1 Experimental Setup

【Paper】 主要指标是独立试验的平均成功率：SimplerEnv 每个任务 Avg@480，RoboCasa 每个任务 50 次，真实 Franka 任务每个设置 30 次。SimplerEnv 包含 WidowX 的四个 OOD 操作；RoboCasa GR1 Tabletop 包含 24 个带铰接物体的操作任务；真实实验使用 Franka Research 3，训练 300 条遥操作轨迹。

5.2 Main Results

【Paper】 SimplerEnv 的平均成功率如下：

| 方法 | Qwen2.5-VL-3B | Qwen3-VL-4B | | --- | ---: | ---: | | Vanilla VLA | 52.5 | 55.2 | | Isaac-GR00T-N1.6-Bridge | 57.1 | 57.1 | | TwinBrainVLA | 58.4 | 64.5 |

Qwen3-VL-4B 版本相对最强基线提升 $+7.4$ 个百分点。RoboCasa 24 任务平均成功率为 Qwen2.5-VL-3B 53.5%、Qwen3-VL-4B 54.6%，高于 Isaac-GR00T-N1.6 的 47.6%、QwenGR00T 的 47.8% 和 QwenPI 的 43.9%。LIBERO 四个 suite 合并训练时，TwinBrainVLA 达到 97.6% 平均成功率。

真实 Franka 结果也体现 OOD 差异：

| 方法 | In-Domain | OOD | Pick-All | | --- | ---: | ---: | ---: | | OpenVLA | 7/30 | 0/30 | 0/30 | | π0.5 | 28/30 | 13/30 | 2/30 | | Vanilla VLA | 22/30 | 9/30 | 0/30 | | TwinBrainVLA | 28/30 | 15/30 | 3/30 |

【Analysis】 绝对收益在 In-Domain 上并不夸张，主要差异出现在改变颜色的 OOD 和 Pick-All 长时域任务；这和论文“保留通用语义”的动机是相符的，但仍不能据此断言它已经解决了开放世界泛化。

5.3 Ablation Study

【Paper】 去掉冻结策略（让 Left Brain 也训练）后，Qwen3-VL-4B 在 SimplerEnv 的平均成功率从 64.5% 降至 58.8%，约下降 5.7 个百分点；论文正文将其概括为约 7% 的下降。去掉 Left Brain 和跨脑连接后退化为 Vanilla VLA，平均性能约下降 7 个百分点。

AsyMoT 交互频率的消融显示，过度稀疏的跨脑连接会损害性能：Qwen3-VL-4B 在间隔 $k=8$ 层时为 61.9%，而完整连接为 64.5%；不过 Qwen2.5-VL-3B 在 $k=1$、Qwen3-VL-4B 在 $k=2$ 有轻微波动优势，说明“每层交互”不是普适最优的唯一选择。

5.4 Generalization

【Paper】 论文的泛化证据来自三个层次：SimplerEnv 的 OOD 场景、LIBERO 跨 suite 合并训练、以及真实 Franka 中改变颜色并要求 Pick-All。另一个补充实验是 twin-to-one distillation：用 TwinBrainVLA 作为 teacher，把语义增强的 Right Brain 表示蒸馏给单流 student，平均成功率从 Vanilla VLA 的 55.2% 提升到 58.4%，但仍低于 teacher 的 64.5%。

6. 方法分析

6.1 为什么有效？

【Analysis】 TwinBrainVLA 的收益来自三个互补约束：

表示锚定：Left Brain 的参数和 KV 不被 action loss 改写，语义空间不会随窄域机器人数据漂移。
可训练专化：Right Brain 可以大胆学习状态、接触和 embodiment，而不必保护同一组参数的聊天能力。
逐层读取：AsyMoT 不是只在末端拼接一个视觉特征，而是在每个 Transformer block 让控制流按 Query 选择需要的语义 token。

6.2 核心创新

【Paper】 真正的创新不是简单复制 VLM，而是把“语义保持”从正则项变成网络拓扑：单向联合 KV、stop-gradient 和独立参数共同形成不对称的信息流。Flow Matching 则沿用当前 VLA 常见的连续动作生成范式。

6.3 与已有方法的本质区别

| 路线 | 防遗忘方式 | 代价 | | --- | --- | --- | | Co-training | 混入通用 QA 数据 | 数据配比、标注和任务冲突难以控制 | | CoT-VLA | 让模型学习显式推理链 | 需要昂贵的 embodied CoT 标注 | | TwinBrainVLA | 结构性冻结语义副本，并让控制流查询它 | 多一份 VLM 的显存与推理计算 |

【Analysis】 这是一种“用算力换数据工程”的设计：它把防遗忘的维护成本从数据侧转移到了模型侧。

6.4 关键假设

两条 VLM 以相同 checkpoint 初始化后，Left/Right hidden space 足够对齐，联合 KV 才有意义。
预训练 VLM 已经包含与机器人任务相关的物体、空间和指令语义；瓶颈主要在控制适配而非知识缺失。
Right Brain 的 Query 能学会选择 Left Brain 中有用的 token，而不是把跨脑连接当作捷径。
双倍 backbone 的计算开销在训练和部署预算内可接受。

7. 局限性

7.1 作者明确提出的局限

【Paper】 第一，双 VLM 导致训练和部署成本显著高于单流 VLA；论文承认这是效率上的主要限制。第二，AsyMoT 虽然让 Right Brain 读取通用能力，但“如何把高层语义无缝融合进低层策略”仍未完全解决，作者将更深层的 semantic fusion 列为未来工作。

7.2 自己分析得到的局限

【Analysis】

论文中 catastrophic forgetting 的诊断主要是 VLM benchmark 曲线，尚未建立“某个语义能力被保留”到“某个机器人 OOD 成功”的逐样本因果对应。
SimplerEnv、RoboCasa 和 Franka 的提升来自不同数据与 embodiment，跨设置的统一 scaling law 仍未知；两条 VLM 还可能共享同一视觉偏差。
公开 TwinBrainVLA 仓库主要是说明与架构资产，完整训练实现转移到 PhysBrain-VLA，论文版本和集成版本之间存在 LLR、action token、embodiment conditioning 等扩展，复现实验需要仔细对齐 commit 与配置。
两份模型都执行视觉编码和 Transformer 计算，部署时延、显存和能耗可能抵消部分泛化收益；twin-to-one 只展示了初步蒸馏结果。

8. 启发与研究思考

【Analysis】 TwinBrainVLA 提供了一个值得继续追问的抽象：VLA 是否应该把“知识保持”和“控制专化”设计成两个不同的生命周期？从这个视角出发，可以探索：

用低秩 adapter 或 KV cache 压缩 Left Brain，降低双流部署成本；
让跨脑连接按任务、层或 token 动态稀疏，而不是固定每层连接；
用语义一致性、空间问答和动作成功率的联合评估，测量哪些 general capabilities 真正转化成 control gains；
将 twin-to-one distillation 变成持续蒸馏，让单流 student 在新 embodiment 上继承冻结语义锚点；
把 Left Brain 扩展为可检索的多专家 memory，而不是一份固定 VLM 副本。

Training-Time Action Conditioning 论文精读

Wed, 26 Aug 2026 00:00:00 GMT

1. 论文概述

论文名称：《Training-Time Action Conditioning for Efficient Real-Time Chunking》
作者：Kevin Black、Allen Z. Ren、Michael Equi、Sergey Levine
机构：Physical Intelligence
论文链接：arXiv
代码状态：论文没有给出独立代码仓库；本文的 【Code】 对照来自论文附录 Algorithm 1 的 JAX 参考实现。

一句话总结

【Paper】 Real-Time Chunking（RTC）为了让异步 action chunk 连续，会在每次 denoising 时用 pseudoinverse guidance 做 inference-time inpainting；本文改为在训练阶段随机模拟 inference delay，让模型直接学习 action prefix → action postfix，因此推理时只需普通 action generation。

核心贡献

【Paper】

将推理延迟 $d$ 显式加入训练过程，用真实 action prefix 条件化 postfix。
只需三处轻量修改：每个 action token 使用独立 flow-matching timestep、prefix 设为 clean action、loss 只计算 postfix。
不改模型主干和机器人 runtime，训练好的策略与 inference-time RTC 使用相同接口。
在动态 Kinetix 仿真中，$d\ge 2$ 时训练时方法优于 inference-time RTC；在 $π_{0.6}$ 的 box building 与 espresso making 中，保持相近成功率并缩短推理延迟。

2. 背景与相关工作

VLA 的动作 chunk 通常比控制周期长。模型还在生成下一段动作时，机器人必须继续执行上一段，否则每个 chunk 之间会出现停顿。RTC 的做法是异步生成下一段，并把上一段与当前段重叠的动作作为 prefix，通过 inference-time inpainting 固定 prefix、生成剩余 postfix。

【Paper】 这个设计有两个代价：第一，inpainting 每个 denoising step 都需要 vector-Jacobian product（等价于额外反向传播），增加 latency；第二，prefix 越长，基于模型 Jacobian 的线性化越难保持整个 postfix 的一致性。

【Paper】 与 SmolVLA 的异步执行相比，RTC 专门处理了 chunk discontinuity；与 A2C2、VLASH 相比，本文不添加 correction head，也不只看一个未来动作，而是条件化完整 hard prefix。它与更小的 VLA 或层级式 VLA 正交：那些方法减少模型计算，本文则减少实时控制路径上的额外计算。

3. 问题定义

【Paper】 设策略在观测 $\mathbf{o}_t$ 下生成长度为 $H$ 的动作 chunk：

$$ \mathbf{A}t=[\mathbf{a}t,\mathbf{a}{t+1},\ldots,\mathbf{a}{t+H-1}]\sim p(\mathbf{A}_t\mid\mathbf{o}_t). $$

Prediction horizon $H$：一次预测的动作步数。
Execution horizon $s$：一段 chunk 实际执行的步数，满足 $s\le H$。
Inference delay $d$：从 $t$ 开始推理，结果在 $t+d$ 才可用的控制步数。
Action prefix：当前 chunk 的前 $d$ 步，它们在等待模型时由上一 chunk 提供。
Action postfix：从 $t+d$ 开始、真正需要模型生成的部分。

有效 prefix 要满足 $d\le H-s$。训练时学习的条件分布从原来的 $p(\mathbf{A}_t\mid\mathbf{o}_t)$ 变为：

$$ p(\mathbf{A}_{t+d:H}\mid\mathbf{o}t,\mathbf{A}{t:t+d}). $$

4. 方法

4.1 Overall Architecture

【Paper】 输入是观测、带噪 action chunk 和逐 token 的 flow-matching timestep；prefix token 输入 ground-truth action 且 timestep 固定为 1.0，postfix token 仍按普通 flow matching 加噪并预测。数据流可以概括为：observation + clean prefix + noisy postfix → action expert / DiT → postfix velocity。

4.2 核心模块

Action Prefix Conditioning

输入：当前观测、长度为 $d$ 的真实 prefix、延迟 $d$。
输出：长度为 $H-d$ 的 postfix action chunk。
作用：把“上一段已经承诺的动作”变成模型可直接读取的条件，而不是在每个采样步用梯度把输出拉回 prefix。
为什么需要：异步 chunk 的连续性是实时控制的硬约束；直接条件化比推理时纠偏更便宜。

Per-token Flow-matching Time

【Paper】 普通 flow matching 给整个 chunk 一个 timestep $\tau$。本文让 prefix token 使用 $\tau=1$，postfix token 使用采样得到的 $\tau\in[0,1]$。对采用 adaLN-zero 的 diffusion transformer，这只需要让 scale、shift、gate 沿 token 维变化，不增加可学习参数。

Postfix-only Loss Mask

prefix 是条件，不是预测目标。因此训练 loss 只在 postfix token 上计算；否则模型会被迫重建已经给定的 prefix，浪费监督并削弱对延迟的适配。

4.3 关键公式

本文沿用 conditional flow matching。对动作 chunk 加入高斯噪声：

$$ \mathbf{A}_t^\tau=\tau\mathbf{A}_t+(1-\tau)\boldsymbol{\epsilon},\qquad \boldsymbol{\epsilon}\sim\mathcal{N}(\mathbf{0},\mathbf{I}). $$

模型 $\mathbf{v}_\theta$ 预测从噪声流向数据的 velocity，标准目标为：

$$ \mathcal{L}{\mathrm{FM}}= \mathbb{E}\left|\mathbf{v}\theta(\mathbf{A}_t^\tau,\mathbf{o}_t,\tau)- (\boldsymbol{\epsilon}-\mathbf{A}_t)\right|_2^2. $$

训练时把 timestep 改成向量 $\boldsymbol{\tau}$：

$$ \tau_i=\begin{cases} 1,&i<d\ \tau,&i\ge d \end{cases}, \qquad \mathcal{L}{\mathrm{post}}= \frac{\sum{i=d}^{H-1}\ell_i}{H-d}. $$

这里 $i$ 是 action token 索引，$d$ 是 prefix 长度，$\ell_i$ 是第 $i$ 步的 flow-matching 误差。$\tau_i=1$ 使 prefix 保持 clean；postfix 才参与 denoising 与梯度更新。

4.4 Training

【Paper】 每个 batch 随机采样 delay $d$，而不是为每种 latency 单独训练一个 checkpoint。仿真中先以普通 action chunking 训练 32 epochs，再从第 24 epoch 继续 fine-tune 8 epochs；delay 从 ${0,1,2,3,4}$ 中按指数衰减分布采样。真实实验从基础模型 fine-tune 8,000 steps，batch size 为 512，delay 在 $[0,10]$ 均匀采样，覆盖 50 Hz 控制器上的最多约 200 ms 延迟。

4.5 Inference

【Paper】 推理接口与 inference-time RTC 相同：输入当前观测、padding 后的 prefix 和 delay，输出 postfix。区别在于采样过程中不再计算 pseudoinverse guidance 或 vector-Jacobian product；每一步只需普通模型前向和 prefix 覆盖。

<Algorithm number={2} title='Training-time RTC action generation' inputLabel='输入' outputLabel='输出'

4.6 代码实现对照

【Code】 论文附录 Algorithm 1 给出了 JAX 参考实现：compute_loss 中新增 delay、prefix_mask 和 postfix_mask 三段逻辑；sample_actions 中每个积分步都用 jnp.where 把 prefix 写回 x_t，并给 prefix 使用 timestep 1.0。这说明方法并不要求重写 action expert，只需要让模型接受形状为 (batch, horizon) 的 timestep。

【Code】 论文没有提供独立 GitHub 仓库、训练配置或 checkpoint，因此无法进一步核对数据加载、优化器和部署脚本。上面的代码对照仅覆盖附录中明确展示的 loss 与 sampling 行为。

5. 实验

5.1 Experimental Setup

【Paper】 仿真使用 dynamic Kinetix，预测 horizon $H=8$、4-layer MLP-Mixer、32 epochs，2048 次 rollout 统计每个点的 binary solve rate，测试 $d=0\ldots4$。对比项为 naive async、inference-time RTC 和 training-time RTC。

真实实验使用 $\pi_{0.6}$ VLA，在 box building 与 espresso making 两个任务上 fine-tune；机器人控制频率为 50 Hz，远程 H100 上使用 5 个 denoising steps。训练时 RTC 平均端到端延迟为 108 ms（约 $d=5$），inference-time RTC 为 135 ms（约 $d=7$）。

5.2 Main Results

【Paper】 仿真曲线显示：在 $d=0$ 与 $d=1$，training-time RTC 与 inference-time RTC 接近，前者略低；从 $d=2$ 起，training-time RTC 超过 inference-time RTC，且延迟越高差距越明显。naive async 随 delay 增长下降最快。

【Paper】 在两个真实任务上，training-time 与 inference-time RTC 的成功率和执行时长相近，但都比 synchronous inference 更快。论文的关键结论不是“训练时方法一定更准”，而是用少量额外训练换掉了实时路径中的额外计算。

5.3 Ablation Study

论文没有单独的组件 ablation 表，而是用不同 delay 的横向比较验证设计目标：当 prefix 变长、inference-time inpainting 需要修正的 token 增多时，training-time RTC 的优势扩大。

【Analysis】 这同时暴露了一个 trade-off：$d=0/1$ 时 postfix 更长，普通模型得到更多直接监督，因此专门训练 prefix 的 checkpoint 不一定占优；延迟较大时，条件化带来的分布匹配收益才超过监督被 mask 掉的损失。

5.4 Generalization

【Paper】 真实实验表明，基础模型并未预训练 action-prefix conditioning，仍可通过目标任务上的 8,000 steps fine-tuning 加入该能力。训练时均匀采样 $d\in[0,10]$，因此同一个 checkpoint 能覆盖一段延迟范围，而不是只适配单一 latency。

6. 方法分析

6.1 为什么有效？

【Analysis】 inference-time inpainting 把“已承诺的 prefix”当作采样过程中的软约束，需要在每个 denoising step 通过模型 Jacobian 修正 postfix；training-time conditioning 则直接改变学习目标，让模型参数化的就是 $p(\text{postfix}\mid\text{observation},\text{prefix})$。前者是在推理时补救，后者是在训练时消除分布错配。

6.2 核心创新

【Analysis】 创新点不在新的 backbone，而在把系统 latency 变成数据生成变量：delay distribution → prefix length → per-token flow time → masked loss。这种改法保留了 RTC 的异步 runtime，却把计算预算从每次 rollout 转移到一次性的 fine-tuning。

6.3 与已有方法的本质区别

| 方法 | 连续性来源 | 额外运行时计算 | 延迟适配方式 | | ------------------ | ----------------------------------------- | -------------- | ----------------------------- | | Naive async | 无显式 prefix 约束 | 低 | 不适配，chunk 间可能出现 jerk | | Inference-time RTC | denoising 时 pseudoinverse / soft masking | 高 | 推理时可灵活改变 | | Training-time RTC | 训练好的 hard prefix 条件化 | 接近普通采样 | 训练时采样 delay 分布 |

【Analysis】 因此两种 RTC 不是简单的“训练版”和“推理版”实现细节，而是把连续性约束放在不同时间尺度：一个放在每次 action generation，一个放在策略学习阶段。

6.4 关键假设

【Paper】 方法依赖三个假设：实际 prefix 来自与训练数据一致的 action chunk；延迟可以用有限分布 $d$ 近似；模型架构能够为不同 action token 提供不同 flow timestep。若执行中出现训练分布之外的延迟或 prefix 被低层控制器严重修改，论文没有给出保证。

7. 局限性

7.1 作者明确提出的局限

【Paper】 training-time RTC 只能处理与 delay 对应的 hard prefix，不能像 inference-time RTC 那样对 prefix 之后的重叠动作做 soft conditioning；此外，delay 的训练分布需要根据预期推理延迟认真选择。

7.2 自己分析得到的局限

【Analysis】

prefix loss 被完全 mask 后，低 delay 下早期动作获得的监督减少，解释了仿真中 $d=0/1$ 的轻微退化。
训练时使用 ground-truth prefix，部署时 prefix 来自模型历史输出，存在 teacher-forcing 与 closed-loop 分布差异。
一个 checkpoint 覆盖宽 delay 区间更方便，但可能不如按硬件和网络状态分别训练的 checkpoint；论文也提到为每个 delay 单独投入训练计算可能更好。
论文只在 Kinetix、两个真实任务和 $\pi_{0.6}$ 上验证，尚不足以说明在不同 action expert、不同控制频率或大规模多任务 VLA 上同样成立。

8. 启发与研究思考

【Analysis】 这篇工作给实时机器人系统一个很实用的设计原则：当 runtime 为了满足约束而反复做梯度修正时，可以先问“这个约束能否被搬到训练分布里”。如果答案是肯定的，最有价值的优化可能不是再造一个更小的模型，而是让模型在训练时看到真实的延迟、缓存和 prefix。

对后续研究，我认为有三条路线值得尝试：

用在线测得的 latency 分布替代手工设定的 delay sampler，并在训练中动态重加权。
让 hard prefix 与 soft prefix 共存：短 prefix 使用训练时条件化，较远的重叠动作使用轻量 correction，而不是完整 pseudoinverse guidance。
将 prefix 的可信度、低层跟踪误差和通信抖动一并作为条件，学习真正面向 deployment 的 action continuation policy。

TraceVLA 论文精读：用视觉轨迹提示补上 VLA 的时空记忆

Wed, 26 Aug 2026 00:00:00 GMT

1. 论文概述

论文名称：《TraceVLA: Visual Trace Prompting Enhances Spatial-Temporal Awareness for Generalist Robotic Policies》

作者：Ruijie Zheng、Yongyuan Liang、Shuaiyi Huang、Jianfeng Gao、Hal Daumé III、Andrey Kolobov、Furong Huang、Jianwei Yang

论文链接：arXiv · 代码：umd-huang-lab/tracevla · 项目主页：tracevla.github.io

一句话总结

【Paper】 TraceVLA 不把一串高度相似的历史图像直接塞进 VLA，而是用 Co-Tracker 找到运动中的点，把它们的轨迹画在当前图像上，再将“原图 + 轨迹图”作为多模态提示输入模型。这样，VLA 可以同时看到清晰的当前状态和紧凑的历史运动线索。

核心贡献

【Paper】

提出 Visual Trace Prompting：用稠密点跟踪与 active-point 筛选，把状态—动作历史编码为 2D 视觉轨迹。
基于 OpenVLA 微调 7B TraceVLA，并用约 150K 条带轨迹标注的机器人操作数据训练；另提供基于 Phi-3-Vision 的 4B 版本。
在 SimplerEnv 的 137 个配置和 WidowX-250 真实机器人任务上验证，7B 模型在 SimplerEnv 的 overall success rate 为 47.7%，比 OpenVLA 的 40.2% 高 7.5 个百分点；真实 corn pick-place 任务达到 8/10，而 OpenVLA 为 1/10。

2. 背景与相关工作

【Paper】 VLA 将视觉—语言基础模型与机器人动作 token 对齐，具备跨任务、跨物体和跨场景的泛化潜力。但典型 VLA 推理只把当前图像 $o_t$ 映射为动作 $a_t$，模型容易对当前帧做反应式决策，却不知道机械臂刚刚从哪里来、物体如何运动、上一动作是否已经造成遮挡或碰撞风险。

一种直接方案是把 $o_{t-N},\ldots,o_t$ 全部拼接输入。论文认为这些帧通常视觉上高度冗余，额外 image tokens 反而会让模型难以抓住与控制有关的变化。TraceVLA 的关键取舍是：保留一张干净原图，再用少量可视化轨迹表达运动历史。

【Analysis】 这不是给 VLA 增加一个新的 3D state encoder，而是把 temporal grounding 转换成视觉编码器擅长的“几何图形识别”问题，因此可以复用 OpenVLA 的 backbone 和动作头。

3. 问题定义

【Paper】 给定当前观测 $o_t$、最近 $N$ 帧历史 $\mathbf h_t=(o_{t-N},\ldots,o_t)$ 与语言任务 $l$，模型需要输出机器人动作 $a_t$：

$$ \hat a_t = \pi_\theta(o_t,; \operatorname{Trace}(\mathbf h_t),; l). $$

Observation：RGB 图像；训练和 WidowX 实验使用固定第三人称视角，真实机器人图像为 $256\times256$。
Trace：从 $K\times K$ 网格点开始，用 Co-Tracker 跨 $N$ 帧跟踪，再保留运动总量超过阈值 $\kappa$ 的点，随机采样 $M$ 条轨迹。
Action representation：沿用 OpenVLA 的离散 action token。官方 ActionTokenizer 将每个连续动作维度量化到 256 个 bin，再映射到词表末端 token。
Embodiment / tasks：SimplerEnv Google robot 仿真与 WidowX-250 真实桌面操作；任务涵盖 pick-and-place、抽屉、软物体和推扫等操作。

4. 方法

4.1 Overall Architecture

【Paper】 数据流只有一句话：历史图像 $\rightarrow$ Co-Tracker 点轨迹 $\rightarrow$ active-point 筛选与采样 $\rightarrow$ 当前图像上的彩色 trace $\rightarrow$ 原图和 trace 图之间插入 separator token $\rightarrow$ VLA 预测动作 token。

4.2 核心模块

Active-point visual trace

输入：长度为 $N$ 的图像窗口和 $K\times K$ 网格点。
中间模块：Co-Tracker 输出每个点的 $(x,y)$ 序列；计算相邻帧位移 $\Delta p_{t'}=|p_{t'+1}-p_{t'}|_1$，将总位移超过 $\kappa$ 的轨迹标为 active。
输出：随机采样的 $M$ 条轨迹，绘制在 $o_t$ 上，并在末端画方向箭头。
为什么需要：静态背景点几乎没有控制价值，过滤后轨迹只突出机械臂末端和被推动、抓取的物体。

【Code】 训练配置在论文中给出 $K=40,M=5,N=6$，而公开推理代码 TraceProcessor 使用 grid_size=30，默认 num_points=5、buffer_size=10、window_size=15，并每 25 步重新进行 dense tracking。这是论文超参数与当前代码默认值的明确差异。

双图像输入与 trace dropout

叠加轨迹可能遮住夹爪或目标物，因此模型同时接收原始图像和 trace 图，并用特殊 separator token 分开。训练时以概率 $\alpha$ 将 trace 图替换回原图并移除 trace 提示，使模型在 Co-Tracker 失败或光照不佳时仍能退化为普通 VLA。

VLA 与 action decoder

【Paper】 TraceVLA 从 OpenVLA 7B 微调；TraceVLA-mini 以 4B Phi-3-Vision 为 backbone，并在 Open-X-Embodiment 上采用与 OpenVLA 类似的预训练配方。模型仍然由 vision encoder、projector、语言模型和 action-token head 构成，创新集中在输入提示而不是更换 action policy。

【Code】 prismatic/models/vlas/openvla.py 的 predict_action 调用 generate_actiontokens，随后由 ActionTokenizer.decode_token_ids_to_actions 将 token 反量化为连续动作，并按保存的 q01/q99 统计量反归一化。

4.3 关键公式

Active-point 筛选

$$ \Delta p_{t'}=\left|p_{t'+1}-p_{t'}\right|1, \qquad \hat{\mathcal P}=\left{p\in\mathcal P\mid\sum{t'=t-N}^{t-1}\Delta p_{t'}>\kappa\right}. $$

$p$ 是一条点轨迹，$\mathcal P$ 是所有网格点轨迹，$\hat{\mathcal P}$ 是过滤后的 active points。这个公式把“运动”作为历史信息的稀疏性先验。

VLA action-token 目标

$$ \mathcal L(\theta)=-\sum_{j=1}^{d_a}\log p_\theta(y_{t,j}\mid o_t,\operatorname{Trace}(\mathbf h_t),l,y_{t,<j}), $$

其中 $y_{t,j}$ 是第 $j$ 个离散动作 token，$d_a$ 是动作维度。【Code】 训练脚本默认 action_loss_calculation="action_token_only"，即只对动作 token 计算交叉熵，而不是对整段语言 prompt 求 loss。

4.4 Training

【Paper】 轨迹标注来自 BridgeData-v2、Google RT-1 robot 数据以及 WidowX-250 的演示，总量约 150K。为降低离线标注成本，训练阶段把 demonstration 切成重叠的 $2N$ 段，每段只做一次 $K\times K$ dense tracking，却覆盖未来 $2N$ 帧。7B 与 4B 模型都在基础 VLA 上额外微调 5 个 epoch。

【Code】 vla-scripts/train.py 通过 get_vla_dataset_and_collator 构造 RLDS 数据集；配置项包含 Open-X 数据根目录、FSDP/多 GPU 训练和 action-token-only loss。官方 README 给出的 TraceVLA 训练命令是 8 节点、每节点 8 GPU 的 torchrun。

4.5 Inference

【Paper】 推理初期先用普通 prompt；有足够历史后，第一次运行 dense $K\times K$ tracking 找到 active points，之后只跟踪这 $M$ 个点。由于 Co-Tracker 约 30–40 步后可能丢失轨迹，系统会周期性 dense re-query，再用当前帧的 trace 图预测动作。

【Code】 TraceProcessor.process_image 在 begin_track_step 前返回原图；成功跟踪后保留最近 window_size 个 trace，并用 _visualize_trace 绘制彩色线段和箭头。tracevla_simpler.py 在 trace 无效时切换到普通 prompt，在有效时将 [image, image_overlaid] 送入 processor。

4.6 代码实现对照

【Code】 官方仓库的关键对应关系如下：

| 论文概念 | 代码位置 | 实际行为 | | ----------------------- | ------------------------------------ | ---------------------------------------------------- | | Visual trace generation | prismatic/eval/trace_processor.py | Co-Tracker、active-point 过滤、缓存和绘图 | | Prompt fallback | prismatic/eval/tracevla_simpler.py | has_trace=False 时使用 OpenVLA prompt | | VLA action decoding | prismatic/models/vlas/openvla.py | 生成 token 后反量化并按 q01/q99 反归一化 | | Action discretization | prismatic/vla/action_tokenizer.py | 256 个 bin，映射到词表末端 token | | Training entry | vla-scripts/train.py | RLDS dataset、FSDP、多 GPU 与 action-token-only loss |

【Analysis】 代码把 trace processor 放在推理 wrapper，而不是改写语言模型的内部 attention；因此方法的可移植性很强，但性能上限也依赖 2D tracker 在新相机、遮挡和快速运动下的可靠性。

5. 实验

5.1 Experimental Setup

【Paper】 仿真使用 SimplerEnv 的 visual matching 与 variant aggregation 两种设置，覆盖 Move Near、Pick Coke Can、Open/Close Drawer 三个任务和 137 个环境配置；真实评测使用固定第三人称相机的 WidowX-250，设计 8 个任务，其中 4 个任务用于未见泛化。

基线包括 OpenVLA、OpenVLA-Phi3、Octo-Base 和 RT1-X。指标为任务成功率；variant aggregation 额外改变相机姿态、光照、背景、干扰物和桌面纹理。

5.2 Main Results

【Paper】 SimplerEnv 的关键结果如下：

| 模型 | Visual Matching | Variant Aggregation | Overall | | ------------- | ---------------------: | ---------------------: | --------: | | OpenVLA | 47.1 / 15.3 / 49.5 | 54.0 / 52.8 / 22.5 | 40.2% | | TraceVLA | 53.7 / 28.0 / 57.0 | 56.4 / 60.0 / 31.0 | 47.7% | | OpenVLA-Phi3 | 46.1 / 46.7 / 22.5 | 51.9 / 49.7 / 22.2 | 39.9% | | TraceVLA-mini | 50.4 / 52.2 / 31.0 | 55.0 / 52.4 / 23.2 | 44.0% |

三列顺序分别是 Move Near、Pick Coke Can、Open/Close Drawer。【Paper】 TraceVLA 7B 相对 OpenVLA overall 提升 7.5 个百分点，4B 版本相对 OpenVLA-Phi3 提升 4.1 个百分点。

【Paper】 在未出现在训练集的 pick-place corn 任务上，TraceVLA 成功 8/10，OpenVLA 成功 1/10。附加的 banana、eggplant、battery、push-cloth 四个未见任务也显示 TraceVLA 更能遵循新目标和新运动指令。

5.3 Ablation Study

【Paper】 消融回答了三个问题：

只在同一小数据子集上继续微调并不能解释收益：OpenVLA 仅提升 1.1%，OpenVLA-Phi3 反而下降 0.3%。
把 6 张历史图像直接拼接给 OpenVLA 使 overall success rate 下降约 6%，说明冗余视觉 token 会干扰决策。
用文本坐标描述轨迹比 baseline 高 2.4%，但仍比 visual trace 低 6.4 个百分点，证明视觉编码器比纯文本更适合消费这种几何运动提示。

【Paper】 轨迹长度 $N=3$ 比默认设置额外带来 3.2% 提升；$N=12$ 可能遮挡关键物体，体现历史信息量与场景可读性之间的 trade-off。论文附录还报告了合理范围内线宽、透明度和颜色变化对性能影响很小。

5.4 Generalization

【Paper】 variant aggregation 中，TraceVLA 在相机方向、干扰物和背景变化下平均提升超过 20%（相对于对应 OpenVLA 条件）。真实实验则从三类变化测试泛化：未见物体（banana、battery）、未见目标（eggplant 放到 plate）和未见运动（push cloth）。

【Paper】 batch size 为 32 时，加入第二张图的训练显存差异小于 10 GB；H100 上额外文本与图像 token 约增加 0.002 秒/步，5 点 Co-Tracker 约增加 0.03 秒/步，(40\times40) dense tracking 摊销后约 0.004 秒/步。

6. 方法分析

6.1 为什么有效？

【Analysis】 TraceVLA 同时解决了“历史太长”和“当前状态不能丢”两个矛盾：轨迹线把历史压缩成低带宽几何提示，原图则保留抓取点、纹理和语言 grounding 所需的细节。active-point 过滤进一步把 token 预算从“多张完整图像”转为“少量运动线”。

6.2 核心创新

表示创新：把 state-action history 变成可视化轨迹，而非追加 observation frames。
系统创新：原图 + overlay + separator 只需对现有 VLA 的输入格式做小改动。
工程创新：dense tracking 只负责发现 active points，之后用稀疏跟踪维持实时性。
鲁棒性设计：trace dropout 让模型学会在有、无 trace 两种模式下工作。

6.3 与已有方法的本质区别

历史帧堆叠增加的是原始视觉上下文，text trace 增加的是坐标 token；TraceVLA 增加的是由视觉 encoder 直接解析的运动几何。【Analysis】 这使它不依赖额外的时序 Transformer 或显式 3D state，同时更接近 OpenVLA 已经学会的图像理解路径。

6.4 关键假设

2D 点轨迹足以表达当前任务所需的主要空间关系；论文没有证明所有接触和深度关系都能由 2D trace 恢复。
运动明显的点比静态背景更有控制价值，且随机采样 $M$ 个 active points 不会丢掉关键对象。
Co-Tracker 在训练与部署相机上能稳定工作；否则模型依赖 dropout 学到的 fallback。
OpenVLA 的 action tokenizer 与低层控制器已经足够，瓶颈主要来自时空观测而非动作空间。

7. 局限性

7.1 作者明确提出的局限

【Paper】 额外图像和 Co-Tracker 会增加训练显存与推理时间；长 trace 可能遮挡夹爪或物体；Co-Tracker 需要周期性 dense re-query 以避免丢轨迹。作者还提出未来可研究多点空间轨迹预测与 3D point cloud 表示。

7.2 自己分析得到的局限

【Analysis】

active-point 的运动阈值 (kappa) 依赖像素尺度、相机视角和动作速度，跨数据集迁移时可能需要重新调参。
随机采样 5 个点并不保证覆盖真正的接触点；快速运动、遮挡、反光或纹理贫乏区域会让 trace 断裂。
轨迹是 2D 投影，无法区分沿视线方向的运动；对堆叠、插入和遮挡严重的任务，2D 线索可能不充分。
代码默认值（例如 grid size 30、窗口 15、每 25 步重绘）与论文中 $K=40,N=6$ 并不完全一致，复现实验时必须锁定 commit、checkpoint 和配置。

8. 启发与研究思考

【Analysis】 TraceVLA 最值得借鉴的不是“画线”本身，而是它把时序建模拆成了一个可插拔的 perception adapter：任何能输出稀疏几何提示的 tracker、光流或 segmentation memory，都可以替换 Co-Tracker，而不必重写 VLA 主体。

后续研究可以沿三个方向展开：

从被动轨迹到预测轨迹：让模型同时预测未来的关键点轨迹，再把预测轨迹作为 action planning 的中间表示。
从 2D 到 3D / object-centric trace：将深度、物体 ID 和接触状态一起画入 prompt，减少视角变化和遮挡造成的歧义。
自适应 trace budget：根据场景运动量动态决定 $M,N$ 和重绘频率，在静态场景省算力、在快速接触阶段保留更多历史。

TouchWorld 论文精读：让触觉既能预测未来，也能实时纠错

Wed, 26 Aug 2026 00:00:00 GMT

1. 论文概述

【Paper】《TouchWorld: A Predictive and Reactive Tactile Foundation Model for Dexterous Manipulation》来自哈尔滨工业大学（深圳）与 PHANES AI。论文的核心判断是：触觉不应该只是 VLA 的一个低频输入 token，而应同时扮演“预测接触目标”和“快速闭环纠错”两种角色。

一句话总结

【Analysis】 TouchWorld 把一个容易互相干扰的单环控制器拆成三种时间尺度：1 Hz 的语义规划与触觉子目标预测、10 Hz 的视觉-触觉动作块生成、30 Hz 的触觉残差修正；这样既保留 VLA 的长程语义能力，又能在滑移、错位和力不匹配发生时迅速回到可执行轨迹。

核心贡献

【Paper】

提出包含 Subtask Planner 与 Tactile World Model 的 High-Level Planning Layer，输出可执行子任务和未来视觉-触觉子目标。
提出 Visuo-Tactile Goal-Conditioned Policy，以 flow matching 的 Diffusion Transformer 生成名义动作块。
提出 Tactile-Conditioned Refinement Policy（Tactile Residual Transformer，TRT），在高频触觉历史上预测局部残差。
建立六任务真实机器人 benchmark；平均成功率在 clean setting 为 65.0%，在人为扰动下为 53.7%，相对最强基线分别提升 15.7 和 18.5 个百分点。

2. 背景与相关工作

【Paper】 视觉和语言擅长回答“要做什么、物体在哪里”，却难以直接观测接触力、滑移、抓握稳定性或插入是否卡住。灵巧操作因此天然是一个 multi-timescale control 问题：语义阶段变化慢，动作块生成居中，而接触状态变化可能需要毫秒级响应。

现有 VLA 通常在一个 monolithic loop 中同时做任务推理、动作生成和反馈；已有 tactile policy 也常把触觉当作和图像同频的附加输入。论文认为这会造成两个错配：慢速语义推理占用快速控制容量，低频动作刷新又来不及应对局部接触变化。TouchWorld 的思路与 slow-fast visual-tactile policy、Diffusion Policy 和通用 VLA 互补，但显式增加了“未来触觉目标”与“残差反馈”两条路径。

3. 问题定义

【Paper】 给定任务指令 $\ell$、多视角图像 $I_t$、本体状态 $s_t$、触觉观测 $X_t$ 和高层记忆 $m_t$，系统要输出当前执行动作 $a_t$。四个策略模块满足：

$$ \ell_t^{sub}=\pi_{subtask}(\ell,I_t,m_t), \quad g_t=\pi_{world}(\ell,\ell_t^{sub},I_t,X_t), $$

$$ (\hat A_{t:t+H-1},c_t)=\pi_{goal}(\ell,\ell_t^{sub},g_t,I_t,s_t,X_t), $$

$$ \tilde A_{\tau:\tau+W-1}=\pi_{tactile}(\hat A_{\tau:\tau+W-1},s_{\tau-k:\tau},X_{\tau-k:\tau},c_t). $$

其中 $H$ 是名义动作块长度，$W$ 是 TRT 的 look-ahead 窗口，$k$ 是反馈历史长度。论文的实现使用 $H=32$、$W=16$、每次提交 $C=4$ 个修正动作。

机器人平台是配备 Wuji dexterous hands 与 JQ-Industries tactile glove 的 humanoid platform；遥操作侧使用 Meta Quest headset、Touch Plus controllers 和 Wuji Glove。任务包括 Water Flower、Tabletop Clearing、Cup Insertion、Power Plug Insertion、Pot Wiping、Tissue Pulling，并各自设置 clean 与 human perturbation 两种条件。

4. 方法

4.1 Overall Architecture

【Paper】 数据流是“任务指令与观测 → 子任务和触觉子目标 → 名义动作块 → 触觉残差动作”。三层分别以 1 Hz、10 Hz、30 Hz 更新，模块之间通过子任务文本、goal image / goal tactile 与 context token 传递信息。

4.2 核心模块

High-Level Planning Layer

Subtask Planner：输入任务指令、当前图像和记忆，输出 {原始任务, executable subtask, 可选 reasoning}。记忆保存前序子任务、子目标与执行状态，帮助模型识别阶段转换。
Tactile World Model（TWM）：根据当前视觉-触觉状态和子任务预测短期 visual-tactile clip 或 terminal tactile goal。只有在子任务改变或任务状态显著变化时刷新，稳定阶段复用已有目标。

【Analysis】 这一层不直接输出关节控制量，而是把长时程问题压缩为下游策略可消费的“当前阶段”和“预期接触结果”。

Visuo-Tactile Goal-Conditioned Policy

输入包含全局任务、当前子任务、RGB 图像、image-form tactile、proprioception 和 TWM 的 goal image / tactile latent；输出长度为 $H$ 的 nominal action chunk。原始触觉被渲染或归一化为图像，使 VLA backbone 可以沿用图像-语言预训练接口；Diffusion Transformer action expert 用 flow matching 从噪声生成动作序列。

Tactile-Conditioned Refinement Policy

TRT 输入名义动作的长度 $W$ look-ahead 窗口、最近 $k$ 步本体与触觉历史以及 VLA context token，输出同长度残差。图像触觉使用 tactile-image encoder，矩阵读数使用卷积层，低维触觉状态使用 Fourier features 与 MLP；不同模态随后由 residual Transformer 融合。

4.3 关键公式

TRT 的残差定义为：

$$ \Delta A_{\tau:\tau+W-1}=f_\phi(\hat A_{\tau:\tau+W-1},s_{\tau-k:\tau},X_{\tau-k:\tau},c_t), $$

$$ \tilde A_{\tau:\tau+W-1}=\hat A_{\tau:\tau+W-1}+\Delta A_{\tau:\tau+W-1}. $$

【Paper】 $f_\phi$ 只需学习示范高频动作与名义动作之差，而不是重新学习完整任务策略。训练目标为：

$$ \mathcal L_{fb}=\left|f_\phi(\cdot)-\left(A^*{\tau:\tau+W-1}-\hat A{\tau:\tau+W-1}\right)\right|_2^2, $$

其中 $A^*$ 是示范动作，损失只施加在触觉敏感的 residual action subspace；其余维度继续采用名义输出。

4.4 Training

【Paper】 训练分四阶段，且不对整个层级端到端反向传播：

用 128,866 条带子任务标签和记忆变体的 teleoperation 记录微调 Qwen3-VL-4B-Instruct Subtask Planner。
先在 EgoTouch 人类双手触觉视频上预训练 Wan2.2-TI2V-5B，再用 10 小时机器人示范（约 108 万帧、30 FPS）微调 TWM；每个样本预测 384×224 分辨率的 17 帧未来 visual-tactile clip。
用全局任务、子任务、视觉、图像触觉、本体状态和未来动作块训练 flow-matching nominal policy。
固定已训练的 nominal policy，接入 TRT，用高频示范动作减去 nominal action 得到 residual target，训练 VLA-refinement stack。

4.5 Inference

【Paper】 部署时 High-Level Planning Layer 低频刷新子任务和触觉子目标；nominal policy 以 10 Hz 生成动作块；TRT 在 30 Hz 控制循环内用滑动窗口反复修正。每次只提交前 $C=4$ 个动作，随后用新触觉重新预测，因此一个动作块不会锁死后续控制。

4.6 代码实现对照

论文与项目主页截至本文写作时未公开可访问的官方代码仓库，只有论文、项目主页和 LaTeX 源码。因此没有可核对的 model definition、DataLoader、loss implementation 或 checkpoint 路径；本文关于 1/10/30 Hz、$H/W/C$ 和四阶段训练的描述均来自论文正文。【Analysis】 后续若作者公开代码，最值得复核的是 image-form tactile 的具体归一化、TWM 的刷新判据以及 TRT 的 residual action mask。

5. 实验

5.1 Experimental Setup

【Paper】 每个任务收集 200 条 teleoperated training trajectories，并进行 100 次真实机器人评估 rollout。基线为 Pi-0.5、FTP-1（无预测-反应层级的单体触觉策略）和 GR00T N1.7。

5.2 Main Results

| 方法 | Clean 平均 | Human perturbation 平均 | | -------------- | ---------: | ----------------------: | | Pi-0.5 | 40.7% | 27.7% | | FTP-1 | 49.3% | 35.2% | | GR00T N1.7 | 39.3% | 26.0% | | TouchWorld | 65.0% | 53.7% |

【Paper】 TouchWorld 在六项任务上均优于三个基线。clean setting 的逐任务成功率为 Water 72、Clearing 76、Cup 66、Plug 45、Wiping 70、Tissue 61；扰动 setting 分别为 60、62、52、35、57、56。提升在插拔、擦拭和软物体拉取等接触密集任务最明显，同时长时程任务也保持优势。

5.3 Ablation Study

| 配置 | Clean 平均 | 扰动平均 | 移除后说明 | | ------------------- | ---------: | -------: | -------------------- | | Full | 65.0% | 53.7% | 完整层级 | | w/o Tactile World | 60.2% | 51.2% | 失去未来接触目标 | | w/o Subtask Planner | 55.5% | 46.2% | 长时程阶段一致性下降 | | w/o TCR | 55.3% | 40.3% | 在线局部纠错缺失 | | w/o Tactile | 43.3% | 30.0% | 触觉贡献最大 |

【Paper】 去掉 tactile input 的退化最大；去掉 TCR 对 human perturbation 尤其敏感，说明预测路径负责“应该接触到哪里”，反应路径负责“实际偏了以后怎么回来”。

5.4 Generalization

TWM 的 held-out 子目标预测结果如下：

| 方法 | Temporal Contact Accuracy | Contact IoU | Volumetric IoU | | ------------------------ | ------------------------: | ----------: | -------------: | | Current tactile copy | 70.4 | 31.8 | 24.6 | | Nearest-neighbor subgoal | 77.5 | 39.2 | 31.0 | | Tactile World Model | 86.3 | 52.7 | 43.8 |

【Paper】 TWM 不只是复制当前触觉或检索相似轨迹，而是更准确地预测接触发生的时间与终点压力几何。Subtask Planner 分析中，memory-augmented Qwen3-VL-4B 的 subtask accuracy / execution success / transition F1 为 88 / 65 / 82，高于 zero-shot 32B 的 69 / 54 / 71，说明阶段监督与执行记忆比单纯增大模型更关键。

6. 方法分析

6.1 为什么有效？

【Analysis】 第一，TWM 将触觉从“当前状态描述”变为“未来接触参考”，给动作生成提供了比当前帧更稳定的目标。第二，TRT 学习 residual 而非完整 policy，输入短历史即可集中处理滑移、冲击和插入错位。第三，分层频率避免让 1 Hz 的语言推理阻塞 30 Hz 的控制回路。

6.2 核心创新

论文真正的新意不是单独使用 tactile、world model 或 diffusion，而是把 predictive tactile goal 与 reactive tactile refinement 放在同一策略闭环中，并用子任务记忆把长时程语义接口固定下来。

6.3 与已有方法的本质区别

单体 VLA 直接从观测到动作；TouchWorld 先决定“当前阶段”和“预期接触结果”，再生成名义动作，最后让触觉残差只修正局部误差。与纯 reactive policy 相比，它提前预测接触；与纯 world model policy 相比，它又保留了高频反馈通道。

6.4 关键假设

【Paper】 体系假设触觉可以转换到跨人类与机器人共享的 image-form 表示，且短期子目标足以支持当前子任务。【Analysis】 它还隐含假设名义策略已经能完成大部分语义与几何进展，TRT 的局部修正不会改变任务阶段；若名义动作完全错误，残差层可能无力救回。

7. 局限性

7.1 作者明确提出的局限

【Paper】 真实评估只有六个任务；TWM 只预测短时域目标；更换触觉传感器或手型需要重新校准与适配数据；固定的更新频率、动作块长度和 commit interval 可能不是所有接触动态的最优选择。

7.2 自己分析得到的局限

【Analysis】 四阶段训练减少了优化耦合，却也可能造成模块接口的分布偏移：TWM 预测误差、planner 选错子任务和 nominal policy 的动作误差会层层传递。另一个风险是 image-form tactile 牺牲了部分原始力信号的物理可解释性；论文尚未报告跨传感器、跨手型或大规模未见任务的 zero-shot 迁移。

8. 启发与研究思考

TouchWorld 给出的研究路线可以概括为“语义慢、动作中、反馈快”，但更重要的是明确每个时间尺度的责任边界：Planner 负责阶段，World Model 负责目标，nominal policy 负责进展，TRT 负责纠偏。后续值得探索三点：

让 TWM 输出带不确定性的多个 tactile goals，并由策略在线选择，而不是只预测单一未来。
根据接触事件自适应调整 1/10/30 Hz 调度和 commit interval，在平稳运动时省算力、在冲击时提高反馈率。
用统一的 tactile latent 和 action residual mask 做跨传感器、跨 embodiment 迁移，验证“预测-反应”分解是否比重新训练整套 VLA 更可扩展。

ThinkAct 论文精读：用视觉潜变量让 VLA 先思考再行动

Wed, 26 Aug 2026 00:00:00 GMT

1. 论文概述

【Paper】 ThinkAct 关注一个常见但棘手的 VLA 缺口：模型可以把当前图像和指令映射到动作，却不一定知道“接下来要完成哪些子目标”。论文提出双系统（dual-system）框架：Reasoning MLLM $\mathcal{F}\theta$ 负责慢速思考，DiT Action Model $\pi\phi$ 负责快速控制；两者通过视觉计划 latent $c_t$ 连接。

一句话总结

【Analysis】 ThinkAct 的真正改动不是给 VLA 加一段文字 CoT，而是把思考结果压缩成可对齐到场景的 2D 轨迹，再把这段视觉计划交给动作扩散模型执行。

核心贡献

【Paper】

用目标完成（goal completion）与轨迹一致性（trajectory alignment）组成 action-aligned visual reward，并以 GRPO 强化 MLLM 的 embodied reasoning。
从推理输出中抽取 $K$ 个 2D gripper keypoints，形成紧凑的 visual plan latent，而不是依赖昂贵的逐步语言标注。
以 latent projector 将计划接入 DiT Action Model，支持 MLLM 慢速思考、策略高速控制的异步执行。
在 SimplerEnv、LIBERO、EgoPlan-Bench2、RoboVQA 和 OpenEQA 上验证长时规划、少样本适应与自纠错能力。

2. 背景与相关工作

【Paper】 OpenVLA、TraceVLA 等端到端 VLA 直接预测低层动作，短技能有效，但对长指令、跨场景变化和中途失败不够稳健。ECoT、RAD 和 CoT-VLA 引入中间推理或视觉子目标，却依赖人工/模型生成的 CoT 监督，扩展成本高；通用 VLM 的 GRPO 工作则通常用 QA 正确率，无法约束计划是否真的对应可执行运动。

【Analysis】 ThinkAct 把“推理是否正确”改写成一个可由视觉轨迹验证的问题：终点要接近演示终点，整条轨迹要像真实的 gripper motion。这样奖励不再只问答案对不对，而是问计划是否能落到场景中。

3. 问题定义

【Paper】 在时间步 $t$，模型接收视觉观测 $o_t$ 与语言指令 $l$，输出动作 $a_t$。动作可以是文本命令，也可以是 7-DoF 控制向量 $[\Delta x,\Delta\theta,\Delta Grip]$。ThinkAct 将问题拆成：

$$ c_t=\mathcal{F}\theta(o_t,l),\qquad [a_t,\ldots,a{t+N}]=\pi_\phi(c_t,o_t,l). $$

其中 $c_t\in\mathbb{R}^{|c_t|\times d}$ 是视觉计划 latent；它解码为 $K$ 个归一化 2D 点 $\tau=[p_k]_{k=1}^{K}$，$p_1$ 与 $p_K$ 分别表示 gripper 的起点和目标终点。$N$ 是一次思考覆盖的环境交互步数，允许思考频率低于动作频率。

| 要素 | ThinkAct 定义 | | --- | --- | | Observation | 单帧 RGB；自纠错实验扩展为短视频片段 | | Language | 任务指令 $l$ | | Reasoning model | Qwen2.5-VL 7B 初始化的 MLLM | | Action model | 432M 参数、DiT-based diffusion policy | | Action | 文本命令或 7-DoF 控制向量 | | Plan latent | $K=8$ 个 2D gripper keypoints 的视觉轨迹 |

4. 方法

4.1 Overall Architecture

【Paper】 训练阶段先让 MLLM 生成 <think>...</think> 与 <answer>...</answer>，并在答案中产生轨迹 $\tau$；轨迹由视觉检测器得到的参考轨迹 $\hat\tau$ 监督。随后冻结 MLLM，把 $c_t$ 经 latent projector 注入状态编码器和动作模型。推理时 MLLM 每 $N$ 步更新一次计划，$\pi_\phi$ 每一步输出动作。

【Analysis】 这是一种“慢思考、快执行”的时钟解耦：计划 latent 是跨多个动作步复用的高层意图，而不是每个控制周期都重新生成语言解释。

4.2 核心模块

Action-aligned visual reward

给定预测轨迹 $\tau$ 和检测器得到的参考轨迹 $\hat\tau$，目标奖励比较首尾点：

$$ r_{goal}=\frac{1}{2}\bigl(f(p_1,\hat p_1)+f(p_K,\hat p_K)\bigr),\quad f(p,p')=\max(0,1-\lVert p-p'\rVert_2^2). $$

轨迹奖励使用 Dynamic Time Warping（DTW）：

$$ r_{traj}=\max(0,1-d_{DTW}(\tau,\hat\tau)). $$

【Paper】 最终奖励为

$$ r=0.9r_{visual}+0.1r_{format},\qquad r_{visual}=0.5r_{goal}+0.5r_{traj}. $$

【Analysis】 $r_{goal}$ 防止“轨迹形状像，但终点错了”，$r_{traj}$ 防止“只猜对起点和终点，中间运动不物理”。二者组合把长时目标与运动过程同时纳入奖励。

Visual plan latent 与动作模型

【Paper】 MLLM 自回归地产生 reasoning embeddings $v_t$ 和 plan embeddings $c_t$。$c_t$ 可解码为 2D 轨迹，但接入动作模型时保留其 latent 形式，经 Q-Former latent projector 映射到 Action Model 的输入空间。Action Model 还接收视觉状态与语言条件，输出一段连续动作。

【Analysis】 latent 而不是完整文本的好处是接口稳定、长度紧凑，并且允许动作模型学习“计划到控制”的映射，而无需理解自然语言 CoT 的全部措辞。

4.3 关键公式

GRPO 目标

对同一输入 $(o_t,l)$ 从旧策略采样 $M$ 个回答 $z_i$，按奖励计算组内优势：

$$ A_i=\frac{r_i-\operatorname{mean}(r_1,\ldots,r_M)}{\operatorname{std}(r_1,\ldots,r_M)}. $$

论文优化目标为：

$$ \mathcal{J}{GRPO}(\theta)=\frac{1}{M}\sum{i=1}^{M} \left[\frac{\mathcal{F}\theta(z_i|o_t,l)}{\mathcal{F}{\theta_{old}}(z_i|o_t,l)}A_i -\beta D_{KL}(\mathcal{F}\theta\Vert\mathcal{F}{\theta_{old}})\right]. $$

$A_i$ 只表达同组相对质量，$\beta$ 用 KL 项限制模型偏离冷启动策略过远。

动作适配损失

冻结 $\mathcal{F}_\theta$ 后，使用动作示范更新状态编码器、latent projector 和动作模型：

$$ \mathcal{L}{IL}(\phi)=\mathbb{E}{(o_i,l,a_i)} \left[\ell\bigl(\pi_\phi(c_t,o_i,l),a_i\bigr)\right]. $$

4.4 Training

【Paper】 训练是三阶段：

MLLM cold-start SFT：使用 OXE 轨迹及 RoboVQA、EgoPlan-IT、Video-R1-CoT 等 QA 数据，学习正确的输出格式、轨迹表达和基础 embodied understanding。
GRPO reinforced fine-tuning：对 OXE 与 Something-Something v2 轨迹计算视觉奖励；QA 数据继续提供 accuracy / ROUGE 奖励。训练 6K iterations，rollout size 为 5。
Reasoning-enhanced action adaptation：冻结 MLLM，将缓存的 $c_t$ 接入 DiT policy；在 100K OXE 样本上训练，再对 LIBERO 任务微调。

4.5 Inference

【Paper】 输入单帧观测时，MLLM 生成当前计划 latent；Action Model 基于该 latent、观测和指令预测一段动作。执行 $N$ 步后重新观察并重新思考。自纠错设置将输入扩展为 $o_{t-N:t}$，让 MLLM 能发现物体掉落等失败并重规划。

4.6 代码实现对照

【Code】 截至论文项目页（页面标注 Code (⏳)），作者尚未公开官方代码仓库，因此无法核对模型定义、DataLoader、checkpoint 或实际推理细节。本文中带有 【Code】 的段落仅表示项目页提供的链接状态；所有实现级结论均以“论文未明确说明”处理。

5. 实验

5.1 Experimental Setup

【Paper】 MLLM 初始化为 Qwen2.5-VL 7B。冷启动 20K iterations、batch size 32、学习率 $10^{-5}$；GRPO 6K iterations、batch size 64、学习率 $10^{-6}$、rollout size 5。动作模型是 432M 参数 DiT policy，状态编码器由 DINOv2 图像编码器和 CLIP 文本编码器组成；Q-Former 使用 32 个 queries。实验使用 16 张 80GB A100。

训练数据包括 OXE 的 fractal20220817 与 bridge 子集、Something-Something v2、RoboVQA、EgoPlan-IT、Reflect 与 LLaVA-Video-178K。评测覆盖 SimplerEnv、LIBERO、EgoPlan-Bench2、RoboVQA 和 OpenEQA。

5.2 Main Results

【Paper】 机器人操作成功率如下：

| Benchmark | ThinkAct | 对比结论 | | --- | ---: | --- | | Simpler-Google Visual Matching | 71.5% | 高于 DiT-Policy 56.0% | | Simpler-Google Variant Aggregation | 65.1% | 高于 DiT-Policy 48.2% | | Simpler-Bridge Visual Matching | 43.8% | 高于 DiT-Policy 32.4% | | LIBERO Overall | 84.4% | 高于 CoT-VLA 83.9% |

在 embodied reasoning 上，ThinkAct 在 EgoPlan-Bench2 达到 48.2，RoboVQA Overall 达到 59.8，OpenEQA Overall 达到 56.2。论文报告其相较第二名在 EgoPlan-Bench2 提升 2.5 个百分点、RoboVQA 提升 4.1 BLEU。

5.3 Ablation Study

【Paper】 去掉 $r_{traj}$ 后 SimplerEnv / EgoPlan / RoboVQA 为 59.2 / 47.9 / 58.5；去掉 $r_{goal}$ 后为 59.1 / 47.6 / 58.9；同时去掉两者仅剩 56.9 / 47.2 / 58.3，接近 SFT cold-start 的 56.4 / 46.4 / 57.9。说明 QA 奖励单独不足以诱导结构化长时计划，轨迹和终点视觉反馈缺一不可。

5.4 Generalization

【Paper】 少样本 LIBERO 实验每个任务只用 10 条示范、评测 100 次。ThinkAct 在 Spatial、Object、Goal、Average 上分别达到 52%、39.1%、36.2%、34.7%，相对 Magma 在 Spatial 和 Goal 上分别高 9.5 和 7.3 个百分点。论文还展示了失败后重抓物体的自纠错案例。

6. 方法分析

6.1 为什么有效？

【Analysis】 端到端策略最容易学到“当前画面对应的局部动作”，却难以表示多个子目标之间的顺序。ThinkAct 用轨迹 latent 提供了一个低带宽、可视觉验证的中间状态：它告诉动作模型先去哪、终点在哪，同时保留局部控制的自由度。$r_{goal}$ 提供任务方向，$r_{traj}$ 提供运动形状，二者共同降低计划漂移。

6.2 核心创新

【Analysis】 核心创新是 reward/interface 的组合，而非单独使用 GRPO 或 Diffusion Policy：用视觉轨迹把 RL 奖励从 QA 正确率扩展到可执行性；用 latent 而非语言 CoT 连接 reasoning 与 action；让 reasoning 与 control 异步运行，在不牺牲控制频率的情况下增加思考深度。

6.3 与已有方法的本质区别

【Paper】 ECoT/RAD 依赖显式 CoT 监督，CoT-VLA 依赖生成的视觉子目标；ThinkAct 通过 RL 从奖励中探索推理轨迹，不要求每一步都有人工文字标签。与只在动作空间施加 RL 的方法相比，它先在视觉空间约束 plan，再由动作模型负责连续控制。

6.4 关键假设

【Analysis】 方法依赖四个假设：2D gripper 轨迹足以表达任务关键意图；离线检测器得到的 $\hat\tau$ 能代表正确行为；一个计划 latent 可以复用 $N$ 步；MLLM 生成的 reasoning 与 latent 轨迹语义一致。遮挡、深度、多臂协同和快速变化环境都可能违反这些假设。

7. 局限性

7.1 作者明确提出的局限

【Paper】 ThinkAct 继承预训练 MLLM 的视觉与空间幻觉：模型可能引用不存在的物体属性或错误关系，导致下游计划和动作失败。作者建议 grounding-aware training 与 hallucination suppression；安全关键场景还需要更强的人类意图对齐与 safeguards。

7.2 自己分析得到的局限

【Analysis】 论文主要在仿真和离线视频上证明收益，真实世界部署的延迟、相机标定、检测器失败率和安全边界没有系统量化。7B MLLM 的 rollout 也可能带来显著 GPU 成本；轨迹奖励偏向末端执行器运动，对双臂协同、工具使用和非抓取操作未必充分。

8. 启发与研究思考

【Analysis】 ThinkAct 提供了一个可迁移的设计模板：先寻找能被视觉验证的中间计划，再用 RL 让基础模型探索这些计划，最后用独立控制器把计划落地。后续可以把 2D 点扩展到带接触、深度和对象身份的 scene graph latent，用真实失败构造反事实视觉奖励，并让不确定性估计决定何时重新思考，而不是固定 $N$。

TacVLA 论文精读：接触感知触觉融合 VLA

Wed, 26 Aug 2026 00:00:00 GMT

1. 论文概述

论文名称：《TacVLA: Contact-Aware Tactile Fusion for Robust Vision-Language-Action Manipulation》
作者：Kaidi Zhang、Heng Zhang、Zhengtong Xu、Zhiyuan Zhang、Md Rakibul Islam Prince、Xiang Li、Xiaojing Han、Yuhao Zhou、Arash Ajoudani、Yu She
机构：Purdue University、Istituto Italiano di Tecnologia
论文链接：arXiv:2603.12665
项目主页：TacVLA

一句话总结

【Paper】 TacVLA 在 Pi0.5 风格的 VLA 中加入紧凑触觉编码器，并用二值接触标志控制触觉 token 的 embedding 与 attention mask；机器人在非接触阶段主要依赖视觉和语言，检测到接触后才让 touch 参与跨模态决策。

核心贡献

【Paper】

把 15×8、每帧 120 个测量值的触觉阵列编码成 36 个 token，避免把触觉图像化后带来的长序列开销。
提出 contact-aware gating：接触时保留触觉 token，非接触时将其置零并屏蔽其注意力。
在四种 constraint-locked disassembly、in-box picking、相机遮挡和人类干扰下进行真实机器人评测。
在拆解任务上取得 83.75% 平均成功率，在盒内抓取上取得 70%，分别比微调 Pi0.5 的 63.75% 和 10% 更高。

2. 背景与相关工作

【Paper】 视觉擅长描述全局场景，却会在末端执行器遮挡、盒内弱光和接触瞬间失效；它也难以直接观测摩擦、滑移、压力分布与卡滞。VLA 如果只依赖 RGB 与语言，往往知道“应该抓什么”，却不知道“是否已经真正抓住”。

已有 tactile VLA 工作通常把触觉作为持续输入，或把触觉图像经过视觉 backbone 后与视觉 token 直接拼接。论文的判断是：触觉是状态依赖的局部信号，在没有接触时可能只是噪声；静态拼接会让 token 竞争和 modality imbalance 变得更严重。TacVLA 因而把问题从“如何再加入一种传感器”改写成“何时让 touch 获得注意力”。

3. 问题定义

【Paper】 平台是一台 7-DoF Franka Emika Panda，配有平行夹爪、固定 front camera、wrist camera，以及安装在一根手指上的 15×8 触觉阵列。所有模态以 10 Hz 同步记录。

| 项目 | 定义 | | --- | --- | | Observation | front/wrist RGB、语言指令、15×8 tactile map、robot proprioception | | Action | Pi0.5 action expert 预测的连续动作序列 | | 任务 | 四种锁定拆解动作与盒内探索抓取 | | 数据 | 每个任务 50 条人类 teleoperation demonstrations | | 目标 | 接触丰富、视觉遮挡下仍能完成定位、接触确认、调整和恢复 |

四个拆解任务分别需要拉出紧轴、按压卡扣、旋转 90° 后拉出，以及向内滑动后拉出；盒内抓取则要求先探索直到建立接触，再抓取并放入碗中。

4. 方法

4.1 Overall Architecture

【Paper】 front 与 wrist 图像由 SigLIP Vision Encoder 编码；语言和 proprioception 使用 PaliGemma tokenizer；触觉阵列经轻量 MLP 投影为 36 个 tactile tokens，并加入固定 2D sine-cosine positional embedding。经过门控的三类 token 拼接后进入 Gemma 2 6B VLM，融合表示再作为 prefix 送入 Pi0.5 风格的 flow-matching Action Expert，输出连续动作序列。

数据流可以概括为：RGB + language + proprio + tactile → modality tokenizers → contact-aware gating → VLM non-causal attention → action expert → action chunk。

4.2 核心模块

Compact tactile tokenizer

输入：单帧 15×8 tactile map，共 120 个测量值。
中间模块：MLP encoder 将 map 投影到模型 hidden space，再附加固定二维位置编码。
输出：36 个 tactile tokens。
作用：保留局部接触分布、整体压力和接触几何，同时把 token 数控制在可与 VLM 共同处理的规模。

【Analysis】 36 并不等价于恢复高分辨率接触图；它更像是一个“足够判断接触与调整方向”的低带宽接口，适合当前论文的短时域任务。

Contact-aware gating

论文用阈值规则检测接触：超过压力阈值的 taxel 数量超过固定 count 时，令接触标志 $c_t=1$。触觉 token 与 attention mask 随之变为：

$$ M_t^{\mathrm{tac}} = c_t \cdot \mathbf{1}, \qquad \tilde z_t^{\mathrm{tac}} = c_t \cdot z_t^{\mathrm{tac}}. $$

当 $c_t=0$，触觉 embedding 被置零，且对应 token 不参与 attention；当 $c_t=1$，触觉 token 恢复并与视觉、语言进行 cross-modal interaction。固定 token 拓扑避免了动态插入/删除 token 带来的位置变化。

VLM 与 Action Expert

Gemma 2 6B 以 non-causal attention 处理拼接 prefix，让三种模态自由互相 attend。随后 Action Expert 按 Pi0.5 设计，用 flow matching 预测连续动作序列。论文没有公开每层 LoRA target、动作 horizon 或 action head 的代码实现。

4.3 关键公式

策略条件分布写为：

$$ a_{t:t+H} \sim \pi_\theta(a_{t:t+H}\mid \tilde z_t), $$

其中 $\tilde z_t=[z_t^{\mathrm{vis}},z_t^{\mathrm{lan+pro}},\tilde z_t^{\mathrm{tac}}]$ 是门控后的多模态 token，$H$ 是动作序列长度，$\pi_\theta$ 是 VLA policy。

门控公式的关键不是学习一个连续权重，而是使用 $c_t\in{0,1}$ 做硬路由：

$$ c_t=\mathbb{1}\left[\sum_{i=1}^{120}\mathbb{1}(p_{t,i}>\tau)>N\right], $$

其中 $p_{t,i}$ 是第 $i$ 个 taxel 的压力读数，$\tau$ 是压力阈值，$N$ 是超过阈值的 taxel 数门槛。论文未明确给出 $\tau$ 与 $N$ 的具体数值。

4.4 Training

【Paper】 每个任务收集 50 条示教，所有模态按时间对齐。模型从 OpenPI 的 pi05 base checkpoint 出发，以 LoRA 微调 10,000 个 gradient steps；tactile encoder 在微调时冻结。扩散策略基线则训练 200 epochs。论文未明确说明 TacVLA 的 batch size、学习率、动作 horizon 和 LoRA target layers。

4.5 Inference

【Paper】 推理时每个 10 Hz 时间步都重新判断接触状态。非接触阶段主要依赖视觉定位；一旦检测到接触，触觉 token 进入 VLM 上下文，帮助策略决定按压、旋转、滑动、重新抓取或继续抬升。盒内任务尤其依赖“只有确认接触后才进入 lifting/place 阶段”的状态转换。

4.6 代码实现对照

【Paper】 截至论文 v2（2026-03-24），项目主页只提供论文、演示视频和实验说明，论文写明“code will be released”。因此本节没有可核对的官方 model definition、DataLoader、loss 实现或 checkpoint。上文关于 Gemma 2 6B、SigLIP、MLP tactile encoder、LoRA 和冻结 tactile encoder 的描述均来自论文，而不是代码审计。

5. 实验

5.1 Experimental Setup

【Paper】 每个任务 50 条 teleoperation demonstrations，四个拆解任务和一个盒内抓取任务都在真实 Franka 平台上评测。对照方法包括 finetuned Pi0.5、直接拼接触觉的 Pi0.5（w/o gating）、image Diffusion Policy 与 3D Diffusion Policy。

5.2 Main Results

| 方法 | 拆解平均 | 盒内抓取 | | --- | ---: | ---: | | 3D Diffusion Policy + Tactile | 31.25% | 5% | | Diffusion Policy + Tactile | 48.75% | 0% | | Finetuned Pi0.5 | 63.75% | 10% | | TacVLA | 83.75% | 70% |

【Paper】 TacVLA 在四个拆解任务上分别达到 100%、90%、70%、75%，相对 Pi0.5 在最困难的 slide-pull Task 4 提升 45 个百分点。盒内抓取中，前置相机完全看不到箱内，wrist camera 还受到弱光和遮挡影响，TacVLA 仍能通过探索和多次 re-grasp 达到 14/20 成功。

5.3 Ablation Study

去掉门控、只把 tactile token 持续拼接时，拆解平均成功率从 83.75% 降到 71.25%，盒内抓取从 70% 降到 40%。Task 3 的 no-gating 版本只有 60%，甚至低于不使用触觉的 Pi0.5（65%）。【Analysis】 这说明增益并非来自“多一个传感器”这么简单，而来自触觉参与时机与接触状态的一致性。

5.4 Generalization

【Paper】 阻挡 front camera 后，Pi0.5 在四个任务上的成功率为 40%、40%、5%、35%，TacVLA 为 70%、65%、45%、70%；平均成功率从约 30% 提升到约 62%。在人为把物体放回盒内的运行时干扰中，TacVLA 能检测状态变化、回到盒内并重新抓取，Pi0.5 则无法恢复。

6. 方法分析

6.1 为什么有效？

【Analysis】 TacVLA 把“视觉定位”和“接触确认”拆成两个互补阶段：接触前，触觉噪声不会与视觉 token 争夺注意力；接触后，局部压力分布成为动作修正的直接证据。固定 token 拓扑又避免了动态 token 删除导致的 positional shift，因此门控只改变信息可见性，不改变 backbone 的序列结构。

6.2 核心创新

真正的创新点是 state-dependent modality arbitration：触觉不是始终在线的第三路视觉，而是由物理事件触发的条件输入。低维 tokenization 负责效率，硬门控负责时序上的信息隔离，两者共同服务于 contact-rich manipulation。

6.3 与已有方法的本质区别

与静态拼接的 visuotactile policy 相比，TacVLA 在 token level 选择“现在是否应该听 touch”；与从零训练的 Diffusion Policy 相比，它保留了预训练 VLM 的视觉-语言先验，再以 LoRA 注入触觉和任务数据。【Analysis】 因而它更像是在已有 VLA 的上下文路由上增加一个物理状态开关，而不是重新设计完整控制器。

6.4 关键假设

压力阈值和 taxel 数量可以可靠地区分接触与非接触。
单指上的 15×8 阵列足以支持这些任务所需的接触判断。
短时域动作序列与 10 Hz 观测足以覆盖拆解和盒内抓取的状态变化。
预训练 Pi0.5 的视觉-语言表示可迁移到新增 tactile token。

7. 局限性

7.1 作者明确提出的局限

【Paper】 (1) 二值 threshold gating 不能连续、可学习地调节 modality importance；(2) 触觉阵列空间分辨率有限，限制了细粒度接触几何推理；(3) 当前只验证短时域、接触中心任务，尚未覆盖更长时域和更复杂任务。

7.2 自己分析得到的局限

【Analysis】 硬门控把接触检测错误直接传递给策略：漏检会让模型在关键接触阶段“失聪”，误检则会重新引入噪声。论文也没有报告阈值跨传感器、跨物体的校准方式，或不同接触材质下的稳定性。此外，实验每个任务只有 50 条示教，且主要在单一 Franka embodiment 上完成，泛化到不同夹爪、传感器和动作频率仍需验证。

8. 启发与研究思考

TacVLA 给出的启发不是“所有 VLA 都应加触觉”，而是应把每种传感器的信息有效区间显式建模。下一步可以让 gate 从二值规则升级为可校准的连续 routing policy，例如根据压力历史、滑移概率和视觉不确定性共同决定触觉权重；也可以把 contact flag 作为 auxiliary state prediction 训练信号，让模型学会预判即将发生的接触，而不是等阈值触发。

另一个值得延伸的方向是长时域 memory：当前门控只回答“此刻是否接触”，却没有记录“接触发生过什么、是否滑移、上一次 re-grasp 是否成功”。将 tactile events 压缩成事件 token，再交给 VLM 的长上下文或层级 policy，可能比持续输入原始触觉更适合复杂装配。

T-Rex 论文精读：Tactile-Reactive Dexterous Manipulation

Wed, 26 Aug 2026 00:00:00 GMT

1. 论文概述

【Paper】《T-Rex: Tactile-Reactive Dexterous Manipulation》针对一个常被忽略的事实：视觉可以告诉机器人“物体在哪里”，但在插入、擦拭、翻页、拧灯泡等接触丰富任务中，真正决定成败的是力、滑移和局部形变。论文同时解决数据、表示和推理频率三个瓶颈：构建 100 小时触觉同步数据集；在 Qwen3-VL-2B 上设计具有 latent/action/tactile 三个专家的 Mixture-of-Transformers（MoT）；用时间触觉 VQ-VAE 压缩高频力历史。

一句话总结

【Analysis】 T-Rex 的关键不是“把触觉拼到视觉 token 后面”，而是把控制时间尺度拆开：低频视觉语言流负责语义和动作先验，高频触觉流只在需要时继续 flow matching 的末端去噪。

核心贡献

【Paper】

T-Rex Dataset：207 个日常物体、22 个 motor primitives，筛选出 502 个可行组合，累计 7,755 条轨迹和 100 小时示教；官方代码仓库说明约 50 小时以 LeRobot v3.0 格式开放。
T-Rex Model：变量速率 MoT。latent expert 建模视觉语言上下文，action expert 生成低频动作，tactile expert 复用 KV cache 做高频修正。
Temporal tactile VQ-VAE：把每个指尖 16 帧、6 维力历史离散成 codebook token，同时保留当前力向量和形变图，兼顾动态与瞬时接触。
Benchmark：12 个真实双手任务，覆盖力敏感、形变、插入和双手协调；平均成功率 65%，比最强基线高约 30 个百分点。

2. 背景与相关工作

【Paper】 现有 VLA 通常以 RGB 和语言为主，触觉工作又常停留在单任务、单臂或静态 encoder。直接从零学习同步视觉—触觉—动作需要昂贵的长时遥操作数据；而让标准 VLM 以视觉频率运行，也无法跟上触觉信号的高频变化。

相关路线大致有三类：ACT/ViTacFormer 一类的视觉触觉模仿学习、RDP 一类的 slow-fast diffusion policy，以及通过大规模人类视频预训练获得通用动作先验的 VLA。T-Rex 的区别在于把三者组合为一个 foundation-model recipe：先用 22,889 小时人类第一视角视频获得语义和运动先验，再用触觉同步机器人数据做 mid-training，最后只需约 100 条任务示教做 post-training。

3. 问题定义

在控制时刻 $t$，策略接收三路 $640\times360$ RGB、语言指令、双手十个指尖的力/力矩历史和形变图，输出长度为 16 的动作 chunk：

$$ \mathbf A_{t:t+H}=\pi_\theta(\mathbf o_t,\ell,\mathbf f_{t-15:t},\mathbf d_t),\qquad H=16. $$

【Paper】 平台是固定基座 Dexmate Vega-1，双臂各 7 个关节，配两只 22-DoF Sharpa Wave 手。手臂使用相对 end-effector delta 控制，手指使用绝对关节控制；低层控制线程以 300 Hz 跟踪高层策略目标。

4. 方法

4.1 Overall Architecture

【Paper】 视觉语言上下文先进入 latent expert 和 action expert，action expert 从噪声去噪到 $\tau_{\mathrm{split}}=0.4$ 并缓存 KV；随后 tactile expert 读取实时触觉 token，在不重跑视觉塔的情况下完成剩余去噪并输出动作 chunk。

4.2 核心模块

Mixture-of-Transformer-Experts

Latent expert：Qwen3-VL-2B 的视觉语言主干，预测未来视觉 latent，提供语义和时间上下文。
Action expert：1.41B 参数、62 维动作、chunk 长度 16；使用 flow matching 产生低频基础动作。
Tactile expert：约 0.62B 参数，FFN intermediate size 1536；只处理 $[0,\tau_{\mathrm{split}}]$ 的末端轨迹，适合高频调用。

三个专家共享 self-attention 的 token 空间，但拥有独立的 $Q/K/V/O$ 投影、FFN 和输出 head。【Analysis】 这样既保留跨模态信息交换，又避免用一个统一 head 同时拟合“看懂任务”和“瞬时反射”两种统计性质不同的信号。

Spatial-temporal tactile encoder

【Paper】 每个指尖取最近 16 帧、每帧 6 维力向量。共享卷积权重的 1D temporal encoder 下采样后得到 256 维 embedding，再用大小为 64 的 EMA codebook 量化；另一路把当前力向量线性投影；第三路用冻结的轻量 ResNet 风格网络编码单通道形变图。三路 token 拼接为：

$$ \mathbf z_t^\tau=\left[\operatorname{Emb}{vq}(E_f(\mathbf f{t-15:t}));\operatorname{Proj}_f(\mathbf f_t);\operatorname{Proj}_d(E_d(\mathbf d_t))\right]. $$

【Code】 官方 tactile_vqvae/models/ 实现 VQ-VAE，训练时以 magnitude-weighted MSE 重建高力接触，并通过 EMA 重置低使用率 code；qwen_vla/modeling_vla.py 支持将 VQ-VAE 嵌入 checkpoint，在训练和推理中 on-the-fly 编码，不要求离线预烘焙 codes。

4.3 关键公式

给定示教动作 $\mathbf A^{demo}$ 和高斯噪声 $\boldsymbol\epsilon$，线性路径及共享速度目标为：

$$ \mathbf x_\tau=(1-\tau)\mathbf A^{demo}+\tau\boldsymbol\epsilon,\qquad v^\star=\boldsymbol\epsilon-\mathbf A^{demo}. $$

其中 $\tau=1$ 是噪声端，$\tau=0$ 是动作端。action 和 tactile 两个专家在不重叠的时间区间回归同一个 $v^\star$：

$$ \mathcal L=\mathcal L_{act}+\lambda_{tac}\mathcal L_{tac}+\lambda_{future}\mathcal L_{future}, \quad \lambda_{tac}=1,\ \lambda_{future}=0.5. $$

【Analysis】 共享目标让 tactile expert 学到的是“如何修正同一条动作轨迹”，而非另一个独立 policy；KV cache 则把视觉语义固定在 slow tick 的边界状态。

4.4 Training

【Paper】 训练分三阶段：

Human-video pretraining：22,889 小时第一视角视频，训练 latent/action experts，学习视觉语义与粗粒度运动先验。
Tactile-grounded mid-training：100 小时触觉同步双手数据，训练 tactile expert 并把动作先验对齐到 Vega-1 的多视角和动作空间。
Task post-training：每个下游任务约 100 条示教，保留已获得的触觉反应能力。

优化器是 AdamW，峰值学习率 $10^{-4}$，cosine schedule，bf16，24 张 H100，per-device batch size 16，梯度裁剪 1.0。两个 flow expert 的时间从 $\operatorname{Beta}(1.5,1.0)$ 采样；tactile expert 的采样区间缩放到 $(0,0.4]$。

4.5 Inference

慢流每个 chunk 运行一次：action expert 用 6 个 Euler steps 从 $\tau=1$ 到 $0.4$；快流在 chunk 内偏移 ${0,4,8,12}$ 处触发，每次用 4 个 Euler steps 从 $0.4$ 到 $0$。快流复制缓存的视觉 KV，加入新触觉 token，输出更新后的完整动作 chunk。

4.6 代码实现对照

【Code】 官方仓库 scripts/train.py/scripts/test.py 对应 post-train 和 ZMQ 推理；qwen_vla/modeling_vla.py 明确实现 forward_flow_action_partial 与 tactile_flow_continue 两段式接口。scripts/train.sh 使用 action_dim=62、action_chunk=16、use_tactile_vec=1、use_tactile_deform=1、use_tactile_vqvae=1，并设置 tactile loss weight 1.0、cascaded tactile dropout 0.1。推理脚本说明 fast 请求直接返回最终 action chunk，而不是把一个独立的 $\hat A$ 与残差相加。

5. 实验

5.1 Experimental Setup

【Paper】 每个任务评估 16 次，随机化物体位置和朝向；多阶段任务使用 progress-based rubric。基线包括 ViTacFormer、RDP、Tactile-VLA、EgoScale、$\pi_{0.5}$ 和 $\pi_{0.5}$ + tactile。

5.2 Main Results

12 个任务的平均成功率如下（百分比）：

| 方法 | 平均成功率 | | --- | ---: | | ViTacFormer | 3 | | RDP | 6 | | Tactile-VLA | 15 | | $\pi_{0.5}$ | 17 | | EgoScale | 35 | | $\pi_{0.5}$ + tactile | 6 | | T-Rex | 65 |

【Paper】 T-Rex 在 Flip Page、Transfer Egg、Apply Paste 等任务分别达到 96、75、66；在 Acid-Base Neutralization、Extract Card 等同时依赖力和形变的任务也保持 70% 左右。最强基线 EgoScale 为 35%，因此提升超过 30 个百分点。简单把触觉拼到 $\pi_{0.5}$ 反而降到 6%，说明触觉融合方式比“是否增加触觉输入”更重要。

5.3 Ablation Study

六任务平均结果：完整模型 65%；去掉触觉 42%；用 MLP Force + Deform 58%；只用 Deform 54%；MLP Force + VQ-VAE Force 59%；去掉异步结构 60%。

【Analysis】 这组结果把收益拆成三层：触觉本身约贡献 23 个百分点；时间 VQ-VAE 相比简单 MLP 仍有约 6–7 个百分点；异步 cascaded denoising 再贡献约 5 个百分点。VQ-VAE 的价值并非单纯降维，而是把力历史变成稳定的离散动态词汇。

5.4 Generalization

【Paper】 数据集由 207 个物体与 22 个 primitive 组合，经可行性筛选得到 502 对、7,755 条轨迹。与同等 100 小时的 task-specific 数据相比，motor-primitive 组织方式带来更好的 zero-shot transfer；在下游示教数从 10 增加到 200 的曲线中，mid-training 版本在低数据区间明显更高。

6. 方法分析

6.1 为什么有效？

【Analysis】 第一，22,889 小时人类视频提供“怎么做”的先验，避免触觉数据承担语义学习；第二，触觉中训把先验绑定到真实接触动力学；第三，slow/fast 分工让高频闭环不必重复运行昂贵视觉塔。三者分别对应数据效率、表示质量和运行时延。

6.2 核心创新

将 variable-rate MoT 用于双手触觉 VLA，而非任务专用小网络。
用 cascaded flow matching 在同一动作轨迹上拼接低频规划和高频 refinement。
将 16 帧力历史离散化，并与当前力和空间形变并行编码。
以 motor primitive × object 的覆盖策略构建中训数据，而不是只收集完整任务。

6.3 与已有方法的本质区别

RDP 是视觉扩散策略加触觉快速分支，ViTacFormer 是 ACT 式任务策略；T-Rex 的 action expert 保留 foundation VLA 的广泛先验，tactile expert 只学习末端去噪区间，并通过 KV cache 异步运行。【Analysis】 因此它不是“触觉版 ACT”，而是把触觉视为改变生成轨迹末端的条件变量。

6.4 关键假设

方法假设触觉修正主要发生在动作 chunk 的末端去噪区间；假设 slow tick 的视觉语言上下文在数个 fast tick 内仍然有效；还假设十个指尖的力/形变足以覆盖任务所需的接触状态。论文没有证明这些假设对全手掌接触或更长时程任务同样成立。

7. 局限性

7.1 作者明确提出的局限

【Paper】 长时程、精确接触协调任务仍受遥操作难度限制，未来可能需要 reinforcement learning 或 online interaction refinement。硬件方面存在传感器畸变、跨设备 calibration drift，以及缺少密集掌面触觉的问题。

7.2 自己分析得到的局限

【Analysis】 论文主要报告成功率，尚未公开 latency、能耗和 fast tick 失步时的安全边界；固定 $\tau_{split}=0.4$ 也可能无法适应不同任务的接触阶段。数据集虽有 207 个物体，但 502 个可行组合仍来自单一 Vega-1/Sharpa Wave embodiment，跨硬件迁移需要新的触觉标定和 action mapping。

8. 启发与研究思考

T-Rex 给触觉 VLA 的启发是：不要强迫所有模态以同一频率、同一 token 形式和同一 head 处理。更可扩展的方向可能是让 split timestep 随接触状态自适应，让触觉 expert 预测 uncertainty 并在传感器漂移时退回视觉策略，或将掌面触觉、声音和关节电流统一为同一类高频 residual stream。另一个值得验证的问题是：当 fast expert 只修正 flow trajectory 的末端时，它能否覆盖真正需要重新规划的接触失败？

StarVLA-α 论文精读

Wed, 26 Aug 2026 00:00:00 GMT

1. 论文概述

一句话总结

【Paper】StarVLA-α 不追求新的 action architecture，而是固定强大的 Qwen3-VL backbone，使用最小化的数据处理、连续 action regression 和跨 benchmark 的统一训练，回答“VLA 中哪些复杂设计真的必要”。

核心贡献

【Paper】提出一个由 Qwen3-VL 和轻量 MLP action head 组成的简单 baseline，在 LIBERO、SimplerEnv、RoboTwin 2.0、RoboCasa-GR1 四个 benchmark 上统一评测。
【Paper】在控制 backbone、数据和训练协议后，比较 FAST 离散 token、MLP regression、flow-matching 以及 GR00T 式双系统 action head，发现连续 action 很重要，但连续 head 之间差距有限。
【Paper】重新评估 OXE、InternData-A1、RoboTwin-Rand 等 action-specific pretraining，说明预训练收益依赖目标 embodiment 和数据域，OOD 数据甚至会伤害性能。
【Paper】提出 all-in-one generalist 评估：单个模型联合训练四类 benchmark，使用 32 维 zero padding 统一 action interface；RoboCasa-GR1 平均成功率达到 57.3%。
【Paper】在 ARX5 的 RoboChallenge 真实世界评测中达到 33.6% success rate、54.5 progress score，分别高于 π0.5 的 12.7% 和 27.6%。

2. 背景与相关工作

【Paper】当前 VLA 结果难以直接比较，原因不是单一模型结构，而是整条 pipeline 同时变化：vision tower、language backbone、action tokenizer、action chunk、proprioception、历史帧、动作坐标系、预训练数据和 benchmark-specific evaluation 往往一起变化。这样一来，论文报告的提升可能来自数据清洗或评测工程，而不是模型本身。

【Analysis】StarVLA-α 的价值更接近“实验控制组”而非传统意义上的新架构。它把问题拆成三个可检验的轴：action head 是否需要复杂化、action-specific pretraining 是否普适、数据工程是否在强 VLM 上仍然必要。

3. 问题定义

给定多视角 RGB 观测 $I$ 和语言指令 $l$，模型需要输出长度为 $H$ 的连续动作块：

$$ \hat{A}={\hat{a}_1,\ldots,\hat{a}_H},\qquad \hat{a}_t\in\mathbb{R}^{D}. $$

其中 $H$ 是 action horizon，$D$ 是 embodiment 的 action dimension。单 benchmark 训练时，$D$ 可为 7、14、29 等；all-in-one 训练时，论文将不同机器人的动作向量补零到 $D_{max}=32$。输入默认只有 RGB 和语言，state、历史帧、delta/relative action 都作为可控 ablation，而不是默认输入。

4. 方法

4.1 Overall Architecture

【Paper】统一流程是 RGB + instruction → Qwen3-VL → action-token hidden states → MLP → continuous action chunk；benchmark-specific 部分只保留薄适配器，用于 observation、action interface 和 evaluator 的格式转换。

4.2 核心模块

Qwen3-VL backbone

【Paper】Qwen3-VL 原生接收图像和文本，不需要额外拼接 CLIP/SigLIP 等视觉塔。它输出融合后的 token hidden states，承担视觉理解、指令 grounding 和跨任务表征。

Action token 与 MLP head

【Paper】在指令末尾追加 $H$ 个 action token，每个 token 对应一个未来时间步。第 $t$ 个 token 的 hidden state $h_t$ 输入共享的 MLPResNet，直接回归 $D$ 维连续动作。

【Code】官方 starVLA/model/framework/VLM4A/QwenOFT.py 使用特殊字符 🔍 作为 action token，在 prompt 中构造 “Please predict the next H robot actions” 后，从 Qwen 输出的最后 hidden state 中收集这些 token 的 embedding。MLP_ActionHeader.py 的 head 是 LayerNorm → Linear → ReLU → 2 个 residual MLP block → LayerNorm → Linear，对每个 chunk step 独立映射到 action vector。

Minimal data pipeline

【Paper】训练 split 上计算 action 的均值和标准差，并做 zero-mean、unit-variance normalization；评测遵循各 benchmark 官方 protocol。默认不加入 proprioception、历史帧或复杂 action transform。

【Code】代码仓库的通用 LeRobot dataloader 会保存 dataset_statistics.json，推理接口返回 normalized_actions；具体 robot 的反归一化和 gripper 语义由 benchmark/robot adapter 负责。

Cross-embodiment padding

【Paper】all-in-one 模型把低维 action 右侧补零到 32 维，再用同一个 action head 预测。论文比较了 RDT action 和 multi-action head，说明简单 padding 在多个 benchmark 上不逊色，且在 Google Robot VM 和 RoboCasa-GR1 上分别提升 2.9 和 4.8 个百分点。

4.3 关键公式

VLM 的融合表示写作：

$$ H=\operatorname{VLM}{\phi}(I,l,\tau{1:H_a}), $$

其中 $\tau_{1:H_a}$ 是追加的 action tokens，$H$（此处为矩阵）包含每个 token 的 hidden state。取出对应位置后：

$$ \hat{a}t=f{\theta}(h_t),\qquad t=1,\ldots,H_a, $$

其中 $H_a$ 是 action horizon，$f_\theta$ 是共享参数的 MLP action head，输出维度为 $D$。

训练目标是逐元素 L1 regression：

$$ \mathcal{L}{\mathrm{L1}}=\frac{1}{H_aD}\sum{t=1}^{H_a}\sum_{j=1}^{D}\left|\hat{a}{t,j}-a{t,j}\right|. $$

【Analysis】L1 目标与 diffusion/flow-matching 相比没有采样过程或噪声时间变量，优化和推理路径都更短；代价是它不能显式表示同一观测下的多峰动作分布。

对于多 embodiment 的统一接口：

$$ \tilde{a}_t=[a_t^{(1:D)},0,\ldots,0]\in\mathbb{R}^{32}. $$

【Paper】该式不是新的 action representation，而是把异构维度的接口复杂度下沉到 padding；模型依靠视觉、语言和训练分布学习哪些维度有效。

4.4 Training

【Paper】specialist 训练分别使用每个 benchmark 的训练集；generalist 训练将 LIBERO、SimplerEnv、RoboTwin 2.0 和 RoboCasa-GR1 合并。all-in-one 实验使用 learning rate $1\times10^{-4}$、batch size 256，并将 action 维度补到 32。

【Code】训练入口是 starVLA/training/train_starvla.py，采用 PyTorch + Accelerate + DeepSpeed，优化器为 AdamW，模型 forward 返回 action_loss。QwenOFT 的 forward 取 action chunk 的最后 $H_a$ 个标签并计算 L1 loss；配置文件决定 action dimension、horizon、batch size 和冻结模块。

4.5 Inference

【Code】Qwenvl_OFT.predict_action 在 torch.inference_mode() 下处理输入，按训练分辨率 resize 图像，追加相同的 action prompt，读取 action-token hidden states 后一次性输出 [B,H_a,D] 的 normalized_actions。部署 adapter 再按 robot 的统计量反归一化，并按 action chunk 的步长执行。

【Paper】论文没有把推理写成额外的 sampling algorithm；MLP variant 是单次 forward，π/GR00T/FAST 变体则由各自 action head 的实现决定。

4.6 代码实现对照

| 论文描述 | 官方代码位置 | 对照结论 | | -------------------------- | ------------------------------------------------ | -------------------------------------------------------------- | | Qwen3-VL + MLP | model/framework/VLM4A/QwenOFT.py | Qwenvl_OFT 组合 VLM interface 与 action model。 | | action token | QwenOFT.py::_gather_action_token_embeddings | 通过 token id 从最后一层 hidden states 中收集 action queries。 | | 连续 action regression | model/modules/action_model/MLP_ActionHeader.py | 两个 residual MLP block，输出每步 action。 | | L1 objective | QwenOFT.py::forward | nn.L1Loss() 对预测 chunk 与末端标签 chunk 求损失。 | | normalization / deployment | dataloader/*、examples/*/eval_files | 统计量落盘，adapter 负责反归一化与 action 语义。 | | 多种 action head | QwenFast.py、QwenPI.py、QwenGR00T.py | 代码提供 FAST、flow-matching 和 dual-system 可替换实现。 |

【Analysis】论文中的 StarVLA-α 是一个受控 baseline，而 GitHub 仓库是持续演进的 Lego-like 平台，包含更多 backbone、benchmark 和部署支持；不能把仓库当前全部功能都当成论文实验的一部分。

5. 实验

5.1 Experimental Setup

【Paper】实验覆盖五类 embodiment/场景：LIBERO 单臂仿真、SimplerEnv 的 WidowX 与 Google Robot、RoboTwin 2.0 双臂、RoboCasa-GR1 humanoid，以及真实 ARX5 RoboChallenge。比较对象包括 FAST、OpenVLA-OFT、π0、π0.5 和 GR00T-N1.6。

5.2 Main Results

| 方法 | LIBERO avg | Simpler WidowX | Google VM | RoboTwin clean* | RoboCasa-GR1 | | -------------------- | ---------: | -------------: | --------: | ---------------: | -----------: | | π0.5 | 96.9 | 46.9 | 72.7 | 82.7 | 37.0 | | GR00T-N1.6 | 97.0 | 62.0 | 67.7 | — | 47.6 | | StarVLA-α specialist | 98.8 | 64.6 | 76.0 | 88.2 | 53.8 | | StarVLA-α generalist | 97.8 | 65.2 | 74.3 | 88.7 | 57.3 |

【Paper】specialist StarVLA-α 在 LIBERO 达到 98.8%，在 Google VM 达到 76.0%；generalist 在 RoboCasa-GR1 达到 57.3%，比 specialist 高 3.5 个百分点。表中 * 表示 clean 与 random 数据共同训练，— 表示论文未报告。

真实机器人上，StarVLA-α 在 ARX5 的 11 个 RoboChallenge 任务平均 success rate 为 33.6%、progress score 为 54.5；π0.5 分别为 12.7% 和 27.6%。

5.3 Ablation Study

Action head

| 变体 | LIBERO avg | WidowX | RoboCasa-GR1 | | --------------- | ---------: | -------: | -----------: | | StarVLA-α-FAST | 97.8 | 35.6 | 45.0 | | StarVLA-α-MLP | 98.8 | 64.6 | 53.8 | | StarVLA-α-GR00T | 98.7 | 65.3 | 52.8 | | StarVLA-α-π | 98.1 | 65.9 | 48.9 |

【Paper】离散 FAST 在几乎所有 benchmark 上落后；连续 MLP、flow-matching 和 dual-system 的差距则很小。论文据此认为“连续 action”比“连续 action 的具体 head”更关键。

Action-specific pretraining

【Paper】在 RoboTwin clean 50×50 上，直接 fine-tune 为 50.3%，+OXE 降到 30.2%，+InternData-A1 为 63.6%，+RoboTwin-Rand 为 79.7%。但在 RoboCasa-GR1 上，这些预训练变体分别只有 27.8%、35.4% 和 33.3%，低于无额外预训练的 53.8%。

Data engineering

【Paper】proprioception、历史帧、delta action、relative action 在低数据区间有时带来小幅收益；数据足够时通常接近 baseline。例如 RoboCasa 24×1000 时，baseline 53.8%，四种变体为 54.2%、52.6%、54.8%、55.5%。

5.4 Generalization

【Paper】模型规模从 2B 增加到 4B 会显著改善 SimplerEnv，8B 相对 4B 的额外收益通常不超过 1%；在当前训练规模下，4B 是性能与成本的折中点。总 batch size 从 64 增加到 1024 时，SimplerEnv WidowX 与 RoboCasa 平均成功率总体上升，说明跨数据集训练中 batch diversity 本身就是重要变量。

【Analysis】这组结果提醒我们，所谓“模型泛化”同时受 backbone capacity、数据混合比例和优化噪声影响。若不控制 batch size，容易把训练动力学误判为 architecture gain。

6. 方法分析

6.1 为什么有效？

【Analysis】第一，Qwen3-VL 已经提供强视觉-语言先验，动作学习主要变成把语义 grounding 映射到连续控制空间；第二，MLP head 避免了 tokenizer、迭代采样和双系统之间的额外误差源；第三，统一数据管线减少了 benchmark-specific overfitting，使 backbone 的迁移能力真正暴露出来。

6.2 核心创新

【Paper】创新点不是新模块，而是将“复杂设计是否必要”变成可复现实验问题：固定 backbone、数据规模和训练协议后逐项替换 action head、预训练数据与输入接口。

6.3 与已有方法的本质区别

| 维度 | 常见 VLA 做法 | StarVLA-α | | ------------ | --------------------------------------- | ---------------------------------------- | | 目标 | 在单 benchmark 上追求最好分数 | 建立可解释的控制组并测跨 benchmark 泛化 | | action head | FAST、diffusion、flow、dual-system 并存 | 默认连续 MLP，其他 head 作为受控对照 | | 数据 | 大量 embodiment-specific preprocessing | raw RGB + language，最小 normalization | | 多机器人接口 | RDT action / multi-head 等专用设计 | 统一补零到 32 维 | | 评测 | specialist 常见 | specialist 与 all-in-one generalist 并列 |

6.4 关键假设

【Paper】强 VLM 的语义和视觉表征足以支撑动作学习，不必依赖大规模 action pretraining。
【Paper】不同 embodiment 的 action 可以通过 padding 放入同一输出空间。
【Analysis】训练数据需要覆盖足够的 embodiment 和任务，否则 padding 只是在输出端制造未监督维度。
【Analysis】单步 MLP regression 对当前任务的动作多峰性影响有限；在接触丰富、长时域或强不确定性任务上，这个假设可能不成立。

7. 局限性

7.1 作者明确提出的局限

【Paper】作者强调额外 pretraining 的收益具有域依赖性；OXE 等异域数据可能损害目标任务。论文也没有声称简单 MLP 在所有机器人、控制频率和长时域任务上都优于 diffusion/flow head。

7.2 自己分析得到的局限

【Analysis】论文的“简单”依赖强大的 Qwen3-VL-4B 初始化，算力和显存门槛并不简单；小模型结论不能直接外推。
【Analysis】zero padding 没有显式 embodiment ID，模型只能从图像、语言和数据分布隐式推断机器人身份，数据混合不平衡时可能产生负迁移。
【Analysis】action chunk 仍是 benchmark-specific 配置（代码示例中可见 8、16、50 等 horizon），因此 pipeline 并未完全消除时序工程。
【Analysis】真实世界结果只展示有限 robot/task 组合，且部署 adapter 仍负责反归一化、gripper 索引和控制频率对齐；这些工程细节会影响可复现性。

8. 启发与研究思考

【Analysis】VLA 研究应先建立强 baseline，再引入复杂 action head；如果 MLP 已经达到同等水平，复杂度的收益必须用吞吐、延迟、稳定性或 OOD 指标证明。
【Analysis】action pretraining 更像“域适配器”而非通用能力来源。未来可按 embodiment/task 相似度选择性混合数据，而不是默认扩大数据规模。
【Analysis】all-in-one 评测值得成为标准：同一 checkpoint 不经 benchmark-specific fine-tuning，才能测出真正的跨 embodiment 能力。
【Analysis】batch size、数据混合和模型初始化应当进入 VLA 论文的标准 ablation，否则 architecture comparison 仍然会被训练动力学混淆。
【Analysis】一个自然的后续方向是保留 StarVLA-α 的统一接口，同时让模型按任务不确定性动态选择 MLP、flow-matching 或更长 horizon 的 action decoder。

StarVLA 论文精读：用可插拔骨干与动作头统一 VLA 研究

Wed, 26 Aug 2026 00:00:00 GMT

1. 论文概述

论文名称：《StarVLA: A Lego-like Codebase for Vision-Language-Action Model Developing》作者：StarVLA Community、Von Neumann Institute, HKUST 论文链接：arXiv:2604.05014 代码 / 项目页：StarVLA GitHub、Project Page

一句话总结

【Paper】 StarVLA 不是提出一种新的 VLA policy，而是一套研究基础设施：将系统分解为提供多模态表征的 backbone 与生成动作的可插拔 action head，让 FAST 离散自回归、OFT 并行回归、$\pi$ flow matching、GR00T 双系统共享同一数据契约、训练入口、基准评测与部署接口。

核心贡献

【Paper】

以 backbone–action-head 分解容纳四类动作解码范式，并让 Qwen3-VL、Cosmos-Predict2 等 VLM / world-model backbone 可替换。
把 behavior cloning、multimodal co-training 和 cross-embodiment data mixture 做成与具体 action head 无关的训练配方。
用统一服务端—客户端接口接入 LIBERO、SimplerEnv、RoboTwin 2.0、RoboCasa-GR1 和 BEHAVIOR-1K。
提供少数据工程、可复现的单 benchmark baseline，并报告跨 benchmark、跨 embodiment 的单模型训练结果。

【Analysis】 它的关键交付物不是某一行最高分，而是控制变量的能力：当数据、I/O、trainer 与 evaluator 固定时，性能变化才能更可靠地归因于 backbone、action representation 或 action head。

2. 背景与相关工作

【Paper】 现有 VLA 常被分为两条独立路线：一类把 vision-language model 的 token 表示转成动作，另一类借助生成式 world model 的去噪过程产生动作或未来观测。动作又可表示成离散 token、连续回归或 flow matching；各项目还常绑定专属的数据预处理、训练框架和 benchmark protocol，使横向结果混入实现差异。

【Paper】 StarVLA 用 policy-centric 表述把它们放在共同坐标中：未来观测预测、语言推理等可作为附加监督或归纳偏置；部署接口仍是从观测和语言到 action chunk 的 policy。

【Analysis】 统一的是软件接口和比较单位，并不证明所有 world model 与 VLM policy 在建模或成本上等价；后者仍受辅助信号、数据规模、采样开销和闭环控制方式影响。

3. 问题定义

【Paper】 在时刻 $t$，系统根据多模态历史观测 $\mathbf{x}_{\leq t}$ 和语言指令 $\ell$ 预测未来 $k$ 步动作，以及可选辅助输出：

$$ \pi(\mathbf a_{t:t+k},\mathbf y_{\mathrm{aux}}\mid\mathbf x_{\leq t},\ell). $$

Observation：$\mathbf{x}_{\leq t}$ 可含 RGB、深度、触觉、proprioception 等；具体任务可只使用其中一部分。
Action：$\mathbf a_{t:t+k}$ 是连续或离散化的 future action chunk，维度和归一化依 embodiment 而定。
Language：$\ell$ 是自然语言任务指令。
Auxiliary output：$\mathbf y_{\mathrm{aux}}$ 可为未来视觉、子目标或语言推理；direct policy 可为空。

【Paper】 总目标为：

$$ \mathcal L=\mathcal L_{\mathrm{action}}+\mathcal L_{\mathrm{aux}}. $$

$\mathcal L_{\mathrm{action}}$ 监督动作，$\mathcal L_{\mathrm{aux}}$ 表示可选的语言对齐或未来观测信号。该公式是共同的比较语言，不要求每个模型都预测世界状态。

4. 方法

4.1 Overall Architecture

【Paper】 原始多视角图像、语言和可选 state 先经 backbone 得到多模态 hidden states，再由 action head 输出归一化 action chunk。模型内部唯一的可替换边界是“multimodal representation → actions”，所以数据、训练和评测不因 head 改变而改变。

4.2 核心模块

统一 I/O 与可替换边界

【Paper】 所有 framework 都暴露训练入口 forward({raw images, str, ...})，返回 loss dictionary；推理入口 predict_action({raw images, str, ...})，返回 normalized_actions。训练与部署都消费接近环境层的 raw observation，避免 tokenizer、图像处理或 action scaling 散落在 benchmark 脚本中。

【Code】 截至 2026-08-10 的官方仓库提交 0ed0aad，starVLA/model/framework/base_framework.py 将 forward(examples) 约定为返回含 action_loss 的字典，将 predict_action(examples) 约定为返回 [B,T,action_dim] 的 normalized_actions。代码也提醒：持续演进的最新 revision 未必复现旧 checkpoint，应锁定发布时 revision 与 checkpoint config。

四种 action head

| 变体 | 动作表示与解码 | 论文中的作用 | | ------------- | ---------------------------------------------------------------------------- | ------------------------------ | | StarVLA-FAST | FAST tokenizer 离散化动作，以 next-token prediction 自回归生成 | 检验 VLM-native token decoding | | StarVLA-OFT | 在预定义 action token 的 hidden state 上接轻量 MLP，并行回归连续动作 | 最轻量的可插拔连续 head | | StarVLA-$\pi$ | layer-wise cross-DiT 以多层 VL hidden states 为条件，迭代 flow-matching 去噪 | 检验生成式连续控制 | | StarVLA-GR00T | VL backbone 作慢速 System 2，DiT flow-matching 作快速 System 1 | 容纳双系统推理 / 控制模式 |

【Code】 当前仓库的 VLM4A/QwenFast.py、QwenOFT.py、QwenPI.py 和 QwenGR00T.py 分别实现相近变体。QwenOFT.py 将 action special token 加入 prompt，抽取对应 hidden state，以 MLP 和 L1 loss 回归 action horizon；QwenFast.py 将轨迹编码成 FAST token，再用语言模型 generation 解码。这里是代码核验结果，不应把 2026-08 的参数与模块倒推成论文冻结版本。

Backbone、data 与 benchmark adapters

【Paper】 VLM 与 world-model backbone 通过 adapter 接到共同 hidden-state 边界；异构机器人数据通过统一 mixture 接入。benchmark 以 policy server 和独立 evaluator 通信，adapter 负责 resize、归一化 / 反归一化、chunk 选择、sticky gripper 等环境规则。

【Code】 starVLA/dataloader/lerobot_datasets.py 根据 data_mix 建立带 robot type / embodiment tag 的 LeRobotMixtureDataset；deployment/model_server/server_policy.py 启动 WebSocket policy server；LIBERO、SimplerEnv、RoboTwin examples 各保留 model2*_interface.py。这对应论文的“核心 policy 不 import simulator，差异留在薄 adapter”。

4.3 关键公式

辅助目标如何区分范式

$$ \mathcal L_{\mathrm{aux}}= \begin{cases} 0,&\text{direct VLA},\ \mathcal L_{\mathrm{language/reasoning}},&\text{VLM-based VLA},\ \mathcal L_{\mathrm{future\ observation}},&\text{world-model-based VLA}. \end{cases} $$

【Paper】 direct policy 只优化动作；VLM-based 模型可加子任务、spatial grounding 或 reasoning token；WM-based 模型可预测 image / video，或把它作为隐式 latent structure。共享动作损失不表示三者训练难度或推理成本相同。

多目标 co-training 损失

$$ \mathcal L_{\mathrm{co}}=\mathcal L_{\mathrm{action}}+\lambda_{\mathrm{vlm}}\mathcal L_{\mathrm{vlm}}. $$

【Paper】 $\mathcal L_{\mathrm{vlm}}$ 来自额外 vision-language web data，$\lambda_{\mathrm{vlm}}$ 平衡动作拟合和多模态能力保持。【Code】 train_starvla_cotrain.py 每步对 VLA batch 反传 action_loss，并对 VLM batch 反传乘以 trainer.loss_scale.vlm 的 language-model loss，是公式的直接对应。

4.4 Training

【Paper】 基础配方是 benchmark 内 supervised fine-tuning：从公开 VL 权重初始化，只用该 benchmark 的标准 demonstrations，不使用 VLA-specific 大规模预训练、data augmentation 或 DAgger。两种可复用扩展分别是双 dataloader 的 multimodal co-training，以及按 sampling weights 混合不同机器人数据的 cross-embodiment training。

【Analysis】 统一训练不等于所有 head 获得相同的 hyperparameter budget；action horizon、采样步数、backbone size 和 batch size 仍会改变成本。框架的价值是让这些差异显式化，而不是自动抹平。

4.5 Inference

【Paper】 evaluator 将图像、语言和可选 state 打包到 policy interface；server 调用 predict_action 得到 normalized action chunk；adapter 用 checkpoint 的 dataset_statistics.json 反归一化并转换为环境控制。模拟与真实机器人可沿用同一边界。

<Algorithm number={2} title='StarVLA 的 server-client 推理与执行' inputLabel='输入' outputLabel='输出'

4.6 代码实现对照

| 论文抽象 | 当前官方代码对应 | 阅读边界 | | ------------------------------- | ------------------------------------------------------ | -------------------------------------------- | | framework registry + 可替换组件 | base_framework.py 的 build_framework() 与 registry | 现有 registry 含论文后加入的模型 | | 机器人监督训练 | starVLA/training/train_starvla.py | trainer 读取 framework 返回的 action_loss | | VLA + VLM 双目标 | train_starvla_cotrain.py | 两次 forward/backward，使用 loss_scale.vlm | | cross-embodiment mixture | dataloader/lerobot_datasets.py | mixture 名称与数据格式会随 release 增长 | | 模拟与实机部署 | deployment/model_server/、examples/**/eval_files/ | WebSocket 默认，另有 GR00T 兼容 ZMQ 路径 |

【Code】 README 显示报告发布后仓库仍加入 WM4A、RL post-training、Franka、DOMINO、RoboDojo 等能力。本文因此把论文的四个代表范式和五个主 benchmark 作为论文事实，把当前 checkout 的行为单独标为代码事实。

5. 实验

5.1 Experimental Setup

【Paper】 单 benchmark 结果尽量遵循官方训练和评测流程。LIBERO 使用四 suite 的联合 policy，按每 suite 10 task、每 task 50 episode 汇总；SimplerEnv 使用 Visual Matching / Variant Aggregation；RoboTwin 2.0 覆盖 50 task 的 clean 与 randomized 条件；RoboCasa-GR1 汇总 24 task。generalist setting 则将 LIBERO、SimplerEnv、RoboTwin 2.0 和 RoboCasa-GR1 合并训练一个模型，不做 benchmark-specific fine-tuning。

5.2 Main Results

【Paper】 下表摘取最能体现不同 head 可在同一基础设施比较的结果；不同 benchmark 的 success rate 不可横向相减。

| Benchmark / 设置 | StarVLA 代表结果 | 对照信息 | | --------------------------------- | -------------------------------------------------------------------: | ------------------------------------ | | LIBERO，Qwen3-VL-4B | OFT 96.6% avg，GR00T 96.5%，$\pi$ 95.7%，FAST 95.4%（30K steps） | OpenVLA-OFT 为 97.1%（175K steps） | | LIBERO，Cosmos-Predict2-2B | OFT 95.8%，$\pi$ 95.5%，GR00T 95.2%（30K steps） | 世界模型 backbone 可接同一 head 边界 | | SimplerEnv WidowX VM，Qwen3-VL-4B | GR00T 65.3%，OFT 64.6%，$\pi$ 60.9% | 文中 GR00T N1.5 为 61.9% | | SimplerEnv Google Robot | OFT：VM 76.0%，VA 70.2% | 只报告 OFT 代表配置 | | RoboCasa-GR1（24 tasks） | OFT 48.8%，GR00T 47.8%，$\pi$ 43.9%，FAST 39.0% | 连续 head 在该设置更强 | | RoboTwin 2.0 | $\pi$：clean 88.1%、random 88.8%；OFT：88.2% / 88.3% | unified policy 覆盖 50 task |

【Analysis】 这些数字说明在作者 recipes 和 protocol 下，多个 backbone–head 组合能达到强基线；它们不足以证明某动作表示在所有数据规模、所有真实机器人上占优。

5.3 Ablation Study

【Paper】 technical report 的实验重心是 framework baseline 与 cross-benchmark demonstration，而不是严格模块消融；论文未给出“移除统一接口 / 只替换某组件”且其余预算完全不变的标准 ablation。因此不能把不同 head 的横向成绩当作每个工程设计的因果效应。

【Paper】 论文引用的 StarVLA-based ST4VLA study 显示：action-only 的 Google Robot VM / VA、WidowX VM 为 66.1 / 63.5、54.7；加入 co-training 后为 70.2 / 66.5、61.1；加 spatial pretraining 后为 84.6 / 75.9、73.2。Vanilla VLA 的 RefCOCO-g IoU@0.5 在约 20K step 内接近随机。此证据支持 co-training infrastructure，但结果应归属于 ST4VLA，而非 StarVLA 四种 head 的消融。

5.4 Generalization

【Paper】 一个 jointly trained generalist 在不做下游专门微调时，得到 LIBERO 平均 97.8%，SimplerEnv WidowX / Google VA / Google VM 为 70.2 / 73.8 / 79.3%，RoboTwin random 为 87.8%，RoboCasa-GR1 为 57.3%。训练采用 $10^{-4}$ 学习率、总 batch 256，将低自由度 action padding 到共享 32 维向量；RoboCasa 高于表中对应 specialist 的最佳 48.8%。

【Analysis】 generalist 在部分列更高、在另一些列不是最高。更稳妥的结论是：统一 padding 与 mixture 训练没有使模型在多套件上崩溃，并且 RoboCasa 出现正迁移；对新机器人和真实长时程任务仍需额外验证。

6. 方法分析

6.1 为什么有效？

【Analysis】 标准 raw I/O 减少“方法差异实为 preprocessing 差异”的风险；独立 action head 使研究者可以复用昂贵的 data / evaluator investment；server-client 边界又允许各 simulator 在独立环境运行，降低多 benchmark 的依赖冲突。

6.2 核心创新

【Paper】 创新是双向模块化：外层以 raw observation 到 action 的契约固定训练 / 部署边界，内层以 backbone representation 到 action head 的契约固定模型组合边界。四个范式用来证明该边界不只服务单一 decoding family。

6.3 与已有方法的本质区别

| 路线 | 常见耦合 | StarVLA 的改变 | | ------------------ | ---------------------------------------------- | ------------------------------------------ | | 单论文 VLA 实现 | model、data、trainer、evaluator 共演化 | 将 backbone / head 移至显式配置与 registry | | 单一动作范式工具包 | action representation 绑定 backbone 与 trainer | 用同一外部 contract 运行四类 head | | benchmark 专用脚本 | evaluator 依赖混入 policy runtime | policy server 与 benchmark client 分离 |

【Analysis】 它更像 VLA 研究的实验操作系统，而不是替代 FAST、OFT、$\pi$ 或 GR00T 的新 policy；评价重点应是可复现性、组合速度和接口语义一致性，不只是单项 SOTA。

6.4 关键假设

【Paper】 设计假设不同 backbone 都能提供 action head 可消费的对齐表征，且 raw example 与 normalized action 的共同契约足以覆盖不同 benchmark。【Analysis】 对 image-text-action 任务这通常务实；在高频触觉、复杂接触或全身 humanoid 控制中，同步、时延、action frequency 与 safety constraints 仍可能是不能由统一字典抹平的差异。

7. 局限性

7.1 作者明确提出的局限

【Paper】 报告明确说明 StarVLA 仍在积极维护和扩展。RL fine-tuning 在论文撰写时仍是计划中的集成，公开重点是 supervised 和 co-training；工作定位是可复现、低数据工程 baseline，而非解决全部 generalist robot 问题。

7.2 自己分析得到的局限

【Analysis】

统一 API 可能隐藏 delta / absolute action、夹爪离散化、延迟与 chunk 执行等关键语义差异。
统一 framework 降低实现门槛，却不能消除大规模 GPU、专有数据和 simulator 环境的复现成本。
仓库快速演进；若论文、config、checkpoint 和 evaluator revision 不一起固定，复现责任边界仍模糊。
多 benchmark 成功率主要来自 simulation protocol；可部署到实体机器人不等于所有 embodiment 都已有闭环实机验证。

8. 启发与研究思考

【Analysis】 对后续 VLA 工作，一个值得发布的最小实验单元是四元组：(checkpoint revision, dataset statistics, training config, evaluator revision)。它比只发布权重更接近可验证的科学对象。提出新方法时也应明确它改变的是 backbone、action head、auxiliary objective、data mix 还是 adapter；改变面越清晰，结果越可解释和复用。

SpatialVLA 论文精读：用 3D 空间表示统一跨机器人 VLA

Wed, 26 Aug 2026 00:00:00 GMT

1. 论文概述

论文名称：《SpatialVLA: Exploring Spatial Representations for Visual-Language-Action Model》
作者：Delin Qu 等（上海人工智能实验室、复旦大学、上海交通大学等）
论文链接：arXiv:2501.15830
代码：SpatialVLA/SpatialVLA
项目主页：spatialvla.github.io

一句话总结

【Paper】 SpatialVLA 认为，通用机器人策略的瓶颈不只是视觉语义，而是没有把观测和动作都放进可对齐的 3D 空间。它在 PaliGemma 2 上分别加入 Ego3D Position Encoding（观测端）和 Adaptive Action Grids（动作端），再用 110 万条真实机器人轨迹进行跨 embodiment 预训练。

核心贡献

【Paper】

用单目深度估计和相机内参构造相机坐标系中的 Ego3D 表示，不依赖每台机器人的外参标定。
把 7D 连续动作拆成平移、旋转、夹爪三组空间 token；平移在球坐标中建 3D 网格，旋转在 roll-pitch-yaw 中建 3D 网格。
用拟合动作分布的 Gaussian quantile 划分网格，并在新机器人上重新拟合分布、用三线性插值初始化新 token（Spatial Embedding Adaption）。
在 SimplerEnv、WidowX、Franka 和 LIBERO 上进行零样本、微调和空间理解评估；LIBERO 平均成功率达到 78.1%。

2. 背景与相关工作

【Paper】 RT-2、OpenVLA 等 VLA 通常将图像 token、语言 token 与离散动作 token 放入同一个自回归模型，但图像主要提供 2D 语义，动作则按每个标量独立分桶。跨机器人时，摄像头安装位置、工作空间、自由度和控制器都不同，导致“同一个 token”未必表示相同的空间运动。

已有跨 embodiment 方法（如 Octo、RDT、HPT）主要解决数据或网络接口统一；3D-LLM、LEO、3D-VLA 则增强 3D 场景问答和规划。【Analysis】 SpatialVLA 的切入点更窄也更实用：不重做一个 3D 世界模型，而是把深度几何注入 VLA 的视觉输入，并让动作 token 本身携带空间邻接关系。

3. 问题定义

【Paper】 给定当前观测 $\mathbf{o}_t$（一张 third-person RGB 图像）和语言指令 $\mathbf{L}$，策略输出未来 $H$ 步动作：

$$ \mathbf{A}_t=[\mathbf{a}t,\ldots,\mathbf{a}{t+H-1}],\qquad \mathbf{a}_t={x,y,z,\mathrm{roll},\mathrm{pitch},\mathrm{yaw},\mathrm{grip}}. $$

平移与旋转被归一化到每个机器人环境的动作范围；平移再变换到 $(\theta,\phi,r)$ 球坐标。模型一次动作只生成 3 个 token（translation、rotation、gripper），而不是 7 个独立标量 token。实现中 action chunk 长度为 $T=4$，因此一次生成 12 个 token。

4. 方法

4.1 Overall Architecture

【Paper】 图像经 SigLIP 提取语义特征，并与 Ego3D 位置嵌入相加；PaliGemma 2 根据视觉、语言上下文自回归预测三组空间动作 token，再由 tokenizer 解码成连续控制量。预训练后，动作网格和 token 嵌入可针对新机器人重新适配。

4.2 核心模块

Ego3D Position Encoding

输入：RGB 图像 $I_t$、相机内参 $K$。
中间模块：ZoeDepth 预测深度图 $D$；反投影 $\pi^{-1}$ 得到每个视觉 patch 的相机坐标 $(x,y,z)$；对坐标做 sinusoidal frequency encoding，再经过两层 MLP。
输出：与 SigLIP 特征同维度的 $\mathbf{P}'$，并与 2D 特征 $\mathbf{X}$ 相加得到 $\mathbf{O}_{3d}$。

$$ \mathbf{O}_{3d}=\mathbf{X}+\mathbf{P}'=\mathbf{X}+\mathrm{MLP}(\gamma(\mathbf{P})). $$

【Code】 modeling_spatialvla.py 中的 Ego3DPositionEmbeddingMLP 使用 8 个频率、以 $(0,0,2)$ 为中心做归一化；backproject_patch 在每个 SigLIP patch 内采样 $2\times2$ 个深度点并聚合。【Analysis】 因为坐标在相机自 egocentric frame 中，模型不需要知道“这台机器人底座在世界坐标哪里”，降低了跨平台标定依赖。

Adaptive Action Grids

平移：将 $(x,y,z)$ 转成 $(\theta,\phi,r)$，分别划分 16、32、8 个 bin，共 $16\times32\times8=4096$ 个 translation token。
旋转：roll、pitch、yaw 各 16 个 bin，共 $16^3=4096$ 个 rotation token。
夹爪：开、闭两个 token。
总词表：$4096+4096+2=8194$ 个动作 token。

网格不是等宽划分，而是先统计整个训练混合数据中每个变量的分布，拟合 $\mathcal{N}(\mu^a,\Sigma^a)$，再用等概率区间切分。方向 $(\theta,\phi)$ 分配更多分辨率，以保留精细方向控制。

【Code】 scripts/action_config.json 固定了上述 bin 数；TranslationTokenizer 使用球坐标索引 disc_theta * (M_phi M_r) + disc_phi * M_r + disc_r，解码时取网格中心并裁剪回 $[-1,1]^3$。

4.3 关键公式

动作变量 $a$ 的网格边界满足：

$$ \int_{a_i}^{a_{i+1}} f(x),dx\approx\frac1M, $$

其中 $f$ 是拟合 Gaussian 的概率密度，$M$ 是该变量的 bin 数。这样高密度区域拥有更细的有效分辨率，低频区域不会浪费 token。

训练采用标准自回归交叉熵：

$$ \mathcal{L}(\theta)=\mathbb{E}_{p(\mathbf{A}_t|\mathbf{o}_t)} \left[\mathrm{CE}(\mathfrak{a}_t,\tilde{\mathfrak{a}}_t)\right]. $$

其中 $\mathfrak{a}_t$ 是由真实动作查询网格得到的 token，$\tilde{\mathfrak{a}}_t$ 是模型预测序列。【Code】 代码中的 SpatialActionTokenizer 负责离散化和解码，模型语言 embedding 末端的 8194 个位置被替换为可学习空间 token embedding。

新机器人适配时，对新分布重新划网格；新网格 token 用相邻旧网格 embedding 三线性插值初始化：

$$ \mathbf{e}{new}^{i}=\sum{j=1}^{K}w_j\mathbf{e}^{j},\qquad \sum_jw_j=1. $$

4.4 Training

【Paper】 预训练数据是 OXE 子集与 RH20T 的混合，共约 1.1M 条真实机器人 episode。模型从 PaliGemma 2 初始化，优化视觉塔、LLM、Ego3D MLP 和动作 token embedding；文本 token embedding 冻结，预训练最后三分之一阶段移除 DROID 数据。训练使用 64 张 A100、10 天、batch size 2048。

【Code】 入口是 train/spatialvla_pretrain.py；默认 freeze_llm_embed=True、use_vision_zoe=True，数据通过 data/dataset.py 构建 RLDS loader。

4.5 Inference

【Paper】 推理时只使用当前帧和语言指令，不运行 ZoeDepth 之外的额外规划器。模型预测 4 步 action chunk，执行 ensemble 后再请求下一个 chunk；单张 RTX 4090 约需 8.5GB 显存，速度约 20Hz。

【Code】 processing_spatialvla.py 中 action_token_num=3，按 action_chunk_size 截取生成序列并调用 decode_token_ids_to_actions；模型输出不足时会补零，因此部署时必须保证生成长度和 EOS 设置正确。

4.6 代码实现对照

| 论文描述 | 官方实现 | 需要注意的差异 | | --- | --- | --- | | 8194 个动作 token | action_config.json 与 SpatialActionTokenizer | 4096 平移 + 4096 旋转 + 2 夹爪 | | Ego3D 位置编码 | Ego3DPositionEmbeddingMLP、backproject_patch | ZoeDepth 与 SigLIP 使用独立预处理 | | 空间 token embedding | SpatialVLAModel.spatial_embed_tokens | 推理前复制到语言模型 embedding 尾部 | | 预训练 / 微调 | spatialvla_pretrain.py、spatialvla_finetune.py | 微调支持 LoRA 与 adapt_emb | | 新分布迁移 | tokenizer 的 set_bins 与 embedding adaption 逻辑 | 需要提供新环境统计量，论文未给出自动校准脚本 |

5. 实验

5.1 Experimental Setup

【Paper】 评估覆盖 7 类机器人学习场景、24 个真实机器人任务和 3 个模拟环境：SimplerEnv 的 Google Robot / WidowX 零样本，BridgeData V2 WidowX 实机，LIBERO 四个 suite，以及 Franka 新设置微调。空间理解任务专门改变物体布局、杯子高度、背景和动态干扰。

5.2 Main Results

【Paper】 主要结果如下：

| 评估 | SpatialVLA 结果 | 对比结论 | | --- | ---: | --- | | SimplerEnv Google Robot，zero-shot Visual Matching | 71.9% | 比 RoboVLM 高 15.6 个百分点；超过 RT-2-X 的 60.7% | | SimplerEnv Google Robot，zero-shot Variant Aggregation | 68.8% | 使用 3.5B 参数，优于 RT-2-X 的 64.3%（55B） | | SimplerEnv WidowX 总体成功率 | 34.4%（zero-shot）/ 42.7%（微调） | 高于 RoboVLM 的 13.5% / 31.3% | | LIBERO 平均成功率 | 78.1% | 四个 suite 综合第一；LIBERO-Spatial 为 88.2% |

在实机 WidowX 上，模型能在未见背景、物体姿态和人工移动干扰下保持较高成功率；在 Franka 上，单任务成功率约 82%，指令跟随比 OpenVLA 高 12 个百分点，多任务成功率 57%。

5.3 Ablation Study

【Paper】 在 Google Fractal + Bridge V2 混合数据上的预训练消融显示：完整模型在 Move Near 上达到 79.2% Variant Aggregation / 85.4% Visual Matching；将动作改成线性 256 bins 后分别降至 47.1% / 52.9%，去掉 Ego3D 后为 66.7% / 62.0%。8194 分辨率优于 1026 和 4610，说明空间结构与足够分辨率同时重要。

微调消融中，加入 Gaussian adaption 后 Pick Coke Can Visual Matching 从 77.0% 提升到 86.0%，Put Eggplant in Yellow Basket 成功率从 91.7% 提升到 100%。LIBERO 上，LoRA + Spatial Embedding Adaption 达到 Spatial 88.2%、Object 89.9%、Goal 78.6%、Long 55.5%，均高于仅 LoRA。

5.4 Generalization

【Paper】 空间理解测试包括“把离机器人最近的玩具放到车上”、改变杯子高度、改变锅高度等任务。SpatialVLA 在 Franka 空间指令任务达到 73% 准确率，并在 WidowX 的高度变化任务中显著超过基线。【Analysis】 这些结果更直接验证了 Ego3D 的作用：任务要求的是相对距离和布局，而不是只识别物体类别。

6. 方法分析

6.1 为什么有效？

【Analysis】 观测端的深度坐标为视觉 patch 提供了“在哪儿”，动作端的联合网格提供了“往哪儿移动”的结构；二者都在机器人无关的相机 / 空间坐标系中表达，减少了仅凭纹理学习的捷径。等概率 Gaussian 网格还把 token 容量集中到高频、细粒度运动上。

6.2 核心创新

真正的创新不是单独加入深度或改用更多 bins，而是把空间先验同时放入输入和输出，并让动作 token 的 embedding 可插值迁移。这样，预训练得到的不是某一台机器人的绝对动作表，而是一个可重新离散化的空间动作词典。

6.3 与已有方法的本质区别

OpenVLA / RT-2 采用每维独立标量分桶；SpatialVLA 将平移和旋转分别视为 3D 网格，token 索引保留坐标邻接。Octo/HPT 主要在网络模块或 embodiment stem 上对齐数据；SpatialVLA 直接对齐几何观测和动作表示。π0 使用连续 flow matching 解码，而 SpatialVLA 保留 VLM 自回归接口，以更少 token 换取约 20Hz 的推理速度。

6.4 关键假设

单目 ZoeDepth 的相对深度足以支持任务所需的空间关系；
不同机器人在相机坐标系中的动作分布可以通过 Gaussian 和网格重新参数化；
当前帧和短 action chunk 足以处理大多数短时操作，长时记忆不是主要瓶颈。

7. 局限性

7.1 作者明确提出的局限

【Paper】 Gaussian 假设在单轴运动或噪声较大的数据上可能造成网格聚集，挤压其他方向的动作分辨率。作者建议未来结合 VAE 等隐式分布建模。自回归三 token 解码虽快，但仍慢于能并行输出动作的 diffusion decoder；模型只看当前帧和历史 token，在 LIBERO-Long 等长时任务上表现较弱。

7.2 自己分析得到的局限

【Analysis】 Ego3D 依赖 ZoeDepth 的单目深度质量，透明、反光和遮挡场景可能产生系统误差；动作网格统计需要新机器人数据，极少样本时 Gaussian 参数会不稳定。论文没有报告动作网格数量、统计量变化与成功率之间的完整敏感性曲线，也未证明相机内参误差对跨平台迁移的容忍度。

8. 启发与研究思考

SpatialVLA 给出的重要信号是：VLA 的“通用性”可以从表示层获得，而不一定要继续堆大语言模型参数。后续工作可以沿三个方向推进：用混合密度或 normalizing flow 替代单一 Gaussian；把离散空间 token 与 diffusion / flow action head 结合；引入历史帧或显式 3D memory 解决长时任务。对实际部署者而言，先记录目标机器人动作统计量，再做 embedding 插值，可能比从头微调整个 VLA 更节省数据。

Spatial Traces 论文精读：把时间轨迹写进深度图的 ST-VLA

Wed, 26 Aug 2026 00:00:00 GMT

1. 论文概述

论文名称：《Spatial Traces: Enhancing VLA Models with Spatial-Temporal Understanding》

作者：Maxim A. Patratskiy、Alexey K. Kovalev、Aleksandr I. Panov

发表形式：arXiv 预印本（2025）

论文链接：arXiv

项目页：ST-VLA

一句话总结

【Paper】 Spatial Traces 不改变 VLA 的动作头，而是将过去观测中追踪到的关键点轨迹覆盖到当前预测的深度图，再将这个带轨迹的深度表征与当前 RGB 表征相加。它试图让模型在同一个视觉提示中回答两个互补问题：末端与物体在三维上“在哪里”，以及刚才“怎样运动过来”。

核心贡献

【Paper】

提出 Spatial Traces visual prompting：用 Co-Tracker 从历史帧构造关键点轨迹，并按深度写入当前深度图，统一编码时间与空间信息。
在 SpatialVLA 的组件组合上构建 ST-VLA：SigLIP 编码当前 RGB，ZoeDepth 预测深度，Ego3D Positional Encoder 编码带轨迹的深度，二者的视觉 embedding 相加后条件化 PaliGemma2 风格的 VLA。
只用 Bridge 训练集中的 52 条轨迹（1,969 个真实环境步骤）作 LoRA 微调，在 SimplerEnv 四项任务上报告相对 SpatialVLA 平均 SR 高 4 个百分点、相对 TraceVLA 高约 19 个百分点。

【Analysis】 这篇工作的要点不是“记住更多帧”，而是把历史压缩成一个与当前视角对齐的中间表征。与将多帧原样堆叠相比，这会控制 token 和上下文长度；代价是把有效信息的上限交给了深度估计与点追踪质量。

2. 背景与相关工作

【Paper】 许多 VLA 以当前视觉观测与语言指令预测动作，即 $a_t = \operatorname{VLA}(o_t, I)$。这类单帧条件化策略可以辨识场景，但很难从当前一张图分辨“静止的错误姿态”和“正沿正确方向移动的过程”。操控中的旋转、抓取后校正、遮挡恢复，常常需要这种时间上下文。

【Paper】 空间路线以 SpatialVLA 为代表：利用 RGB-D、egocentric geometry 和 Ego3D positional encoding，使模型获得位置和几何线索；但它主要处理静态观测。时间路线如 TraceVLA 则把 Co-Tracker 轨迹绘到 RGB 图上，额外保留原图输入，以轨迹提示历史运动；但它没有显式的深度定位。Spatial Traces 的定位正是把两条路线放到同一张 depth prompt 中。

【Analysis】 这里“空间 + 时间”不是简单地多加一个模态。轨迹只有二维像素坐标时，模型知道它移动过，却未必知道其与桌面、目标物的前后关系；单独的深度图反过来只描述此刻。将轨迹写入深度图，相当于让每个轨迹像素携带一个可被空间编码器读取的位置线索。

3. 问题定义

【Paper】 论文把语言条件下的操控任务写作

$$ \mathcal P = (S, O, A, T_F, S_I, S_G, I), $$

其中 $S$、$O$、$A$ 分别是状态、观测与动作空间，$T_F$ 是状态转移，$S_I$ 和 $S_G$ 是初始与目标状态，$I$ 是文本指令。策略需输出动作序列，使 $T_F(S_I, [a_0, \ldots, a_N]) = S_G$。

【Paper】 该方法在时刻 $t$ 使用大小为 $b$ 的观测缓冲区 $[o_{t-b+1}, \ldots, o_t]$ 与指令 $I$ 预测相对三维位移动作 $a_t$。Figure 1 的实验配置使用 30 张历史观测；$b$ 也是实验中改变的消融变量。

【Paper】 论文文字称以动作预测与训练集真值之间的 MSE 为目标，但紧随其后的写法是 $\theta^* = \arg\max_\theta \mathbb E[\operatorname{MSE}(\operatorname{VLA}_\theta)]$。最大化 MSE 与前一句“minimize”相冲突；将其理解为最小化监督误差才与问题设定一致，论文未给出更精确的损失展开。

4. 方法

4.1 Overall Architecture

【Paper】 输入由当前 RGB 观测、最近 $b$ 个观测构成的缓存，以及语言指令组成。缓存分别流向轨迹预测器 $M_T$，当前帧流向深度预测器 $M_D$ 和 RGB 图像处理器 $P_I$；带轨迹的深度经空间处理器 $P_D$ 编码。两条视觉 embedding 相加后，与语言 embedding 一起输入 VLA 并输出下一动作。

整体数据流可概括为：历史 RGB → 轨迹；当前 RGB → 深度；轨迹写入深度 → 深度/RGB 特征相加 → VLA 动作。训练与在线执行的逐步流程分别见 4.4、4.5。

4.2 核心模块

轨迹与深度提示（Spatial Traces）

【Paper】 Co-Tracker 根据缓冲区内的图像追踪 $m$ 个关键点，得到

$$ T_t = [t_1, \ldots, t_m], \qquad t_i = [(x_0, y_0), \ldots, (x_b, y_b)]. $$

每条 $t_i$ 是同一点跨时间的二维坐标序列。ZoeDepth 从当前观测估计深度图 $D_t$。将轨迹坐标对齐到当前深度图并写入后得到 $D_t^T$；论文将该操作记为 $D_t^T = D_t \leftarrow T_t$。

【Paper】 为减少相邻帧几乎不变时 Co-Tracker 不能立即找到显著点的影响，前五个环境步骤不提供 trace。这个设计意味着方法在 episode 开始时退化为不含时间提示的空间/视觉输入，而不是假装有可靠历史。

双路视觉编码与融合

【Paper】 原始 RGB 由 SigLIP 图像处理器 $P_I$ 得到 $E_{O_t}$；带轨迹深度图由 SpatialVLA 引入的 Ego3D Positional Encoder 得到 $E_{D_t^T}$。二者逐元素相加：

$$ E_V = E_{O_t} + E_{D_t^T}. $$

随后模型将 $E_V$ 与文本指令 embedding $E_I$ 送入 VLA。论文的具体动作模型基于 PaliGemma2，并从 SpatialVLA 实验所用 checkpoint 初始化。

【Analysis】 加和融合是一个很强的结构假设：两条 encoder 的输出必须位于可直接叠加的表示空间。它带来低改动、低 token 开销的优势，但不像 cross-attention 那样能显式决定“此时更信 RGB 还是深度轨迹”。后文的失败案例表明，轨迹弱时该假设无法自动补回缺失的时间证据。

轨迹深度的 Type A / B / C

【Paper】 Type A 把轨迹像素赋为其对应历史观测中的深度；Type B 使用前一观察的深度，往往接近背景深度；Type C 则取当前深度图中最近物体的深度。论文因 Type B 不够有信息量而未将它纳入后续测试，比较 A 与 C。

4.3 关键公式

【Paper】 因此策略从单帧条件化

$$ a_t = \operatorname{VLA}(o_t, I) $$

改写为带历史的条件化：

$$ a_t = \operatorname{VLA}([o_{t-b+1}, \ldots, o_t], I) = \operatorname{VLA}(E_V, E_I). $$

其中 $o_t$ 为当前观测，$I$ 为自然语言任务，$E_V$ 为融合视觉特征，$E_I$ 为语言特征。等号左侧表达“历史作为输入”，右侧表达其在实现中先被压缩为视觉 embedding；它们不是要求 VLA 接收原始 30 帧 token 的两种并行输入。

4.4 Training

【Paper】 微调数据来自 Bridge 的训练切分：52 条真实机器人遥操作轨迹，共 1,969 步。所有模型使用相同随机种子与样本顺序，以维持与 SpatialVLA、TraceVLA 的可比性。训练在全部线性层插入 LoRA，rank 为 32；使用 AdamW、学习率 $5\times10^{-5}$、batch size 1、2 个 epoch。单个模型在一张 NVIDIA TITAN RTX 上训练约两小时。

【Analysis】 “仅更新 adapter 参数”来自 LoRA 的常规参数高效微调机制；论文明确给出 LoRA 施加位置，但未逐层列出冻结参数清单，也未公开训练脚本，因而无法进一步确认哪些非线性层或归一化参数是否可训练。

4.5 Inference

【Paper】 每个控制时刻，系统维护最近 $b$ 张观测，重新计算关键点轨迹与当前深度图，并通过同一融合路径预测相对三维位移动作。论文未明确说明控制频率、动作离散化细节或是否进行 action chunking；这些信息不能从论文中确定。

4.6 代码实现对照

【Code】 官方仓库 AmpiroMax/ST-VLA 的默认分支为 master，仓库仅有 README.md 与 index.html 两个文件：前者只写有 # st-vla.github.io，后者是项目页文本，说明 ST-VLA 是“augmented with spatial traces”的操控 VLA，并标注 “More details coming soon.”。截至本次核验，仓库没有模型、数据集、训练、推理、评测、配置或 checkpoint 文件。

| 论文中应有的部分 | 官方仓库核验结果 | 可确认结论 | | ------------------------------------------------- | ---------------------------- | ----------------------------------------------------- | | Co-Tracker / ZoeDepth / Ego3D / PaliGemma2 的组装 | 未提供源码 | 只能以论文描述为准，无法核对调用、版本或预后处理 | | LoRA 训练与 MSE 目标 | 未提供训练脚本或配置 | 无法确认实际 loss、冻结参数、epoch 调度与随机种子实现 | | 缓冲区、前五步无 trace、Type A/C 渲染 | 未提供推理代码 | 无法确认边界条件、时延或实时控制频率 | | SimplerEnv 评测与结果复现 | 未提供 eval 脚本、数据或权重 | 无法由官方仓库独立复现文中数值 |

【Analysis】 因而本文的“代码对照”结论是代码发布尚未完成，而不是“代码与论文一致”。这一区别很重要：论文给出了足够清晰的系统层设计，但工程可复现性、依赖版本与训练细节仍是开放问题。

5. 实验

5.1 Experimental Setup

【Paper】 评测环境是建立在 Robosuite 之上的 SimplerEnv。任务来自 Bridge 数据分布，包含 Put Spoon、Put Carrot、Stack Blocks、Put Eggplant 四项。GCS（Goal Condition Success）衡量是否达到基础完成条件，例如使目标物离开桌面；SR（Success Rate）要求完成所有任务阶段并达到最终目标状态，因此比 GCS 更严格。

【Paper】 对比方法包括 OpenVLA、RT-1-X、Octo、Octo-Small、RoboVLM、SpatialVLA 和 TraceVLA。前五项 baseline 的数值取自 SpatialVLA 论文；SpatialVLA、TraceVLA 与 ST-VLA 在本文的相同训练和后处理流程下比较。因而跨越这两组的绝对比较需谨慎，而 ST-VLA 对 SpatialVLA / TraceVLA 的相对比较最直接。

5.2 Main Results

【Paper】 四任务逐项结果中，ST-VLA 的 GCS 分别为 36.4、50.0、90.9、81.8；SR 分别为 36.4、25.0、36.4、54.5。SpatialVLA 的平均 GCS / SR 为 50.0 / 34.1，ST-VLA 在 Figure 4 中为 64.8 / 38.1，故对应提升为 14.8 与 4.0 个百分点。

【Paper】 ST-VLA 在 Put Spoon、Put Carrot 与 Stack Blocks 的 GCS 上最好；Put Eggplant 的 SR 为 54.5，低于 TraceVLA 的 72.7。也就是说，空间—时间融合并非每一项指标都占优，尤其在最后任务上 TraceVLA 的时间提示仍更强。

【Analysis】 论文摘要把 ST-VLA 相对 TraceVLA 的 SR 提升概括为 19%。正文写为 18.7%，而 Figure 4 的数值为 $38.1-19.9=18.2$ 个百分点；这些四舍五入/汇总口径未完全一致。文章的稳妥结论应是“约 18–19 个百分点”，不应把它解释为精确的相对百分比增长。

5.3 Ablation Study

【Paper】 缓冲区消融比较 7、15、30 帧。30 帧在 Stack Blocks 与 Put Eggplant 上取得最高 GCS，也在 Put Spoon、Stack Blocks、Put Eggplant 上取得最高或并列最高 SR；7 帧在 Put Spoon 的 GCS 为 54.5，15 帧在 Put Carrot 的 SR 为 36.4。论文据此认为长历史更稳定，但没有声称 30 帧在每个单项指标都最优。

【Paper】 轨迹深度渲染消融比较 Type A 与 Type C、buffer 15 与 30。作者解释 Type C 的统一深度值更易从背景中区分，结论是其优于 Type A；但表格内存在任务依赖性，例如 Type A、buffer 15 在 Stack Blocks 的 GCS / SR 为 90.9 / 36.4，优于 Type C、buffer 15 的 72.7 / 9.1。因此“Type C 更好”应理解为作者的整体偏好，而不是对每个格子都严格支配。

【Paper】 为排除“小数据微调本身”带来的收益，论文还对比 base model、只微调、零样本 traces 与 ST-VLA。只在 Bridge 小样本上微调使平均 SR 下降 10 个百分点；零样本 traces 的平均 SR 下降 6.8 个百分点；ST-VLA 的联合方案最高。这支持 visual prompt 与微调协同、而非只由微调驱动收益的解释。

5.4 Generalization

【Paper】 论文展示的泛化证据是：用很小的 Bridge 子集微调，仍能在 SimplerEnv 的四种操控任务和不同初始物体状态下取得改善。Put Spoon 的案例中，ST-VLA 在中途受阻后仍完成抓取与放置。

【Analysis】 这不等价于真实机器人、跨本体或开放世界泛化。实验没有报告实机闭环成功率，也没有报告跨相机、跨机械臂、跨场景或跨语言指令的独立测试；因此应将结论限定为受控模拟基准下的少样本适应性。

6. 方法分析

6.1 为什么有效？

【Analysis】 对相机而言，单帧中的夹爪位置、目标物关系常有歧义。轨迹提供运动方向和已走路径，深度则给出接近/远离、桌面层级与相对几何。把它们在像素对齐的 depth map 上结合，等于将“过去的运动”落在“当前的空间坐标系”中；这正适合放置、绕物旋转等需要判断状态变化的动作。

6.2 核心创新

【Analysis】 关键创新是 depth-conditioned trace rendering，而非引入新的大型 VLA 或将 Co-Tracker、ZoeDepth 本身训练得更好。它以 visual prompting 的方式复用 SpatialVLA 既有的深度编码接口，使时序信息在前端预处理阶段进入模型。

6.3 与已有方法的本质区别

| 方法 | 时间线索 | 空间线索 | 融合位置 | | ---------- | ------------------ | -------------- | ----------------------------------------- | | SpatialVLA | 当前帧为主 | RGB-D 与 Ego3D | 模型内部的空间表征 | | TraceVLA | RGB 上的关键点轨迹 | 无显式深度提示 | 原图与带轨迹图作为视觉提示 | | ST-VLA | 历史关键点轨迹 | 当前预测深度图 | 先把轨迹写入深度，再与 RGB embedding 相加 |

【Analysis】 因此 ST-VLA 是表示层的“对齐融合”：它不要求 VLA 学会从两套未对齐输入中自行关联轨迹与几何，而先以渲染规则固定对应关系。这也解释了为何渲染规则 Type A/C 是决定性能的关键超参数。

6.4 关键假设

【Analysis】 方法依赖四个假设：当前深度预测足够可靠；Co-Tracker 能找到稳定且有任务意义的点；二维轨迹写入的深度值不会严重遮挡目标；以及 RGB 与 Ego3D depth embeddings 可以安全相加。任一假设失效时，额外提示可能是噪声而不是记忆。

7. 局限性

7.1 作者明确提出的局限

【Paper】 论文指出效果依赖准确的深度预测与能够发现显著点的轨迹生成。当连续图像变化很小，Co-Tracker 可能生成很短甚至没有轨迹；Put Carrot 的失败案例中，夹爪慢速旋转就造成该问题。轨迹还可能遮挡目标物，妨碍可见性与距离估计；当机械臂直接向相机移动时，轨迹也未必提供足够的交互线索。

7.2 自己分析得到的局限

【Analysis】 第一，论文只在 SimplerEnv 验证，深度、相机运动模糊、追踪丢失在真实机器人上往往更难。第二，前五步禁用轨迹是务实但固定的 warm-up 策略，若任务在开局就要求快速决策，它没有自适应地判断“是否已有可信运动证据”。第三，论文没有报告每步追踪和深度估计的端到端时延，实时控制可行性仍未被量化。第四，少量 52 条轨迹对成本很友好，却也使统计稳定性与任务覆盖范围受限。

8. 启发与研究思考

【Analysis】 我认为 Spatial Traces 最值得延伸的方向有三条：

用置信度门控替代固定相加：让模型根据 depth uncertainty、轨迹长度和遮挡率，动态决定深度轨迹 embedding 的权重。
从 2D 绘制升级到可维护的 3D scene memory：论文也提出考虑 3D reconstructed observations。这样历史点不必每一步重新“贴”到当前图上，可更自然地处理视角变化与遮挡。
以任务相关关键点取代通用稠密追踪：抓取点、接触点、物体边界和夹爪 tip 对控制价值不同，若由语言/任务引导追踪点选择，提示可能更少但更有效。

SLIM-0.5B 论文精读：用 action-grounded predictive latents 做紧凑机器人策略

Wed, 26 Aug 2026 00:00:00 GMT

1. 论文概述

论文名称：《SLIM-0.5B: Learning Action-Grounded Predictive Latents for Robot Manipulation》

作者 / 机构：Jingkai Wang、Zihan Tang 等，复旦大学、北京智源人工智能研究院、清华大学、中国人民大学。

论文与代码：arXiv · Project Page · 官方代码

一句话总结

【Paper】 SLIM（Self-supervised Latent Interaction Model）用 0.47B 参数的两流 Mixture-of-Transformers（MoT）替代大 VLM 或像素级 world model：先在轨迹中用互补的 inverse dynamics（IDM）与 forward dynamics（FDM）学习 action-grounded predictive latents，再以 flow matching 根据当前观测、语言和本体状态生成动作 chunk；部署时不生成未来图像。

核心贡献

【Paper】

将控制主体放在 observation latent 与连续 action token 的交互上，而不是每步运行大型 VLM，得到 0.47B 的紧凑策略。
提出 masked trajectory prediction：IDM 从当前/未来 latent 还原动作，FDM 从当前 latent 与动作预测未来 latent，使表征同时满足两个方向的动力学约束。
在原始 LIBERO 训练、不接触 LIBERO-Plus 数据的前提下，报告 97.5% 的 LIBERO 成功率与 77.45% 的零样本 LIBERO-Plus 成功率；CALVIN ABC→D 的平均成功序列长度为 4.556。
真实五任务、多任务混合训练中，SLIM 的平均 progress score 为 67.8，并在论文控制的 H100 测试里以 60.6 ms/chunk、4.26 GiB 增量显存运行。

2. 背景与相关工作

【Paper】 大型 Vision-Language-Action（VLA）策略把视觉、语言与动作放入同一多模态骨干，能利用广泛语义先验，但动作引起的状态变化通常只由动作监督隐式学得。另一端，world action model（WAM）直接预测未来图像或视频—动作轨迹，动力学建模更显式，却要拟合纹理、光照等控制无关细节；若推理阶段还 rollout future，会增加闭环延迟。

【Paper】 SLIM 的切入点是 latent-space prediction：未来不是额外要生成的视觉输出，而是训练时塑造控制表征的目标。它与 JEPA 一样预测 embedding 而非像素，但额外要求 latent 对机器人动作“可解释、可预测”。

【Analysis】 这并非简单缩小 VLA。关键取舍是把语言从 joint attention 序列中拆出，作为两个 stream 的 cross-attention 条件；主计算预算留给“当前状态—候选动作”的交互，因此更贴近 manipulation 的局部闭环需求。

3. 问题定义

【Paper】 在时刻 $t$，策略接收语言指令 $y$、多视角 RGB 观测 $o_t$ 与 proprioceptive state $q_t$。T5-small 将语言编码为 $\ell=g_{\mathrm{lang}}(y)$，DINOv2 视觉编码器将观测编码为 $N_z$ 个 latent：

$$ Z_t=g_\psi(o_t)\in\mathbb{R}^{N_z\times d_z}. $$

策略输出长度为 $H$ 的连续动作 chunk：

$$ A_t=(a_t,\ldots,a_{t+H-1}). $$

【Paper】 动作不做离散 tokenization；MoT 直接处理连续动作向量嵌入。训练第一阶段还可访问 $o_{t+H}$，得到 online latent $Z_{t+H}$ 与 EMA target $\bar Z_{t+H}$；第二阶段和部署阶段均不输入未来观测。

| 要素 | SLIM 的具体选择 | | --------------------- | -------------------------------------------- | | Vision encoder | DINOv2-B/14 | | Language encoder | T5-small | | 控制状态 | 多视角视觉 patch latents + 7D proprioception | | Action representation | 连续 7D action、chunk prediction | | Policy | 16 层、hidden dim 768 的 two-stream MoT | | 训练目标 | Stage 1：IDM + FDM；Stage 2：flow matching |

【Code】 默认 LIBERO 配置使用两路图像、224px 输入、dense_patch 视觉条件、$H=8$、4 个推理采样步；语言最大长度为 32 token，代码位于 configs/libero/stage1_idm0125_fdm1_h8.yaml 与 stage2_policy_h8_40ep.yaml。

4. 方法

4.1 Overall Architecture

【Paper】 视觉 latent 与一个状态 token 组成 observation stream；带 flow timestep 的连续动作嵌入组成 action stream；两流在每层共享 joint attention，再各自对语言做 cross-attention 和 FFN。future-slot embeddings $M_z$ 占据未来 latent 的位置，供 FDM 与策略阶段使用。

【Paper】 数据流只需概括为：当前 observation latent、状态、语言和 action variable 进入 MoT，MoT 输出动作速度场或未来 latent；训练/部署的完整流程分别见 4.4、4.5。

4.2 核心模块

两流 MoT：让动作有机会读取状态，而不让语言主导控制

【Paper】 observation 与 action token 分别具有独立的 $Q,K,V$ 投影、AdaLN 和 FFN，但在同一个 attention 中交互。语言不混入该 attention，而是每个 stream 单独 cross-attend 到语言 token。动作 flow sampling 时，观测/语言保持固定，反复更新的是 action stream。

【Code】 slim/model/slim_transformer.py 的 SLIMBlock 正是该分工：forward_action_only() 缓存状态和语言的 K/V，仅在每个采样步更新 action token。这解释了论文低延迟的一个工程来源，而不仅是参数量更小。

IDM：由状态变化反推动作

【Paper】 将干净动作 $A_t$ 与高斯噪声 $\epsilon$ 插值为带噪动作 $\tilde A_t^\tau$。MoT 观察 $Z_t,Z_{t+H},q_t,\ell$ 与带噪动作，预测其 velocity。因为未来 latent 是可见条件，模型要回答“什么动作造成了这次变化”。

FDM：由当前状态和动作预测未来 latent

【Paper】 FDM 用 learnable mask slots $M_z$ 替换未来位置，只给出 $Z_t,A_t,q_t,\ell$，预测 $\hat Z_{t+H}$；目标来自 stop-gradient 的 EMA encoder。它迫使未来表示保留可被当前状态与动作预测的成分，而不是重建所有像素细节。

【Analysis】 两个目标构成一个有用的“夹逼”：只做 IDM 可能学习与数据集动作相关、却不稳定的捷径；只做 FDM 又可能把动作忽略为平均未来。两者共享 MoT，才要求同一个空间既能区分动作，也能保留动作可预测的变化。

4.3 关键公式

Flow matching 的插值与目标速度

【Paper】 对 $\epsilon\sim\mathcal N(0,I)$ 和 $\tau\sim U(0,1)$：

$$ \tilde A_t^\tau=(1-\tau)\epsilon+\tau A_t,\qquad V_t^*=A_t-\epsilon. $$

$\tilde A_t^\tau$ 是时刻 $\tau$ 的带噪 action chunk，$V_t^*$ 是从噪声端流向数据端的目标速度。$v_\theta$ 不是直接回归动作，而是回归该速度，推理时积分得到动作。

Stage 1 的双向动力学损失

$$ \mathcal L_{\mathrm{IDM}}= \mathbb E\left[\left|v_\theta(\tilde A_t^\tau,\tau\mid Z_t,Z_{t+H},q_t,\ell)-V_t^*\right|_2^2\right], $$

$$ \hat Z_{t+H}=p_\theta(M_z\mid Z_t,A_t,q_t,\ell),\qquad \mathcal L_{\mathrm{FDM}}= \left|\operatorname{LN}(\hat Z_{t+H})- \operatorname{LN}(\operatorname{sg}(\bar Z_{t+H}))\right|_1, $$

$$ \mathcal L_{\mathrm{stage1}}=\lambda_{\mathrm{IDM}}\mathcal L_{\mathrm{IDM}} +\lambda_{\mathrm{FDM}}\mathcal L_{\mathrm{FDM}}. $$

【Paper】 $\operatorname{sg}$ 阻断 EMA target 的梯度，LN 令目标与预测在归一化空间比较。论文最佳联合权重为 IDM:FDM = 0.125:1。

部署一致的策略目标

$$ \mathcal L_{\mathrm{stage2}}=\mathcal L_{\mathrm{FM}}= \mathbb E\left[\left|v_\theta(\tilde A_t^\tau,\tau\mid Z_t,M_z,q_t,\ell)-V_t^*\right|_2^2\right]. $$

【Paper】 Stage 2 中真实 $Z_{t+H}$ 不再出现；它被 Stage 1 学得的 predictive slots $M_z$ 取代。因此“预测未来”只作为训练归纳偏置，不成为推理时的额外生成任务。

4.4 Training

【Paper】 阶段一从机器人轨迹自监督学习：IDM 可见当前和未来观测、FDM 可见当前观测和干净动作；阶段二由阶段一权重初始化，仅使用当前观测、状态、语言和示教动作训练可部署的 flow policy。

【Code】 默认 Stage 1 训练 3 epochs，EMA momentum 为 0.999，global batch size 为 128（8 GPU × 每卡 16）；Stage 2 训练 40 epochs。两阶段均采用 AdamW、cosine schedule、action model LR $10^{-4}$、vision encoder LR $10^{-5}$，并把 bias/norm 参数排除在 weight decay 之外。训练入口分别是 slim/training/stage1.py、slim/training/stage2.py。

4.5 Inference

【Paper】 部署只需当前多视角观测、proprioception 和语言。future slots 是学习到的常量 token，不需要相机看到未来，也不生成未来帧。

【Code】 SLIMModel.predict_action() 仅编码当前 image、state 和语言，然后调用 action_model.predict_action()；默认配置为 4 个 inference steps。SLIMBlock.forward_action_only() 复用 context K/V，避免每个采样步重算状态与语言分支。

4.6 代码实现对照

| 论文概念 | 官方实现 | 可核对的行为 | | --------------------------- | -------------------------------------- | --------------------------------------------------------------------------------------------------- | | DINOv2 online / EMA encoder | slim/model/slim_model.py | online encoder 可反传；EMA encoder 不接收梯度，Stage 1 后每个优化步更新 | | MoT 双流及语言注入 | slim/model/slim_transformer.py | state/action 各自 QKV、FFN、cross-attention，共享 joint attention | | 两阶段数据差异 | slim/training/stage1.py、stage2.py | Stage 1 的 DataLoader 要求 future_image；Stage 2 显式 include_future_image=False | | 连续动作与归一化 | slim/data/dataset.py、LIBERO 配置 | 7D action、$H=8$，默认分位数 q01_q99 归一化 | | 可复现实验检查点 | README.md | 发布了 LIBERO epoch 40 与 CALVIN epoch 15 checkpoint，并要求保留 config.yaml、action_stats.json |

5. 实验

5.1 Experimental Setup

【Paper】 LIBERO 包含 Long、Spatial、Object、Goal 四个 suite；LIBERO-Plus 在其上加入相机、初始机器人状态、语言、光照、背景、噪声、布局七类扰动，SLIM 只以原始 LIBERO 数据训练并零样本测试。CALVIN 在 A/B/C 训练环境中训练、在未见的 D 环境中进行最多五条指令的长程组合评测。

【Paper】 真实世界为五种任务：胡萝卜入碗、叠三盘、把吐司从烤面包机取出放盘、叠积木、擦白板。每项 150 条示教，共 750 条，多任务混合训练；每个任务—条件组合测试 10 次，并考察 nominal、distractor、lighting、background 四种条件。

5.2 Main Results

【Paper】 主要数字应按评测协议解读：LIBERO 是成功率，LIBERO-Plus 是对同一 checkpoint 的零样本鲁棒性成功率，而 CALVIN 主指标是平均连续成功指令数，不能与前两者直接相减比较。

| Benchmark / 指标 | SLIM | 论文列出的强对照 | | ----------------------------- | -----------------: | -------------------------------------------------------------: | | LIBERO overall success | 97.5% | Fast-WAM 97.6%，OpenVLA-OFT 97.1% | | LIBERO-Plus zero-shot overall | 77.45% | VLA-JEPA 79.5%，OpenVLA-OFT 69.6% | | CALVIN ABC→D Avg. Length | 4.556 / 5 | FLOWER 4.53，UnifiedVLA 4.41 | | 真实世界平均 progress | 67.8 | $\pi_{0.5}$ 56.8，Fast-WAM 40.0 | | H100 latency / VRAM | 60.6 ms / 4.26 GiB | $\pi_{0.5}$ 193.1 ms / 7.94 GiB；Fast-WAM 360.6 ms / 13.63 GiB |

【Analysis】 SLIM 在 LIBERO-Plus 并非所有扰动均最好：例如 robot initial-state shift 为 36.90%，低于表中 VLA-JEPA 的 67.7%。更准确的结论是其整体鲁棒性强且计算效率突出，而不是在每种 OOD 偏移上全面领先。

5.3 Ablation Study

【Paper】 加上 Stage 1 后，LIBERO-Plus 从约 68.2% 升至 77.45%，CALVIN 从约 4.43 升至约 4.52；IDM:FDM = 0.125:1 给出最好的联合结果，极端权重更差。

【Paper】 EMA target 是必要的稳定器：没有 EMA 时，LIBERO-Plus 从 77.45% 降至 66.82%，CALVIN 从 4.556 降至 4.382。表征有效秩从 61.28 降至 13.95，而 token cosine similarity 从 0.071 升到 0.352；虽然 future-latent MSE 反而更低（0.245→0.166），论文将其解释为低秩坍塌下更容易拟合的退化 target。

5.4 Generalization

【Paper】 泛化证据有三层：LIBERO-Plus 的七类零样本扰动、CALVIN 的未见环境 D 及长程指令组合、真实环境中背景/光照/干扰物变化。它们说明预测 latent 的收益没有仅停留在原始 LIBERO 分布内。

【Analysis】 这些证据仍集中于桌面操作和单一模型尺度；它们支持“latent interaction 对这些分布有用”，但尚不足以证明跨机器人形态、开放词汇指令或大规模跨具身数据下仍有相同的 scaling 优势。

6. 方法分析

6.1 为什么有效？

【Analysis】 SLIM 将“动作是否合理”转写成两个可学习问题：它是否解释当前到未来的变化（IDM），以及该变化是否能由状态和动作预测（FDM）。这比只从 $o_t$ 做行为克隆提供更密集的结构约束，又不像像素预测那样要求模型分配容量给纹理重建。

【Analysis】 EMA target 防止 encoder 与 predictor 共同快速漂移到常量或低秩表示；消融中的有效秩和性能同时下降，是这个机制必要性的直接支持。

6.2 核心创新

【Paper】 创新不是“使用 flow matching”本身，也不是单独使用 future latent，而是将 inverse/forward masked prediction 放入部署时同一 MoT，并让 Stage 2 用 future slots 替代真实未来 latent。由此，训练时显式注入 dynamics，推理时仍保持当前观测到动作的短路径。

6.3 与已有方法的本质区别

| 路线 | 主要表征 / 推理负担 | SLIM 的差异 | | ------------ | --------------------------------------------------- | ------------------------------------------------------------------- | | 大型 VLA | 大 VLM 主导每步控制 | 将主干换成紧凑 observation-action interaction，语言为条件而非主序列 | | 像素级 WAM | 预测 future frame/video，可能 test-time imagination | 仅训练期预测 latent；部署不生成未来视觉 | | JEPA 式预测 | embedding prediction | 加入 action reconstruction，使 future latent 对动作因果地可辨识 | | 分离 IDM/FDM | 两个模块或表征空间 | 两个目标共享同一个 MoT policy backbone |

6.4 关键假设

【Analysis】 方法假设 DINOv2 latent 中已含有足够的可控视觉因素，且“$H$ 步后的 latent”是一个合适的预测粒度。若关键接触状态难以从 RGB latent 识别，或动作后果高度随机，FDM 目标可能不再是好的控制表征监督。

7. 局限性

7.1 作者明确提出的局限

【Paper】 实验只覆盖一个紧凑模型规模，尚未建立该范式如何随模型容量、预训练数据规模和 embodiment diversity 扩展。作者将跨具身轨迹上的 scaling 视为后续方向。

7.2 自己分析得到的局限

【Analysis】

FDM 只预测固定 horizon 的 latent，无法显式提供长期规划所需的多步分支或不确定性；长程能力主要仍依赖闭环反复执行。
论文将低延迟与小显存放在单张 H100、PyTorch eager、各模型原生 horizon/sampling schedule 下比较，适合展示部署开销，但不等价于严格统一计算预算的基准。
使用 DINOv2 与 T5-small 仍带有外部预训练先验；“无 additional embodied pretraining”不应被误读为“从头学视觉与语言”。
Stage 1 需要同一轨迹的 future observation；这在离线示教数据中自然成立，但并不能直接解决在线环境下的因果探索与数据覆盖问题。

8. 启发与研究思考

【Analysis】 SLIM 说明 world-model 思想不必等同于“在推理时生成世界”。对控制而言，更关键的是将动作后果写入 policy 的内部表征。一个值得继续验证的方向是：将 FDM target 从单一未来时刻扩展为多尺度、带不确定性的 predictive slots，再用规划或 value learning 选择 action chunk。

【Analysis】 另一个研究问题是动作可辨识性：如果多个动作导致视觉上相似的未来，IDM 会遭遇天然多模态。可在 future latent 外引入力觉、末端位姿或接触事件，并让模型显式预测分布而非点目标；这可能比一味放大 VLM 更直接改善精细操作。

SimpleVLA-RL 论文精读：用在线强化学习扩展 VLA 的数据与泛化能力

Wed, 26 Aug 2026 00:00:00 GMT

1. 论文概述

【Paper】《SimpleVLA-RL: Scaling VLA Training via Reinforcement Learning》研究一个很具体但重要的问题：当 VLA 已经通过 SFT 学会基本操作后，能否像 Large Reasoning Model 一样，仅用环境最终成败的奖励继续扩展能力？作者在 veRL 上实现了 SimpleVLA-RL，并将 OpenVLA-OFT 作为主要 backbone。

一句话总结

【Analysis】 SFT 把机器人限制在“示教里见过的动作套路”，SimpleVLA-RL 则让策略在并行仿真环境中反复试错；只要一组采样同时出现成功和失败，GRPO 就能把成功轨迹的 action token 概率推高，从而获得更强的长时程控制与泛化。

核心贡献

【Paper】

在 veRL 中加入 VLA 专用的交互式 trajectory sampling、并行多环境渲染、分布式训练与推理，形成端到端在线 RL 框架。
使用不依赖任务过程奖励的二值 outcome reward，并提出 dynamic sampling、higher rollout temperature 和 clip higher 三种探索增强策略。
在 LIBERO、RoboTwin 1.0/2.0 上显著超过 SFT 基线；只用每个任务一条示教时，LIBERO-Long 从 17.3% 提升到 91.7%。
仅用仿真数据训练的策略在真实双臂 Piper 上平均成功率由 17.5% 提升到 38.5%。
观察到 pushcut：策略在没有示教该动作的情况下，学会用推动替代抓取-搬运-放置。

2. 背景与相关工作

【Paper】 现有 VLA 通常遵循“多模态预训练 → 大规模 SFT”的路线。扩展 SFT 需要昂贵的人类遥操作轨迹，而且训练分布往往绑定于固定物体、场景和任务组合，导致长时程与分布外泛化较弱。LLM 的在线 RL 可以通过随机采样和规则奖励探索多条推理路径，但 VLA 的 rollout 必须真正执行动作、刷新视觉观测和 proprioception，成本更高。

【Analysis】 论文的切入点不是设计新的 action decoder，而是把 VLA 的 action token 当作可以采样、计算 log-probability 的离散决策单元。这样 PPO/GRPO 的“概率比率—优势—策略更新”链条可以直接复用，同时把环境交互补到 LLM rollout 缺失的闭环部分。

3. 问题定义

【Paper】 在时间步 $t$，状态由视觉观测、机器人本体状态和语言指令组成：

$$s_t=(o_t^{\mathrm{vis}},o_t^{\mathrm{prop}},l_{\mathrm{task}}).$$

策略输出长度为 $K$ 的 action chunk。每个 action 是 $d$ 维连续控制量（例如末端位姿增量与夹爪），再由 OpenVLA-OFT 的 tokenizer 表示为 action tokens。环境执行 chunk 后返回新观测，直到成功、失败或达到最大步数。

SimpleVLA-RL 使用 trajectory-level outcome reward：

$$R_i=\begin{cases}1,&\text{trajectory }i\text{ 完成任务},\0,&\text{otherwise.}\end{cases}$$

【Code】 verl/workers/rollout/rob_rollout.py 的 RobotwinEnvWrapper 负责 initialize、step 和 eval_success；verl/utils/reward_score/evaluation_utils/libero_util/ 与 RoboTwin 环境的 check_success 将环境状态转换为 0/1 结果。训练时该标量被写到有效 action token 的末端位置，再由 GRPO 计算组内优势。

4. 方法

4.1 Overall Architecture

SimpleVLA-RL 由四个协同部分组成：OpenVLA-OFT policy、veRL actor/rollout worker、并行环境池和 reward manager。每轮先复制同一任务 $G$ 份，在不同环境实例中采样；每个环境执行 action chunk 后重新编码图像与 proprio，再生成下一个 chunk。

【Paper】 论文的整体数据流是：SFT policy → temperature sampling → 多环境闭环 rollout → 任务成功判定 → group-relative advantage → clipped policy update。

【Code】 verl/trainer/ppo/ray_trainer.py 串起 dataloader、rollout、reward、advantage 与 checkpoint；verl/workers/actor/dp_rob.py 计算 action-token log-probability 和 policy loss；verl/workers/rollout/rob_rollout.py 用线程池并行初始化和推进环境。仓库支持 LIBERO、RoboTwin 1.0/2.0，并提供 OpenVLA 与 OpenVLA-OFT 的实现。

4.2 核心模块

交互式 VLA Rollout

输入：任务语言、当前 RGB/proprioception、旧策略 $\pi_{\theta_{old}}$。
中间模块：action-token sampling、chunk decoder、环境 step、done 过滤。
输出：包含每个 action token 概率、状态和最终成功标记的完整 trajectory。
必要性：LLM 一次生成完整文本；机器人动作会改变世界，下一次决策必须依赖新观测。

【Code】 rob_rollout.py 先用 env_thread_pool 并行初始化环境，再循环调用 _generate_one_step 与 wrapper.step。完成的环境会从 active 列表移除，避免继续浪费采样预算。

二值 outcome reward

【Paper】 所有成功轨迹的 action token 获得 1，失败轨迹获得 0，不设计距离、碰撞等任务专属过程奖励。优点是 reward verifier 可跨任务复用；代价是只有最终结果，无法告诉策略“错在第几步”。

三种探索增强

Dynamic sampling：丢弃一组全成功或全失败的样本，持续采样直到组内同时存在成功与失败，避免 GRPO 的标准差为 0、优势消失。
Clip higher：把 importance ratio 的上界从 $1.2$ 提高到 $1.28$，允许低概率 action token 更快增权。
Higher rollout temperature：采样温度从 $1.0$ 调到 $1.6$，扩大动作轨迹的多样性。

4.3 关键公式

对同一初始任务采样 $G$ 条 trajectory，组内优势为：

$$\hat A_i=\frac{R_i-\operatorname{mean}(R_{1:G})}{\operatorname{std}(R_{1:G})+\epsilon}.$$

其中 $R_i\in{0,1}$ 是整条轨迹奖励，$\epsilon$ 防止数值除零；dynamic sampling 保证实际训练组通常包含两种结果。

去掉 KL reference model 后，SimpleVLA-RL 的目标为：

$$ \mathcal J(\theta)=\mathbb E\left[\frac1G\sum_{i=1}^G\frac1{|a_i|}\sum_t \min\left(r_{i,t}\hat A_i,\operatorname{clip}(r_{i,t},1-\varepsilon_{low},1+\varepsilon_{high})\hat A_i\right)\right], $$

$$r_{i,t}=\frac{\pi_\theta(a_{i,t}\mid s_{i,t})}{\pi_{\theta_{old}}(a_{i,t}\mid s_{i,t})},\quad \varepsilon_{low}=0.2,;\varepsilon_{high}=0.28.$$

【Analysis】 非对称 clipping 的方向性很明确：成功轨迹的 token 概率上升可以走得更远，而概率下降仍受 $0.8$ 下界约束；这把有限更新预算偏向“发现新动作”。去掉 KL 则减少显存和 reference forward，但也牺牲了一个显式的保守锚点。

4.4 Training

【Paper】 主要实验先对 OpenVLA-OFT 做 SFT，再在相同任务的仿真场景中在线 RL。训练使用 8 张 A800 80GB，学习率 $5\times10^{-6}$、batch size 64、每个 prompt 采样 8 条 trajectory、256 个 action tokens；LIBERO 最大交互 512 步，RoboTwin 根据任务使用 200/400/800 步。训练采样温度为 1.6，评估使用 greedy decoding。

【Code】 ray_trainer.py 在 rollout 后调用 reward_fn.verify，将结果写入 token_level_scores；core_algos.py 的 compute_grpo_outcome_advantage 完成 group normalization；dp_rob.py 的 compute_policy_loss 使用上下界不同的 torch.clamp。仓库脚本 examples/run_openvla_oft_rl_libero.sh 与 run_openvla_oft_rl_twin2.sh 负责把模型、数据集和 GPU 配置接入训练器。

4.5 Inference

【Paper】 评估时关闭随机探索，使用 greedy action-token decoding。机器人每次获得一个 chunk，执行后重新读取环境观测，直到完成或超时。

【Code】 main_eval.py 支持离线读取生成结果并调用 verifier；RoboTwin wrapper 将 eval_success 作为 episode 终止条件。官方代码的 OpenVLA-OFT 版本只使用单视角图像、语言和 proprioception（LIBERO 配置还可关闭 proprioception），因此不能直接加载官方使用 wrist camera/MLP action head 的 checkpoint，需要按仓库配置重新 SFT。

4.6 代码实现对照

| 论文概念 | 官方代码位置 | 实际行为 | | --- | --- | --- | | VLA rollout | verl/workers/rollout/rob_rollout.py | 多环境线程池、逐 chunk 交互、done 过滤、轨迹收集 | | Outcome reward | verl/trainer/main_ppo.py、环境 check_success | 任务级 0/1 分数，映射到有效 action token | | GRPO advantage | verl/trainer/ppo/core_algos.py | 按 n_samples 分组做均值/标准差归一化 | | 非对称 clipping | verl/workers/actor/dp_rob.py | clip_ratio_low=0.2、clip_ratio_high=0.28 | | 模型与 action token | verl/utils/vla_utils/openvla_oft/ | LLaMA2 词表输出离散 action，chunk 长度由配置控制 | | 训练入口 | verl/trainer/ppo/ray_trainer.py | rollout → reward → advantage → actor update → eval/checkpoint |

5. 实验

5.1 Experimental Setup

【Paper】 实验覆盖 LIBERO（Goal、Spatial、Object、Long）、RoboTwin 1.0、RoboTwin 2.0，并在两台 AgileX Piper 上做真实部署。LIBERO 每个任务评估 50 个 held-out 场景；RoboTwin 2.0 选择 12 个任务，覆盖约 112–637 步的短、中、长和超长时程，每个任务评估 100 个场景。

5.2 Main Results

| Benchmark | OpenVLA-OFT SFT | + SimpleVLA-RL | 提升 | | --- | ---: | ---: | ---: | | LIBERO 平均 | 91.0 | 99.1 | +8.1 | | LIBERO-Long | 86.5 | 98.5 | +12.0 | | RoboTwin 1.0 平均 | 39.8 | 70.4 | +30.6 | | RoboTwin 2.0（12 任务） | 38.3 | 68.8 | +30.5 |

【Paper】 在 RoboTwin 2.0，SimpleVLA-RL 的 68.8% 平均成功率高于 $\pi_0$ 的 49.2% 与 RDT 的 33.3%；短时程任务平均从 21.3% 提升到 64.9%，中时程从 47.1% 到 72.5%，长/超长时程从 46.5% 到 69.0%。

5.3 Ablation Study

【Paper】 三个策略分别缓解不同问题：dynamic sampling 防止无梯度 group，higher temperature 提供更多候选轨迹，clip higher 放宽成功 token 的增权幅度。论文报告三者组合带来约 10–15% 的一致收益；单独移除任一项都会下降，说明它们并非重复的“加随机性”。

5.4 Generalization

【Paper】 在每个 LIBERO 套件只用 9 个 seen tasks 训练、留出 1 个 unseen task 时，SFT 随训练任务成功率提高而明显过拟合，部分 unseen task 甚至降到 0%；SimpleVLA-RL 则在 Spatial、Object、Goal 三类划分上持续提高 unseen task。

【Paper】 最极端的数据效率实验只给每个任务一条 demonstration：平均成功率由 48.9% 提升到 96.9%，LIBERO-Long 由 17.3% 提升到 91.7%，与使用完整 500 条示教后再 RL 的 99.1% 仅差 2.2 个百分点。

【Paper】 sim-to-real 实验完全不使用真实示教：Stack Bowls、Place Empty Cup、Pick Bottle、Click Bell 四项平均由 17.5% 提升到 38.5%，超过 RDT 的 23.5%。

6. 方法分析

6.1 为什么有效？

【Analysis】 关键不是“二值奖励足够精细”，而是三个条件同时成立：SFT policy 已经能偶尔成功；仿真环境能快速给出可靠终局标签；每组采样有足够多样性。成功轨迹提供正向 policy gradient，失败轨迹提供相对基线，RL 因而能重排已有动作分布并扩大可行策略集合。

6.2 核心创新

【Paper】 真正的工程创新是把 VLA rollout 变成 veRL 的一等公民：并行环境渲染、视觉状态刷新、action-token log-probability 对齐和奖励写回都在同一训练循环内完成。算法层面的创新则是把 LLM RL 中的 dynamic sampling、非对称 clipping 和温度调节迁移到机器人控制。

6.3 与已有方法的本质区别

【Analysis】 SFT 优化“复现示教动作”，SimpleVLA-RL 优化“在环境中完成任务”；Diffusion Policy 或连续 MLP action head 没有天然的 token-level categorical probability，而 OpenVLA-OFT 的离散 action token 使 GRPO 可以直接计算 ratio。论文因此没有声称框架已经覆盖 diffusion VLA，仓库 roadmap 也把 flow-matching RL 列为后续工作。

6.4 关键假设

【Paper】 初始 policy 必须有非零任务能力，否则采样不到成功轨迹，0/1 reward 的 group advantage 全为零。
【Paper】 仿真成功判定与真实任务目标相符，且 domain randomization 足以支撑 sim-to-real。
【Analysis】 action-token 的概率比率能够代表连续控制变化；当 tokenizer 量化误差或 chunk 很长时，这一假设可能变弱。

7. 局限性

7.1 作者明确提出的局限

【Paper】 失败模式实验显示：没有 SFT（0 条 trajectory）时，五个 RoboTwin 2.0 任务均为 0%，RL 也无法启动；100 条示教平均仅从 7.3% 提升到 25.4%，而 1000 条示教可从 28.2% 提升到 50.4%。这说明 outcome-only RL 存在明显的能力阈值。

7.2 自己分析得到的局限

【Analysis】 闭环 rollout 仍然昂贵。并行化降低了墙钟时间，却没有消除仿真、渲染和 GPU 推理的总算力成本。
【Analysis】 二值奖励对稀有成功很脆弱；若一组样本全失败，dynamic sampling 只能继续花预算探索，不能提供中间方向。
【Code】 当前公开实现围绕 OpenVLA/OpenVLA-OFT 的离散 action-token 头，官方 checkpoint 因输入视角和 action head 差异不能直接复用；对 diffusion/flow-matching VLA 的扩展尚未实现。
【Analysis】 pushcut 说明奖励允许绕开示教套路，但也意味着只验证“任务完成”时，策略可能学到对真实硬件更脆弱、对碰撞更不安全的捷径。

8. 启发与研究思考

【Analysis】 SimpleVLA-RL 给出的最有价值结论是：VLA 的 scaling 不一定等同于继续收集更多人类轨迹。一个可行的组合是“少量示教负责冷启动，仿真 RL 负责扩大行为分布，真实评测负责校准迁移”。

后续值得追问三件事：第一，能否用 curriculum 或轻量过程奖励降低“能力阈值”；第二，如何把 action chunk 的连续不确定性纳入 GRPO，而不是只对离散 token 做 ratio；第三，如何把安全约束、能耗和动作平滑加入 outcome reward，使 pushcut 一类新策略在真实机器人上同样可靠。

RynnValue 论文精读：用时间距离训练可扩展的机器人价值基础模型

Wed, 26 Aug 2026 00:00:00 GMT

1. 论文概述

【Paper】 RynnValue 研究的不是“机器人下一步该怎么动”，而是“当前观测距离语言指定的目标还有多远”。论文把这个距离定义为 temporal distance：从观测时间戳到重新标注的任务完成 cutoff 的剩余秒数。它因此是一个带语言条件的 cost-to-go，而不是轨迹内部归一化到 [0, 1] 的进度分数。

一句话总结

【Analysis】 RynnValue 的核心转变是把 reward model 从“给一段轨迹打分”改造成一个可复用的 value interface：输入语言、视觉序列和 embodiment metadata，输出每个观测到目标的剩余时间；再取其相反数作为 potential，就能直接接入策略评估、失败检测和 RL reward shaping。

核心贡献

【Paper】

用 timestamp-derived temporal distance 替代 preference pair 和 normalized progress，统一 10 个来源、1.67M 原始 episode、3.09M instruction-conditioned segments（7,000+ 小时）上的监督。
提出 random temporal sampling、temporal-order shuffling 与 value-isolation attention，分别打破采样间隔、序列位置和跨 query value 泄漏造成的 shortcut。
使用 absolute / relative 两个 distributional value head，并以 symlog 256-bin、two-hot 目标稳定覆盖长尾时间范围。
保留 RynnBrain 的语言能力，联合训练视频描述、instruction matching 和 success 判断，增强语言-视觉 grounding。
RynnValue-8B 在 RBM-EVAL-OOD 上达到平均 Kendall’s $\tau_a=0.675$，超过 preference-supervised Robometer 的 0.655；作为 dense reward 后，真实双臂 Franka 的 online / offline RL 平均成功率分别达到 72.5% / 82.5%。

2. 背景与相关工作

【Paper】 通用机器人策略越来越依赖 RL，但 reward supervision 比 policy capacity 更容易成为瓶颈。手工 reward 难以迁移到开放任务，成功/失败的 sparse signal 又无法为长时程行为提供方向。已有 reward model 通常依赖偏好比较、参考 demonstration 或局部状态比较；这些监督绑定了特定轨迹和比较集合，难以在不同 robot、视角和时长之间复用。

归一化 progress 看似便宜，却只是“当前轨迹走了百分之多少”的坐标：不同任务的 0.5 可能对应完全不同的剩余工作量，也不能表达一次 regression。RynnValue 选择的 temporal distance 则具有明确的 goal-conditioned cost-to-go 解释：时间越少越接近目标，任务失败或回退时距离可以增加。

【Analysis】 这不是把 progress 的回归器换成更大的 backbone，而是改变 supervision interface。只要数据有 instruction、时间戳和合理的 completion cutoff，就能生成标签；因此数据规模与任务多样性可以独立扩展，而不需要为每个数据集重新设计进度标尺或偏好标注协议。

3. 问题定义

【Paper】 给定语言指令 $\ell$、embodiment / camera metadata $m$ 和按时间采样的观测序列 $I={I_{t_i}}_{i=1}^{K}$，模型同时预测：

Absolute temporal distance：$v_i^\star=\max(0,t_G-t_i)$，即观测到完成 cutoff $t_G$ 的剩余秒数。
Relative temporal displacement：$\Delta_i^\star=t_{i+1}-t_i$，描述呈现序列中相邻观测的前进或回退；负值代表 temporal regression。
Language analysis：视频描述、instruction-video Match、task Success。

训练主设置为 $K=8$ 个观测。绝对值支持范围为 [0, 512] 秒，相对值范围为 [-256, 256] 秒。推理时把绝对距离变成更高更好的 potential：

$$ \Phi_t= -v_t $$

再通过 potential-based shaping 接入 RL。这里 $v_t$ 越小越接近完成，$\Phi_t$ 越接近零。

Embodied AI Checklist

| 项目 | RynnValue 的实现 | | --------------------- | ----------------------------------------------------------------------------------------- | | Vision Encoder | RynnBrain / Qwen3-VL 视觉编码器，支持单视角、多视角与视频帧 | | Language Model | RynnBrain 的 multimodal language backbone；LM head 负责分析文本 | | Multimodal Fusion | instruction、metadata、图像和 temporal query 交错组成一条序列 | | Action Representation | 模型本身不输出动作；输出 temporal value 作为 reward interface | | Policy / Decoder | 由下游 π₀.₅、IQL 或 DSRL policy 消费 value potential | | Dataset | AgiBot、EgoDex、Galaxea、InternData-A1、OXE、RDT、RoboCOIN、RoboMIND、RoboTwin、Soft-FOLD | | Real-world Deployment | 双臂 Franka、四个 RGB 相机；zero-shot reward annotator |

4. 方法

4.1 Overall Architecture

【Paper】 RynnValue 以 RynnBrain 为 backbone。输入序列可写成：

$$ x=[m,\ell,I_{t_1},V_1,I_{t_2},R_1,V_2,\ldots,I_{t_K},R_{K-1},V_K,p_{ver}], $$

其中 $V_i$ 是第 $i$ 个观测的 absolute-value query group，$R_i$ 是相邻观测的 relative-value query group，$p_{ver}$ 请求生成视频分析与验证结果。backbone 一次 forward 得到所有 query hidden states；两个 value head 读取对应位置，LM head 生成文本分析。

【Analysis】 这个拆分让 value 预测和语言生成共享视觉-语言表征，但不共享数值输出头：时间距离由专门 distributional head 解码，文本仍由原始 LM head 自回归生成。

4.2 核心模块

Grouped temporal queries

输入：一个观测对应的视觉-语言上下文。
输出：$N$ 个重复 query 的 hidden states；论文和代码默认 $N=8$。
作用：单个 token 容易成为信息瓶颈，需要同时看物体状态、交互、子任务阶段和完成证据。模型将同组 hidden states 拼接，而不是平均，保留互补信息。
【Code】 modeling_rynn_value_lang.py 在 _compute_value_outputs 中按 value_token_repeat 把重复 token reshape 成一个 slot，再送入 value head；relative slot 走同样逻辑。

Dual distributional heads

Absolute head 输出 256 个 symlog bin 的 logits，学习剩余时间。
Relative head 输出 256 个 symlog bin 的 logits，学习相邻呈现观测的有符号时间差。
为什么需要：绝对目标提供到终点的全局锚点，相对目标提供局部变化信号，二者共同帮助模型识别回退和恢复。
【Code】 value_heads.py 提供 LinearValueHead 与 BroValueHead；论文实验使用隐藏宽度 4096、深度 8 的 BRO-style residual MLP。

Value-isolation attention

【Paper】 不同观测的 value query group 不能互相 attend；同组重复 query 可以互相可见。context token 也不能 attend temporal query，避免早先的 value 预测通过后续语言或视觉 token 间接泄漏。这样每个 value 必须依据自己的观测、instruction 和 metadata 推断。

【Code】 attention_impl.py 注册 pred_slot_isolated_eager，根据 pred_slot_id 构造可见性 mask。推理脚本还显式把 hf_config._attn_implementation 设为该实现，以兼容旧 checkpoint。

Language analysis and mismatch augmentation

【Paper】 最后一个 verification prompt 要求模型依次生成 Video Description、Match 和 Success。训练中 10% 样本把 instruction 替换为另一条轨迹的 instruction，并监督 Match: No / Success: No；此时绝对距离 loss 被 mask，因为原 completion cutoff 不再适用，但 relative loss 仍保留。

【Analysis】 这一步避免模型只根据“画面看起来越来越像完成”输出平滑曲线，也迫使它把 value 与语言目标绑定，而不是学习与任务无关的视觉活跃度。

4.3 关键公式

Symlog two-hot distributional readout

绝对与相对连续目标先经过 symlog，再编码到相邻的两个 bin：

$$ \mathcal{L}{abs}=-\frac{\omega}{K}\sum{i=1}^{K}\sum_{b=1}^{|B_V|} \operatorname{TwoHot}_{B_V}(v_i^\star)_b\log\operatorname{softmax}(z_i^V)_b $$

$$ \mathcal{L}{rel}=-\frac{1}{K-1}\sum{i=1}^{K-1}\sum_{b=1}^{|B_R|} \operatorname{TwoHot}_{B_R}(\Delta_i^\star)_b\log\operatorname{softmax}(z_i^R)_b $$

其中 $z_i^V,z_i^R$ 是两个 head 的 bin logits，$\omega$ 在 instruction mismatch 样本上为 0。two-hot 让连续值由相邻 bin 插值表达；symlog 压缩长尾时间，同时保持零附近的分辨率。

推理时取 symlog 空间中的期望并做 inverse symlog：

$$ v_i=\operatorname{symexp}\left(\sum_b c_b^V\operatorname{softmax}(z_i^V)_b\right),\quad \Delta_i=\operatorname{symexp}\left(\sum_b c_b^R\operatorname{softmax}(z_i^R)_b\right). $$

语言损失为标准 causal LM loss，最终目标是：

$$ \mathcal{L}=\mathcal{L}{abs}+\mathcal{L}{rel}+\lambda_{lang}\mathcal{L}{lang},\qquad \lambda{lang}=2. $$

Potential-based reward shaping

【Paper】 在策略学习中，value model 只提供 potential，保留人工确认的成功终止项：

$$ r_t=\kappa(\gamma\Phi_{t+1}-\Phi_t)+ \begin{cases}0,&t=T-1,&\text{otherwise}\end{cases} $$

论文使用 $\kappa=0.1$（RynnValue）和 $\kappa=1.0$（Robometer）。这样 temporal distance 的物理秒数不会被压成任务特定的 [0,1]，却仍满足 reward shaping 的 policy-invariance 形式。

4.4 Training

【Paper】 数据先经过 source-aware curation：移除 malformed / placeholder instruction 和只描述移动、接近、转向的非操作片段；长轨迹按原生 temporal annotation 切分，没有 annotation 时保留 coarse segment；再设置 completion cutoff 并从时间戳生成标签。Qwen3-VL-27B 生成的片段描述用于语言监督。

每条样本随机采 8 帧。50% 序列不排序，剩余序列采用带 rewind probability 0.3 的 forward-biased temporal walk；因此相对标签既可能为正也可能为负。优化器为 AdamW，学习率 $10^{-6}$，$\beta=(0.9,0.95)$，weight decay 0.1，gradient norm clip 100，bf16 + FSDP hybrid sharding，per-device batch size 2。

4.5 Inference

【Paper】 推理时关闭训练期的随机采样和顺序扰动，按 chronological order 输入帧，但保留 value-isolation mask。模型解码每个观测的 $v_t$ 与相对值，并可额外生成描述、Match、Success。用于 RBM-EVAL-OOD 时只读取最后观测的 $-v_{end}$ 作为 trajectory score。

【Code】 rynn_infer/inference.py 对每个 prefix 均匀重采样视频帧，读取 prefix 最后一个 value slot，渲染 Remaining Time 曲线。真实 RL 的 reward service 则使用右侧 third-person RGB，历史前缀均匀抽 4 帧以匹配 Robometer 协议，且只调用 absolute head。

<Algorithm number={2} title='Temporal-value inference and reward interface' inputLabel='输入' outputLabel='输出'

4.6 代码实现对照

【Code】 官方仓库 alibaba-damo-academy/RynnValue 不只是模型定义，还包含完整评测和 RL 工具链：

| 代码位置 | 与论文对应的行为 | | --------------------------------------------- | ------------------------------------------------------------------------------------ | | rynn_value/configuration_rynn_value_lang.py | Qwen3-VL 配置、256 bins、symlog 支持、query repeat 与 isolation attention 配置 | | rynn_value/modeling_rynn_value_lang.py | hidden state gather、absolute / relative head、two-hot CE loss、mismatch fusion mask | | rynn_value/value_tokenizer.py | scalar 与 symlog bin distribution 的 encode / decode | | rynn_value/attention_impl.py | pred_slot_isolated_eager 自定义 attention 实现 | | rynn_value/processing_rynn_value_lang.py | special token、训练 target 构造与 process_episode() 推理 API | | rynn_infer/inference.py | prefix scoring、Remaining Time 曲线与分析文本解析 | | robometer/ | RBM-EVAL-OOD 的 policy ranking、alignment、confusion matrix 与 reward server | | pi-rl/ | π₀.₅ 的 offline IQL 与 online DSRL-style latent SAC |

论文把 RynnValue 称为“开源 value foundation model”；代码还提供 HuggingFace trust_remote_code=True 的 checkpoint 转换脚本。【Analysis】 因此复现实验的关键不只在 backbone 权重，也在 processor 发出的 query token 排列和自定义 attention 注册；仅替换成普通 causal attention 会重新引入 value-token shortcut。

5. 实验

5.1 Experimental Setup

【Paper】 内在 value 质量在 RBM-EVAL-OOD 上评测：976 条来自 6 个 OOD 数据集的轨迹，覆盖不同机构、robot embodiment、相机视角和任务族；指标是预测排序与真实质量排序之间的 Kendall’s $\tau_a$。此外，论文把模型部署到双臂 Franka，使用双腕相机与左右 third-person 相机，在四个任务上测试 offline IQL 和 online DSRL。

任务包括 Bread Basket Placement、Steak Serving with a Spatula、Box-in-Drawer Placement、Bimanual Box Transfer。offline 使用固定初始状态；online 对前三个任务和双臂搬箱随机化物体初始位置。每个任务评估 20 次。

5.2 Main Results

【Paper】 RBM-EVAL-OOD 结果如下（平均 Kendall’s $\tau_a$）：

| 方法 | 偏好监督 | 平均 $\tau_a$ | | ------------------------- | -------: | ------------: | | Robometer (RBM-1M) | 是 | 0.655 | | Robometer (Progress only) | 否 | 0.292 | | RynnValue-4B | 否 | 0.670 | | RynnValue-8B | 否 | 0.675 |

RynnValue-8B 在 USC Franka、USC Koch、USC Trossen 上取得分项最好，4B 在 UTD SO101 上最好。4B 与 8B 差距很小，说明收益主要来自 temporal-distance target、数据多样性和 shortcut suppression，而不是单纯增大 backbone。

RynnValue 的 instruction-trajectory confusion matrix 对角线最清晰，normalized diagonal margin 为 0.79，高于最强 baseline 的 0.67。这验证了它在给定语言目标下区分匹配和不匹配轨迹的能力，而不只是识别“画面是否总体更接近完成”。

5.3 Ablation Study

【Paper】 完整模型平均为 0.675。去掉不同组件后的平均分：

| 变体 | 平均 $\tau_a$ | 下降原因（论文解释） | | ---------------- | ------------: | ------------------------------------------- | | w/o Shuffle | 0.189 | 序列位置重新成为进度 proxy | | Uniform Sampling | 0.379 | 固定间隔诱导 stereotypical value curve | | w/o Isolation | 0.482 | value query 可跨组外推 | | w/o Language | 0.537 | 缺少视频语义与 instruction grounding | | w/o Relative | 0.627 | 缺少局部 forward / backward temporal signal | | Full Model | 0.675 | — |

【Analysis】 顺序打乱与 isolation 是互补约束：前者阻断“第几个 token 就代表第几阶段”，后者阻断“看前一个 value 就能猜下一个 value”。两者同时存在时，模型才必须重新读取当前观测中的物体关系和失败迹象。

5.4 Generalization

【Paper】 scaling 分析把“episode 数量”和“task diversity”拆开控制。固定任务、增加 episode 时误差很快饱和；固定每任务 episode 数、增加任务数量时，held-out unseen tasks 的 temporal-distance error 持续下降。这说明异构数据的价值主要来自 goal structure、视觉配置和执行方式的覆盖，而非同一任务的重复观测。

在真实轨迹案例中，RynnValue 能在 trial-and-error 区间明显降低 potential，恢复后再次上升，并在接近完成时对扰动保持敏感；Robometer 的 normalized progress 则更容易出现平台和突跳。真实 RL 平均成功率：online 为 72.5%（Robometer 52.5%），offline 为 82.5%（Robometer 63.8%）。

5.5 Real-world policy learning

【Paper】 RynnValue 没有看到目标任务、物体或工作空间，作为 zero-shot reward annotator 使用。offline IQL 中，Bread Basket Placement 达到 100%，Steak Serving 与 Box-in-Drawer 均为 90%；online DSRL 平均 72.5%，在 Steak Serving 和 Bimanual Box Transfer 上分别比 Robometer 高 30 和 35 个百分点。

Box-in-Drawer 的 online 提升有限：任务对夹爪稳定性和盒-抽屉几何对齐非常敏感，而 reward model 只看 third-person RGB，视觉相似状态可能对应不同的抓取稳定性。论文把这视为视觉观测下的 calibration 难点，而不是 value interface 已经解决的问题。

6. 方法分析

6.1 为什么有效？

【Analysis】 有三层原因：

目标有控制语义：剩余时间天然是到目标的 cost-to-go，跨任务共享“越快完成越好”的方向；progress 的分母却随轨迹变化。
标签几乎免费：时间戳和 cutoff 足以生成每帧 dense label，数据规模不被偏好标注吞吐限制。
训练主动破除捷径：随机间隔破除 arithmetic pattern，顺序打乱破除位置 proxy，isolation 破除跨帧 value extrapolation，语言辅助任务补足 goal grounding。

6.2 核心创新

【Paper】 真正的新意不是“预测秒数”这一回归形式，而是把 temporal distance 设计成跨 embodiment 的统一接口，并围绕它配套数据 relabeling、distributional readout、relative supervision、mismatch augmentation 与 attention mask。【Analysis】 这些组件共同解决了一个实际问题：如果没有 shortcut suppression，时间标签越便宜，模型越可能学会数据采样协议而非任务状态。

6.3 与已有方法的本质区别

| 维度 | Preference / progress reward model | RynnValue | | -------------------- | -------------------------------------- | ----------------------------------------------- | | 监督 | 偏好 pair、参考轨迹或 [0,1] progress | 时间戳到 completion cutoff 的 cost-to-go | | 标尺 | 往往是任务/数据集内部坐标 | 物理时间，带方向与目标条件 | | 跨数据集迁移 | 需要重新校准比较集或进度定义 | 共享同一 temporal-distance interface | | 对 regression 的响应 | 可能被序列先验抹平 | relative target + shuffled order 显式提供负变化 | | 下游接口 | score / progress | $\Phi=-v$，可直接 potential shaping |

6.4 关键假设

【Paper】 论文的 temporal distance 对应近似 minimum-time objective；completion cutoff 能代表语义上的完成点；RGB 和 instruction 足以估计中间价值。【Analysis】 因而它隐含了几个边界：耗能、安全、接触力和精度成本没有进入标签；若同一任务存在“更慢但更安全”的策略，最短时间未必是最优 value。模型也只看短窗口观测，长时程遮挡或不可观测状态会造成误判。

7. 局限性

7.1 作者明确提出的局限

【Paper】

当前模型从短窗口采样观测，尚未覆盖更长 horizon 和真正 streaming 的在线推理。
temporal-distance target 近似 minimum-time objective，尚未表达 energy、safety、precision 等任务特定成本。
未来需要扩展到更多 end-effector（尤其 dexterous hand）和 mobile manipulation，把导航与交互纳入同一接口。

7.2 自己分析得到的局限

【Analysis】

cutoff relabeling 是监督质量的关键；若数据含有 post-completion motion 或失败轨迹缺少清晰终点，零值边界会偏移。
physical seconds 仍受执行速度和控制器影响。相同视觉状态在不同硬件上的剩余时间可能不同，metadata 只能部分缓解这一点。
真实 RL 中 reward service 使用历史前缀重采样和第三人称 RGB，与训练期 8 帧、多视角输入存在 protocol gap。
论文展示了四个真实任务，尚不能据此推断对接触丰富、遮挡严重或需要 proprioception 的任务同样可靠；作者也明确指出 Box-in-Drawer 的视觉歧义。

8. 启发与研究思考

【Analysis】 RynnValue 给 VLA 研究的启发，是把“策略学习”和“价值监督”重新拆开：一个通用 value model 不必输出动作，却可以成为多个 policy、多个 embodiment 和多个 RL 算法之间的共享接口。对后续工作，我认为有三条值得继续验证：

把 scalar temporal distance 扩展成向量成本，例如 (time, energy, safety risk, contact precision)，再研究如何做 Pareto 或任务条件化 shaping。
将 value-isolation 从静态 mask 扩展到 streaming memory，让模型在不泄漏预测的前提下利用更长历史。
让 policy 反过来查询 value uncertainty，而不是只使用期望 bin center；在视觉歧义状态主动收集数据，可能比继续扩大无标签视频更有效。

RT-1：Robotics Transformer 论文精读

Wed, 26 Aug 2026 00:00:00 GMT

1. 论文概述

论文名称：《RT-1: Robotics Transformer for Real-World Control at Scale》
作者：Anthony Brohan、Noah Brown、Chelsea Finn、Karol Hausman、Sergey Levine、Ted Xiao、Fei Xia 等
会议：ICLR 2023
论文链接：arXiv
项目主页：Robotics Transformer 1
代码：google-research/robotics_transformer

一句话总结

【Paper】 RT-1 把“图像 + 自然语言指令 $\rightarrow$ 机器人动作”视为 sequence modeling：FiLM-EfficientNet 提取语言条件视觉 token，TokenLearner 压缩 token，decoder-only Transformer 预测离散动作。模型约 35M 参数，在 13 台机器人、17 个月、约 130k 条演示上学习 744 条指令，并以 3 Hz 闭环执行。

核心贡献

【Paper】

提出实时约束下的 Robotics Transformer 架构。
建立约 130k episodes、13 台机器人、744 条指令的数据集。
系统验证 model size、data quantity、data diversity、simulation 和 multi-robot data。
在超过 3000 次真实试验中达到 97% seen、76% unseen、83% distractor、59% background 成功率。

【Analysis】 RT-1 的关键不是单纯堆 Transformer，而是语言早期融合、视觉 token 压缩、非自回归动作头与高多样性数据的组合。

2. 背景与相关工作

【Paper】 机器人 imitation learning 的数据采集昂贵，论文借鉴视觉和 NLP 的大模型范式，问一个 backbone 能否吸收开放式多任务数据并重组已见 skill 与 object。

语言条件策略：通常由 CNN/MLP 做动作回归，容量有限。
Transformer policy：Gato、Behavior Transformer 序列化轨迹，但没有同时解决语言融合与实时延迟。
高层规划 + 低层控制：SayCan 先规划技能，再调用单技能 controller；RT-1 试图把多技能 controller 做成 backbone。

【Analysis】 RT-1 主要做已见 verb 与 noun 的组合泛化，并不等于开放词汇机器人。

3. 问题定义

【Paper】 策略接收语言指令和最近 6 帧 $300\times300$ RGB 图像，输出 arm、base、mode 动作，直到 terminate 或达到时间上限。

| 项目 | 定义 | | --- | --- | | Embodiment | 7DoF arm、两指夹爪、移动底座 | | Arm action | 位移、旋转和 gripper opening，共 7 维 | | Base action | $x,y,yaw$，共 3 维 | | Mode | arm / base / terminate | | Action | 连续维度均匀分为 256 bins | | Training | 成功 tele-operation demonstration 上的 behavioral cloning | | Runtime | 约 3 Hz，模型预算小于 100 ms |

【Code】 RT1ActionTokenizer 将浮点 action 映射到 vocab_size=256 个桶；int32 action 是 one-hot 类别，时间窗口默认 6。

4. 方法

4.1 Overall Architecture

【Paper】 6 帧图像经过 ImageNet-pretrained EfficientNet-B3，USE 指令 embedding 通过 identity-initialized FiLM 注入；81 个视觉 token 经 TokenLearner 压成 8 个，6 帧形成 48 个上下文 token，输入 8 层 decoder-only Transformer。

【Analysis】 FiLM 早期提取 task-relevant 特征，TokenLearner 将注意力长度从 $6\times81$ 降到 $6\times8$，共同满足实时闭环。

4.2 核心模块

【Paper】 EfficientNet 输出 $9\times9\times512$ feature map，即 81 个视觉 token；FiLM 使用零初始化的 $\gamma,\beta$，保持预训练网络初始为 identity；TokenLearner 输出每帧 8 个 learned token；Transformer 使用 8 层 self-attention、约 19M 参数。

【Code】 film_conditioning_layer.py 实现 $(1+\gamma(c))\odot h+\beta(c)$；configs/transformer_mixin.gin 默认 8 layers、8 heads、layer size 128、feed-forward size 512、dropout 0.1、vocab size 256。

对连续维度 $a_j\in[a_j^{\min},a_j^{\max}]$：

$$b_j=\left\lfloor\frac{a_j-a_j^{\min}}{a_j^{\max}-a_j^{\min}}(256-1)\right\rfloor.$$

【Code】 tokenize 先 clip、归一化、取整；detokenize 反变换，非法离散 index 置为 0。

4.3 关键公式

$$ \mathcal L_{\mathrm{BC}} =-\frac{1}{TK}\sum_{t=1}^{T}\sum_{k=1}^{K} \log\operatorname{softmax}(z_{t,k})[b_{t,k}]. $$

其中 $T=6$ 为窗口时间步，$K$ 为动作 token 数，$b_{t,k}$ 为离散标签。【Code】 transformer_network.py 用 SparseCategoricalCrossentropy 计算 action loss，SequenceAgent 对 last step 做 mask 并用 Adam 更新。

4.4 Training

【Paper】 训练数据是成功的人类 VR demonstration，系统随机采样指令并随机化背景、物体位置。最大数据集约 130k episodes、744 条语言指令。【Code】 公开仓库提供 TensorFlow/TFAgents 网络、Adam learning rate $10^{-4}$ 与 checkpoint 读取，但不含内部数据采集 pipeline。

4.5 Inference

【Paper】 RT-1 约以 3 Hz 闭环执行；TokenLearner 和重用重叠窗口 token 分别带来约 2.4 倍和 1.7 倍加速。【Code】 推理时逐维取 argmax 并写回 state，窗口满 6 步后左移；动作槽位不使用前一动作 token embedding，因此不是完整 autoregressive decoding。

4.6 代码实现对照

| 概念 | 代码位置 | 行为 | | --- | --- | --- | | FiLM-EfficientNet | film_efficientnet/ | 512 维 context 产生逐通道 $\gamma,\beta$，零初始化 | | Image tokenizer | tokenizers/image_tokenizer.py | 81 个 token；可选 TokenLearner 输出 8 个 | | Action tokenizer | tokenizers/action_tokenizer.py | 连续 action 映射 256 bins | | Transformer | transformer.py、configs/transformer_mixin.gin | 8 层 self-attention、causal mask | | Loss / state | transformer_network.py、sequence_agent.py | sparse CE、Adam、6-step state window |

【Analysis】 公开代码适合核对 tokenizer、网络结构和 stateful inference，不能逐行复现论文内部数据采集与真实厨房评估。

5. 实验

5.1 Experimental Setup

【Paper】 数据来自 13 台 Everyday Robots，收集 17 个月；测试使用 classroom、Kitchen1、Kitchen2，覆盖 seen/unseen instructions、distractor/background robustness 与长时序指令。baseline 与 RT-1 使用同一份大规模数据。

5.2 Main Results

| 模型 | Seen | Unseen | Distractors | Backgrounds | | --- | ---: | ---: | ---: | ---: | | Gato | 65 | 52 | 43 | 35 | | BC-Z | 72 | 19 | 47 | 41 | | BC-Z XL | 56 | 43 | 23 | 35 | | RT-1 | 97 | 76 | 83 | 59 |

【Paper】 RT-1 在超过 700 条训练指令上达到 97% seen success；unseen 76%；distractor/background 为 83%/59%。SayCan 长时序实验中，Kitchen1、Kitchen2 execution success 都为 67%。

5.3 Ablation Study

【Paper】 完整数据的 seen/unseen/distractor/background 为 97/76/83/59。将每任务样本上限降到 200、100、50（保留约 51%、37%、22% 数据）时泛化逐步下降；只保留 75% 任务、仍保留 97% 数据时，四项为 86/67/42/53。

【Analysis】 覆盖哪些 skill-object 组合比单个组合重复多少次更关键。

5.4 Generalization

【Paper】 加入 simulation data 后，模拟中见过的物体从 23% 提升到 87%，unseen skill 从 7% 到 33%，real-object performance 基本不降。加入 209k 条 Kuka 数据后，classroom 仅降 2 个百分点，EDR bin-picking 从 22% 到 39%；单独 Kuka 数据训练控制 EDR 为 0%。

6. 方法分析

6.1 为什么有效？

【Analysis】 早期语言融合聚焦视觉，TokenLearner 节省注意力预算，离散 action token 统一回归接口，大而多样的数据提供组合泛化。

6.2 核心创新

FiLM-EfficientNet → TokenLearner → Transformer 的紧凑接口。
数据采集、背景随机化、simulation model selection 与真实评估形成 scaling loop。
分别测量 data quantity、data diversity、heterogeneous source 和 long-horizon。

6.3 与已有方法的本质区别

【Paper】 Gato 缺少语言条件化 image tokenizer 和 TokenLearner；BC-Z 是无历史的 continuous-action policy。RT-1 在 encoder 内融合语言，保留 6 帧历史并用离散 token 建模。

【Analysis】 RT-1 的 action head 仍是专门的 robot Transformer；RT-2 才把 action token 放回大型 VLM 词表。

6.4 关键假设

训练与部署的 action spec、相机视角和机器人动力学足够接近。
新指令主要是已见 skill 与 object 的新组合。
6 帧历史足以处理短期上下文。

7. 局限性

7.1 作者明确提出的局限

【Paper】 RT-1 是 imitation learning，难以超过 demonstrator；新指令泛化受限于已见概念组合，不能可靠产生训练中从未出现的新 motion；任务仍以不太灵巧的厨房 manipulation 为主。

7.2 自己分析得到的局限

【Analysis】

256-bin 均匀量化可能引入控制误差，并依赖部署方正确提供 min/max spec。
非自回归 action slots 牺牲动作维度之间显式的条件依赖。
公开代码没有数据采集和训练 pipeline，难以复现完整 scaling 曲线。
跨 Kuka/EDR 依赖混合训练，不能推出任意 embodiment 的零样本迁移。

8. 启发与研究思考

【Analysis】 先设计高效 observation/action token 接口，再考虑把 backbone 做大；评估数据规模必须同时报告 diversity；simulation 与其他机器人数据应作为能力增量，并在目标 embodiment 上保留锚点数据。RT-1 把路线从单任务 controller 推进到了可规模化的 robot policy backbone。

RLinf-VLA 论文精读：统一且高效的 VLA 强化学习框架

Wed, 26 Aug 2026 00:00:00 GMT

1. 论文概述

一句话总结

【Paper】 RLinf-VLA 不是一个新的 VLA backbone，而是一套面向 VLA 强化学习（RL）的系统与算法实践：它统一了模型、环境和 RL 算法接口，再通过可配置的 GPU allocation 与 rollout pipeline，让“生成动作—模拟器执行—策略更新”这条闭环更容易扩展和复现。

核心贡献

【Paper】

统一抽象：以统一接口接入 ManiSkill、LIBERO、RoboTwin 等模拟器，OpenVLA、OpenVLA-OFT、π_0 等 VLA，以及 PPO、GRPO 等算法。
混合资源调度：支持 collocated、disaggregated 和 hybrid 三种 GPU allocation；hybrid 模式允许 Simulator 与 Generation 使用不同 GPU 分区，而 Training 可使用全部 GPU。
细粒度流水线：将一个 simulator instance 切成多个 sub-simulator，通过 pipeline_stage_num=2 让环境推进和 action generation 重叠，降低 GPU bubbles。
具身 RL 设计选择：系统化比较 action-level/chunk-level value、partial reset、valid action mask、trajectory-length normalization 和 GRPO reward filtering。
强实验结果：单个模型在 130 个 LIBERO 任务上达到 98.11% success，在 25 个 ManiSkill 任务上达到 97.66%；RoboTwin 六个任务平均达到 84.63%。

2. 背景与相关工作

【Paper】 VLA 把图像、语言指令和机器人状态映射到动作，但 SFT 只覆盖示教分布。遇到新物体、新语言或执行误差时，策略可能进入示教数据没有覆盖的状态；online RL 能通过环境 reward 直接优化这些失败后的恢复行为。

已有 VLA+RL 工作往往是“某个模型 + 某个模拟器 + 某个算法”的垂直实现。这样会带来三个问题：

比较不公平：模型、环境 wrapper、episode 处理和 evaluation protocol 同时变化。
系统不匹配：VLA inference、GPU simulator 和 gradient training 对显存/计算的需求不同，简单共享 GPU 会产生等待和 offload 开销。
经验难迁移：action chunk 的 credit assignment、episode reset 和 GRPO 的组内归一化没有统一实现。

【Analysis】 RLinf-VLA 的定位更接近“具身 RL 基础设施 + 可复用算法组件”，而不是单点策略模型。论文将系统效率和训练稳定性放在同一篇技术报告中讨论，这也是它与只改 loss 的方法的本质区别。

3. 问题定义

【Paper】 VLA RL 被建模为部分可观测 MDP：

Observation $o_t$：多视角 RGB、语言指令和 proprioceptive state。
Policy $pi_\theta(a_t\mid o_t)$：VLA 根据观测生成 action 或 action chunk。
Environment：ManiSkill、LIBERO、RoboTwin 等模拟器，返回下一观测和 reward。
Objective：最大化轨迹的折扣回报 $J(\theta)=\mathbb E[\sum_t \gamma^t r_t]$。
Action hierarchy：Chunk → Atomic Action → Token。一个 chunk 含多个连续控制 action，每个 action 又可拆成模型输出的多个 token。

因此训练闭环不是单次 forward，而是：

Observation → Generation(VLA) → Action/Chunk → Simulator → Reward/next Observation
       ↑                                                        ↓
       └────────────────────── Training(PPO/GRPO) ─────────────┘

4. 方法

4.1 Overall Architecture

RLinf-VLA 将一次 RL epoch 拆成三个组件：Generation 负责按 observation 采样动作，Simulator 执行动作并产生 trajectory，Training 计算 advantage/loss 并更新 actor。统一 data interface 将不同环境的 observation、action chunk、termination 和 reward 映射成相同的数据结构。

【Paper】 资源层提供三种运行模式：

| 模式 | 资源关系 | 主要优点 | 主要问题 | | --- | --- | --- | --- | | Collocated | 三个组件共享 GPU，rollout 开始/结束时 offload | 配置简单、显存集中 | Generation 与 Simulator 互等，GPU 长时间占用但不计算 | | Disaggregated | 每个组件使用互不重叠的 GPU 分区 | 组件间互不干扰 | rollout 等待 Training 时会有整块 GPU 空闲 | | Hybrid | Generation/Simulator 分区，Training 可覆盖全部 GPU | 兼顾隔离和利用率 | 需要 placement 与 pipeline 调参 |

4.2 核心模块

Unified Environment Interface

输入：各模拟器原生 observation、动作和 reset 配置。
输出：统一的 observation/action batch、chunk-level reward、termination/truncation 和 episode metadata。
功能：把 GPU-parallelized 的 ManiSkill/RoboTwin 与 CPU-parallelized 的 LIBERO 放到同一 runner 中，并原生支持 chunk_step。

【Code】 对应 rlinf/envs/maniskill/maniskill_env.py、rlinf/envs/libero/libero_env.py 和 rlinf/envs/robotwin/robotwin_env.py；环境注册与构造由 rlinf/envs 下的 factory 完成。

Flexible GPU Placement

输入：GPU 数量、环境数量、Generation/Simulator 的 profile latency。
输出：$(N_G,N_S,k)$，分别表示 Generation GPU 数、Simulator GPU 数和 pipeline stage 数。
功能：在 k=1 的 collocated 与 k=2 的 pipelined rollout 中选择预计耗时更低的配置。

Profiling 先测量不同 batch size 下的 $t_G$ 与 $t_S$，再比较：

$$ t_1=m\left[t_G\left(\frac{n_S}{N}\right)+t_S\left(\frac{n_S}{N}\right)\right] $$

和 pipeline 的估计耗时 $t_2$，选择 $\arg\min_{k\in{1,2},N_G+N_S=N}t_k$。

【Code】 官方仓库的 rlinf/scheduler/placement/ 与 rlinf/utils/placement.py 实现 placement；examples/embodiment/config/* 通过 cluster.component_placement 和 rollout.pipeline_stage_num 配置它。

Multi-granularity RL Calculation

同一 action chunk $c_t=(a_{t,1},\ldots,a_{t,C})$ 可以在三种粒度计算：

Chunk-level：$\pi(c_t\mid o_t)=\prod_i\pi(a_{t,i}\mid o_t,a_{t,<i})$。
Action-level：每个 atomic action 的概率为其 token 概率乘积。
Token-level：直接使用单个 action token 的 log-probability。

【Analysis】 粒度越细，credit assignment 越精确，但需要保存/计算的 log-probability 更多；RLinf-VLA 将粒度做成配置项，因而可以在不重写 runner 的情况下做消融。

4.3 关键公式

PPO clipped objective

$$ L^{\mathrm{PPO}}=\mathbb E_t\left[\min\left(r_t(\theta)\hat A_t,;\operatorname{clip}(r_t(\theta),1-\epsilon,1+\epsilon)\hat A_t\right)\right] $$

其中 $r_t(\theta)=\pi_\theta(a_t\mid o_t)/\pi_{\theta_{old}}(a_t\mid o_t)$，$\hat A_t$ 是 advantage，$\epsilon$ 是 clip ratio。对 action chunk，$\hat A_t$ 可以广播到 chunk 内 token，也可以为每个 atomic action 单独估计。

GAE

$$ \delta_t=r_t+\gamma V(o_{t+1})-V(o_t),\qquad \hat A_t=\delta_t+\gamma\lambda\hat A_{t+1} $$

【Paper】 PPO 不使用独立的大 critic，而是在 VLA language model 上挂轻量 value head；action-level value 输出 $C$ 个值，chunk-level value 只输出一个标量。

GRPO relative advantage

对同一 observation 采样的 group $G$ 条轨迹，GRPO 使用组内回报的相对值：

$$ \hat A_i=\frac{R_i-\operatorname{mean}(R_{1:G})} {\operatorname{std}(R_{1:G})+\varepsilon} $$

【Paper】 论文进一步加入 valid action mask，屏蔽任务完成后的 action；并按 trajectory length 归一化 loss，避免长 episode 在 batch 中占据过大权重。

4.4 Training

训练输入是 SFT/VLA checkpoint、并行环境和 Hydra 配置；输出是更新后的 actor checkpoint。一次 epoch 先收集 rollout，再算 advantage 与 log-probability，最后用 PPO/GRPO 更新 actor/value head。

【Code】 rlinf/runners/embodied_runner.py 负责同步训练主循环，rlinf/runners/async_ppo_embodied_runner.py 与 rlinf/runners/async_embodied_runner.py 提供异步变体；PPO worker 位于 rlinf/workers/actor/async_ppo_fsdp_worker.py，算法函数集中在 rlinf/algorithms/。

以官方 examples/embodiment/config/maniskill_async_ppo_openvlaoft.yaml 为例，配置使用 action-level reward、token-level log-probability、GAE、gamma=0.99、gae_lambda=0.95、LoRA rank 32 和 FSDP gradient checkpointing。【Code】 这些是示例配置，不应当被理解为所有实验的唯一超参数。

4.5 Inference

推理阶段不计算 advantage，也不更新参数。模型接受当前 observation，生成一个 action 或 action chunk；环境执行 chunk 后返回新 observation。若配置了 auto-reset，完成或截断的子环境会被重新初始化。

【Code】 rlinf/runners/embodied_eval_runner.py 用于评测；不同模型的 action decoding 与 chunk horizon 位于 rlinf/models/ 和环境 wrapper 中。真实部署配置还可见 examples/embodiment/config/realworld_eval_dual_franka.yaml，但本文实验主体仍是模拟器训练。

4.6 代码实现对照

| 论文概念 | 官方代码位置 | 对照结论 | | --- | --- | --- | | Generation / Simulator / Training | rlinf/runners/embodied_runner.py | runner 将 rollout 与 update 解耦，便于同步或异步执行 | | PPO / GRPO | rlinf/algorithms/、rlinf/workers/actor/ | advantage 与 loss 通过 registry/config 组合 | | VLA 模型 | rlinf/models/、examples/embodiment/config/model/ | OpenVLA/OFT、OpenPI 等模型遵循统一 actor 接口 | | Simulator | rlinf/envs/maniskill/、libero/、robotwin/ | wrapper 统一 reset、chunk step、reward 和 episode flags | | GPU placement | rlinf/scheduler/placement/ | 支持 component placement 与 pipeline stage 配置 | | Checkpoint / sync | rlinf/utils/checkpoint.py、rlinf/hybrid_engines/weight_syncer/ | actor 权重在训练与 rollout worker 间同步 |

【Analysis】 论文中的“统一接口”在代码层面主要表现为配置驱动的 runner、env wrapper 和 actor worker 组合；它并没有把所有模型强行改成同一个网络，而是要求它们满足相同的 observation/action contract。

5. 实验

5.1 Experimental Setup

【Paper】 实验覆盖三类模拟器和三类问题：

| Benchmark | 训练设置 | 评测重点 | | --- | --- | --- | | ManiSkill | 25 个 pick-and-place 任务，256 个随机 episode 的 vision/language/action OOD | OpenVLA 与 OpenVLA-OFT，PPO/GRPO 及 GPU allocation | | LIBERO | 一个模型联合训练 5 个 task group，共 130 个任务；每任务 50 episode、3 个 seeds | 大规模 multitask 与 GRPO 泛化 | | RoboTwin | 6 个任务，每任务 1000 个固定训练 scene seeds | 128 个未见 seeds 的 OOD success |

5.2 Main Results

【Paper】

LIBERO-130：OpenVLA-OFT 单模型平均 success 98.11%，相比 base 平均提升 56.02 个百分点；这是跨 5 个 task group 的统一模型，而不是每组单独训练。
ManiSkill：OpenVLA RL 后达到 81.93%（base 39.10%），OpenVLA-OFT RL 后达到 77.05%（base 18.29%）；论文报告的 25-task 最佳结果为 97.66%。
RoboTwin：6 个任务平均 84.63%，平均提升超过 60%；在 Bottles、Can、Hand 等困难任务上超过 SimpleVLA-RL。
真实 drawer-closing 初步实验：SFT-only 与 sim-RL 模型均为 8/10 success，但 RL 模型执行更直接；这只是小规模 transfer 证据，不是大规模 real-world benchmark。

系统效率方面，ManiSkill 上 OpenVLA 的 hybrid pipe=2 相比 disaggregated baseline 最高 1.88×，常见设置保持 1.61×–1.69× 优势；LIBERO/RoboTwin 的 collocated 设置相较 SimpleVLA-RL 最高达到 2.27× 加速。【Paper】 最优模式依赖 simulator 是否 GPU-parallelized、模型是否输出 action chunk，以及 Generation/Simulator 的耗时比例。

5.3 Ablation Study

【Paper】 消融给出几条可复用的经验：

Action-level value 优于 chunk-level value：在 OpenVLA-OFT 的 ManiSkill 与 LIBERO-Goal 上 success 更高、value loss 更低。
Partial reset 更适合 PPO 的 success-once 目标：子环境成功后立即 reset，可在相同 rollout budget 中采集更多有效轨迹。
Trajectory-length normalization 有帮助：LIBERO-Goal 中，按轨迹长度归一化的 GRPO 比不归一化更稳定。
Valid action mask 通常有利于 GRPO：屏蔽成功后的无效 action，和 length normalization 叠加时收益更明显；但 ManiSkill 上收益并不总是显著。
Success-rate filter 不是普适增益：在某些 OpenVLA ManiSkill 设置可避免训练崩溃，但在 OpenVLA-OFT 的部分任务上影响较小。

5.4 Generalization

【Paper】 ManiSkill 的 OOD 协议分别改变视觉、语言和动作条件；RoboTwin 使用未见 scene seeds；LIBERO 则用一个模型覆盖 130 个任务。三者共同说明 RL 后的收益不只来自单一训练轨迹记忆。

【Analysis】 但“泛化”仍受 benchmark 设计约束：大多数 OOD 变化发生在已知模拟器与任务族内，不能直接推出对真实机器人、全新 embodiment 或开放世界物体的泛化。真实实验只有 10 次尝试，证据强度明显低于模拟结果。

6. 方法分析

6.1 为什么有效？

【Analysis】 RLinf-VLA 的收益来自两个相互独立的杠杆：

系统杠杆：hybrid placement 把 Generation 与 Simulator 的资源竞争显式化，pipeline 则用另一个 sub-simulator 填补等待时间。
优化杠杆：action-level value、partial reset 和 valid mask 让 reward 更贴近“完成任务一次”的目标，减少 chunk 内和成功后的无效 credit assignment。

如果只提高 GPU 数量而不改变 allocation，rollout 仍会被最慢组件限制；如果只改 loss 而保留 GPU bubble，wall-clock 训练成本依旧很高。

6.2 核心创新

把 VLA RL 的 resource scheduling 当作一等公民，而不是把 simulator 当作普通 DataLoader。
用可组合接口承载多模型、多环境、多算法，让实验比较更接近 controlled study。
将 chunk/action/token 三种粒度暴露为配置，同时覆盖 PPO 的 critic 与 GRPO 的 policy loss。
把经验性训练技巧写进可复现配置，例如 partial reset、trajectory normalization 和 reward filtering。

6.3 与已有方法的本质区别

【Paper】 SimpleVLA-RL 证明了大规模 VLA RL 可行，但主要沿用 LLM RL 基础设施；RLinf-VLA 针对 embodied setting 处理了 simulator GPU contention、向量化环境和 chunked action。与单一算法论文相比，它的主要产物是一个可扩展平台和跨 benchmark 的实践结论。

6.4 关键假设

Training 活跃时通常使用全部 $N$ 张 GPU，placement 重点优化 rollout 阶段。
自动 placement 主要考虑 Simulator 与 Generation 的二分配，并把 pipeline 深度限制为 $k\le2$。
环境 reward 足以评估任务完成度，且模拟器 API 能可靠返回 termination/success。
Action chunk 的 log-probability 可以在 token/action/chunk 粒度一致地重算或缓存。

这些假设让系统易于落地，但也限制了更复杂的多阶段 pipeline、异步 off-policy 或昂贵真实机器人 rollout。

7. 局限性

7.1 作者明确提出的局限

【Paper】 论文把 off-policy RL（仅以 DSRL/Soft Actor-Critic 风格支持 π 系列模型）列为初步扩展，主要实验仍集中在 on-policy PPO/GRPO。自动 placement 也只搜索两阶段 pipeline；不同任务的最优模式仍需 profile。真实世界实验规模有限。

7.2 自己分析得到的局限

【Analysis】

系统复杂度转移：统一接口降低了模型接入成本，却增加了 Hydra 配置、Ray/worker、FSDP 和 weight sync 的运维成本。
吞吐不等于样本效率：1.88×/2.27× 是 wall-clock 或 throughput 加速，不代表同等环境交互量下的最终策略质量提高同样比例。
资源搜索空间仍有限：只考虑最多两级 pipeline，未覆盖多模型 serving、异构 GPU、网络拓扑和动态负载变化。
奖励与 reset 强耦合：partial reset、valid mask 的收益依赖 success-once 目标；换成 dense reward、长时序任务后结论可能改变。
公平比较风险：不同 benchmark 的 base checkpoint、action horizon 和评测协议不同，跨模型直接比较最终 success 需要谨慎。

8. 启发与研究思考

【Analysis】 这篇论文给 VLA RL 的最大启发不是“选择 PPO 还是 GRPO”，而是先把实验拆成三个可测量层次：

策略层：action chunk 如何分配 credit，value/log-probability 用哪种粒度。
交互层：环境 reset、mask、trajectory length 是否与 reward 定义一致。
系统层：Generation、Simulator、Training 的瓶颈是否被 profile，并由 placement/pipeline 消除。

一个值得继续验证的方向是让 placement 与 learning progress 联动：训练早期模型生成慢、环境成功率低，后期可能反过来由 simulator 或数据通信成为瓶颈。静态 pipeline_stage_num 可能不是最优，动态调整 rollout batch、GPU 分区和 action horizon 有机会进一步降低成本。

另一个方向是把 RLinf-VLA 的统一 contract 延伸到真实机器人：将 Robot、camera、网络和安全约束也纳入资源调度，才能检验“统一具身 RL 平台”是否能从 simulator 走向长期在线学习。

RLinf-USER：真机在线策略学习系统论文精读

Wed, 26 Aug 2026 00:00:00 GMT

1. 论文概述

一句话总结

【Paper】 RLinf-USER（下文简称 USER）并不提出新的 robot policy，而是提出一套面向真机 online policy learning 的系统：将机器人与 GPU 同等抽象为可发现、可调度的硬件资源，再用云边通信、异步数据流和持久化 replay buffer 把长时间学习闭环组织起来。

核心贡献

【Paper】

将 GPU、物理机器人及其相机、SpaceMouse 等外设纳入统一 Hardware Abstraction Layer（HAL），支持异构机器人发现、健康检查和按 rank 的资源绑定。
用 UDP tunnel、按 key 分片的 distributed data channel，以及限制 NCCL CTA 数的 SM-aware weight synchronization 解决云边环境中的连通性与 GPU 争用。
将 rollout、真机交互、传输、训练和权重同步解耦为 fully asynchronous pipeline，并以 persistent-cache-aware buffer 支撑跨天、跨策略版本的数据复用与恢复。
通过 CNN/MLP、flow policy 和 $\pi_0$，以及 SAC、SAC-Flow、RLPD、HG-DAgger 等组合，在仿真和 Franka/ARX 真机任务上验证系统的可扩展性。

【Analysis】 这篇论文的关键贡献是改变“真机 RL 的默认执行模型”。它把机器人看作稀缺、慢速、可能断连的生产资源，因此首要目标是让机器人尽量持续产出安全交互数据，而不是让每一步都等待一次同步优化。

2. 背景与相关工作

【Paper】 模拟器可以加速、并行和重置，因而许多分布式 RL 系统以同步或 GPU 中心的流水线为前提；真机却受制于交互时长、人工 reset、网络边界和高维视觉轨迹存储。训练较慢、网络抖动或 checkpoint 更新若阻塞控制，都会直接减少最昂贵的资源——机器人交互时间。

【Paper】 ROS2、Zenoh 提供机器人通信能力，但并不直接覆盖学习工作负载的调度；SERL、QT-Opt 等系统主要面对单机器人或较小模型。Reverb、Flashbax 等 memory-centric buffer 采样快，但难以保存长周期视觉轨迹并在重启后恢复。

【Analysis】 USER 的定位不是替代 ROS 或 Ray：机器人控制仍由具体环境和驱动承担，Ray 负责 cluster membership/worker placement。论文新增的是把“物理资源 + 分布式学习 + 数据生命周期”连接成可复用闭环的一层系统语义。

3. 问题定义

【Paper】 论文将真实世界任务建模为部分可观测 MDP：

$$ (\mathcal{S},\mathcal{O},\mathcal{A},P,r,\gamma), $$

其中 $s_t$ 是隐状态、$o_t$ 为观测、$a_t$ 为动作、$P$ 为状态转移、$r$ 为奖励、$\gamma\in(0,1)$ 为折扣因子。策略只根据观测给出 $\pi_\theta(a_t\mid o_t)$。

【Paper】 与常规 RL 的区别在于，数据 $(o_t,a_t,r_t,o_{t+1})$ 不是由大量同质 simulator 自动产生，而是来自异构真机、不同网络域、不同 policy version 和可能有人介入的长时程执行。系统因此必须同时满足以下约束：不中断 rollout、可追溯存储、可安全更新权重、并允许多种 policy/algorithm/reward 接入。

【Analysis】 这意味着 USER 优化的不是单个 $J(\pi)$ 的数值，而是完成该优化所需的端到端吞吐、恢复性和可控性；只比较单步 actor loss 或 GPU utilization 无法说明系统是否适合真机学习。

4. 方法

4.1 Overall Architecture

【Paper】 数据从 edge 上的 Env Worker/Robot Node 经 distributed channel 流向 Rollout Worker 与 Train Worker；HAL 决定进程实际绑定的机器人或 GPU，通信平面承担 tunnel、数据通道与权重同步。

4.2 核心模块

统一硬件抽象层

【Paper】 一个 node 输出若干 hardware unit；每个 unit 可以是一张 GPU，也可以是一台机器人及其所需外设。HAL checker 定义设备类型、发现方法和实例 metadata；启动时 hardware probe 汇总 inventory。GPU、相机等 PCIe/USB 设备可自动发现，IP 绑定的机器人则由配置驱动，并可检查网络可达性和传感器状态。

【Code】 当前官方仓库将这层实现放在 rlinf/scheduler/hardware/：Hardware 基类用注册表组织枚举策略，robots/franka.py、robots/xsquare.py 等提供机器人类型；examples/embodiment/config/realworld_sac_flow_image.yaml 直接在 cluster.node_groups[*].hardware 中声明 Franka 的 robot_ip 和 node_rank。

自适应通信平面

【Paper】 tunnel 将 NAT、校园网或工厂 VLAN 彼此隔离的节点放入扁平 TCP/IP 视图。Channel 是可异步 put/get 的具名 FIFO；它按 robot ID 等 key 分片到多个轻量服务，尽量让同一 edge 域内的 observation/action 不必绕行云端。GPU 间 NCCL 同步会消耗 streaming multiprocessor（SM），因此 USER 通过可调的 NCCL CTA 上限避免同步抢占 rollout。

【Code】 rlinf/scheduler/channel/ 包含 channel.py、channel_worker.py，cluster 的 placement/config 位于 rlinf/scheduler/cluster/ 和 rlinf/scheduler/placement/。仓库说明也将 actor、rollout、env 分别放到可配置的 node group，而非固定同机部署。

异步流水线与持久缓冲区

【Paper】 Env/Rollout 持续产生 trajectory；训练从 autonomous replay buffer 与 demonstration buffer 异步采样，reward 可以在 rollout 时或离线后处理；新权重再按周期推给 rollout。buffer 将数据异步写入磁盘，在内存只保留带 FIFO replacement 的有界 cache；索引携带 policy version、timestamp 和 episode ID，已逐出的数据仍可按需从磁盘载入。

【Code】 rlinf/data/storage/replay/buffer.py 中的 TrajectoryCache 是按 trajectory ID 管理的 FIFO tensor cache：新条目覆盖最旧 slot，缓存外的轨迹仍由持久存储层索引。示例配置将 replay_buffer.enable_cache、cache_size、sample_window_size 与独立的 demo_buffer 显式暴露出来。

4.3 关键公式

【Paper】 USER 是 system framework，算法目标取决于接入的 learner。以论文的 SAC 为例，最大熵目标为：

$$ J(\pi)=\sum_{t=0}^{T}\mathbb{E}{(o_t,a_t)\sim\rho\pi} \left[r(o_t,a_t)+\alpha\mathcal{H}(\pi(\cdot\mid o_t))\right]. $$

其中 $\rho_\pi$ 是策略诱导的采样分布，$\mathcal{H}$ 鼓励探索，温度 $\alpha$ 调节 reward 与熵的权衡。buffer 提供的 batch 让 critic 最小化 soft Bellman residual：

$$ \mathcal{L}Q(\psi)=\mathbb{E}{(o,a,r,o')\sim\mathcal{B}} \left[Q_\psi(o,a)-\left(r+\gamma\mathbb{E}{a'\sim\pi\theta} [Q_{\bar\psi}(o',a')-\alpha\log\pi_\theta(a'\mid o')]\right)\right]^2. $$

这里 $\mathcal{B}$ 是 replay buffer，$Q_\psi$ 与 $Q_{\bar\psi}$ 分别为 critic 和 EMA target critic，$a'$ 为下一观测的策略动作。【Analysis】 USER 不改变这一定义；它改变的是如何在不停机、跨节点和可恢复的数据条件下持续填充、采样和版本化 $\mathcal{B}$。

4.4 Training

【Paper】 训练 worker 可替换地支持 SAC、SAC-Flow、RLPD 与 HG-DAgger。RLPD 以固定比例混合 online replay 与 demonstration；HG-DAgger 在人工干预激活时执行人类动作并把介入数据加入 demonstration buffer。论文的 SAC/RLPD 设定使用 ResNet10+MLP、buffer size 20,000、batch size 256、$\gamma=0.96$、$3\times10^{-4}$ 学习率；SAC-Flow 使用 4 个 denoising steps。

4.5 Inference

【Paper】 rollout node 上的 policy inference 与 robot node 的 action execution 可以分离：前者通常持有 GPU，后者可在 edge CPU 机器上控制机器人。异步并不表示动作可无序执行；它只让数据生成、训练和同步不互相等待，单条 robot control loop 仍需按实时性和安全约束顺序闭环。

4.6 代码实现对照

【Code】 官方仓库已经超出论文 v3 的最初实验快照，包含更多模型、simulator 和算法；因此下表将论文组件映射到当前公开实现，而非把仓库新增功能误写为论文结论。

| 论文概念 | 官方代码中的对应入口 | 含义 | | -------------- | ---------------------------------------------------------------- | -------------------------------------------------- | | HAL / 异构资源 | rlinf/scheduler/hardware/、rlinf/scheduler/cluster/config.py | 注册硬件类型、解析 node_groups 和资源 placement | | 异步传输 | rlinf/scheduler/channel/ | Worker 间 channel 与服务端实现 | | 真机环境 | rlinf/envs/realworld/ | Franka、XSquare、GIM 等机器人及相机/遥操作 wrapper | | 数据存储 | rlinf/data/storage/replay/buffer.py | trajectory cache 与 replay 存储逻辑 | | 真机 recipe | examples/embodiment/config/realworld_*.yaml | policy、algorithm、buffer、机器人绑定与训练参数 |

5. 实验

5.1 Experimental Setup

【Paper】 论文以 Franka 完成 Peg Insertion、Charger Plugging、Cap Tightening、Pick-and-Place 和 Table Clean-up 五项真机操作任务；小型 CNN/flow policy 在 RTX 4090（24 GB）训练，大型 $\pi_0$ 在 4×A100（80 GB）服务器训练。任务组合覆盖规则 dense/sparse reward、人工二元奖励和 learned reward model。

【Paper】 同时测试双 Franka 并行采集，以及 7-DoF Franka 与 6-DoF 低成本 ARX 的异构联合训练；通信实验将 City A 的训练节点与 City B 的 rollout/robot 节点通过 tunnel 连接。

5.2 Main Results

【Paper】 系统并非只支持一种 policy：Peg Insertion 与 Charger 上的 SAC、RLPD 和 SAC-Flow 都能在约 2,000 s 内接近满成功率。对于 foundation VLA，$\pi_0$ 经 HG-DAgger online training 后，Pick-and-Place 从 $39/60$ 提升至 $58/60$，Table Clean-up 从 $9/20$ 提升至 $16/20$；前者约用 30 分钟和约 200 条 online samples 达到 96% 成功率。

【Paper】 双 Franka 的不同任务并行训练约在 2,500 s 内收敛，与单臂基线相当。Franka+ARX 的一套 CNN policy 在不同 DoF、末端形态与相机参数下约两小时收敛，说明 HAL 至少可以承载这种 cross-embodiment 联合数据采集。

【Analysis】 这些数字验证的是“同一系统能够跑通多种组合”，不是 CNN、flow、$\pi_0$ 之间的控制变量性能排名；它们训练预算、奖励和任务难度本来就不同。

5.3 Ablation Study

【Paper】 异步化的收益来自 stage overlap，而不是每个单独 stage 变快。对 $\pi_0$ + HG-DAgger，episode generation period 从 45.068 s 降至 37.538 s（1.20×），training period 从 45.011 s 降至 7.903 s（5.70×）；对 CNN + SAC，分别从 20.291 s 降至 13.108 s（1.55×）和从 0.643 s 降至 0.135 s（4.61×）。Peg Insertion 的曲线中，异步方案约 1,500 s 收敛，同步方案超过 8,000 s。

【Paper】 权重同步 interval 也被消融：interval 为 1 或 8 时，episode 内频繁更新会带来 policy non-stationarity，导致收敛较慢甚至失败；更大的 interval 更稳定。这是“异步”不可忽略的控制面设计，而非只把所有 RPC 放到后台即可。

5.4 Generalization

【Paper】 distributed channel 在跨城云边实验中把单 episode generation time 从 69.265 s 降至 21.979 s，约 3×；相同网络域中则从 18.696 s 降至 17.304 s。结果表明按 key 本地化 edge 间 observation/action 流量，比把全部数据先送云端再转发更有效。

【Paper】 buffer profiling 显示：增大 cache ratio 会提高采样吞吐；纯内存最快但受容量限制，纯磁盘容量大但吞吐不足一半，persistent + cache 方案在两者间折中。【Analysis】 这类泛化主要指部署、网络和数据规模的泛化；不应将其直接解读为 policy 在新物体或新任务上的泛化能力。

6. 方法分析

6.1 为什么有效？

【Analysis】 USER 针对三个真实系统瓶颈逐一解除耦合：

采集慢：生成和训练分离，优化慢时机器人仍可继续执行。
网络不对称：channel 分片让高频的 edge 内控制流停留在 edge，tunnel 只解决域间可达性。
轨迹长且易中断：持久索引保留历史，内存 cache 处理热点采样，重启不会将已付出代价的真机数据归零。

6.2 核心创新

【Analysis】 HAL 中“机器人是一等硬件资源”是最有生产价值的抽象。它让 scheduler 不再只安排 GPU rank，而能把一个 rollout process 明确绑定到某台机器人及其传感器；这使多臂、异构和 cloud-edge placement 不必在每个 algorithm script 中手写。

6.3 与已有方法的本质区别

| 维度 | 单机/同步真机 RL | USER | | ------------ | ------------------------------ | -------------------------------------------- | | 资源单位 | 通常把机器人视作环境或外部服务 | 机器人、GPU 与外设都是可调度 hardware unit | | 执行模型 | rollout 常等待训练/同步 | 生成、训练、传输、同步并行推进 | | 数据生命周期 | 内存 replay 为主 | 索引化磁盘持久化 + 有界内存 cache | | 云边通信 | 常见中心转发 | tunnel + 按 key 分片的 localizing channel | | 扩展点 | script 与环境耦合 | policy、algorithm、reward、hardware 分别抽象 |

6.4 关键假设

【Paper】 系统依赖网络 tunnel 可建立、设备健康检查能识别不可用资源、以及策略可容忍周期性的非即时权重更新。【Analysis】 它还隐含假设：任务可以安全地以当前版本连续执行，且 buffer 中不同 policy version 的离策略数据适合所选算法；对高风险接触任务，额外的 safety shield、动作约束与人工监控仍不可省略。

7. 局限性

7.1 作者明确提出的局限

【Paper】 论文强调真实机器人不能任意加速、廉价 reset 或大规模复制，并把这视为系统设计动机。实验主要在两类机械臂和五类桌面操作任务上进行；buffer、通信与异步设计的收益也在给定网络、硬件和任务配置下测量，论文未声称已覆盖所有机器人或所有真实世界故障模式。

7.2 自己分析得到的局限

【Analysis】 第一，异步提高 throughput 也扩大了数据 staleness：训练参数、rollout 参数和缓冲区内 policy version 会不同步，论文只用同步 interval 消融触及这项算法—系统耦合。第二，HAL 能发现设备不等于能保证动作安全；网络短断、相机漂移、力控异常和人为介入仍需要 robot-specific fail-safe。第三，论文的“约 3×”通信收益来自特定跨城拓扑，不能直接外推到带宽、NAT 或 robot control frequency 完全不同的现场。

8. 启发与研究思考

【Analysis】 对真机 embodied learning 而言，算法进步应与系统预算共同报告：每小时可获得多少有效轨迹、恢复一次需损失多少数据、权重延迟有多大、以及发生异常时是否可安全降级。接下来的自然方向包括：

version-aware off-policy correction：利用 buffer 已保存的 policy version 显式估计或限制 stale data 的影响。
安全优先的异步控制面：将 shield、故障检测和人工接管纳入 scheduler 的一等状态，而不是环境 wrapper 的附属逻辑。
VLA 的云边协同：让大模型训练留在云端、低延迟 action head 位于 edge，并量化 accuracy、动作延迟与通信成本的 Pareto frontier。

RL-100 论文精读：用真实世界 RL 把扩散策略推向 100% 成功率

Wed, 26 Aug 2026 00:00:00 GMT

1. 论文概述

【Paper】 RL-100 关注的不是“机器人能否完成一次任务”，而是能否在真实环境中同时满足可靠性（success rate）、效率（time-to-completion）和鲁棒性（长时间运行、扰动恢复）。作者在 Dynamic Push-T、Agile Bowling、Pouring、Soft-towel Folding、Dynamic Unscrewing、Orange Juicing 两个子任务以及 Box Folding 共八项任务上评估。

一句话总结

【Paper】 先用 teleoperation demonstrations 训练扩散 visuomotor policy，再交替执行保守的离线 RL、策略 rollout 数据扩充和短程在线 RL；同一 clipped PPO surrogate 作用于每个 diffusion denoising step，最后把多步扩散策略蒸馏成 one-step consistency controller。

核心贡献

【Paper】

提出三阶段 IL → iterative offline RL → online RL 的真实机器人后训练流程，把大部分数据预算放在更安全、可复用的离线阶段。
将扩散采样写成嵌套的 two-level MDP，在所有去噪步共享环境级 advantage，统一离线和在线的 clipped PPO 目标。
用 reconstruction / VIB 正则稳定视觉表征，并用 consistency distillation 将 $K$ 步采样压缩到一步。
框架兼容 2D RGB 与 3D point cloud、single action 与 action chunking，也兼容 diffusion 和 flow policy。
【Paper】 八项真实任务最终评测达到 1000/1000 成功；零样本变化平均 90.0%，少样本适应平均 86.7%，人工扰动下平均 96.0%，榨汁机器人在商场连续运行约七小时无失败。

2. 背景与相关工作

【Paper】 纯行为克隆（BC）拥有良好的人类先验，却继承了 teleoperator 的慢动作、覆盖不足和偶发错误，形成 imitation ceiling。直接在真实硬件上做 online RL 又会遭遇样本昂贵、分布偏移和性能崩溃。扩散策略能表示连续、多模态动作，但多步去噪使 RL 的 credit assignment 更困难。

【Analysis】 RL-100 的关键视角是把“示范数据的安全性”和“交互数据的改进能力”放在同一优化接口中：示范负责把策略锚定在可执行动作流形，RL 只需在其附近寻找更快、更稳的轨迹。

3. 问题定义

【Paper】 每个时间步输入视觉观测 $o_t$（RGB 或点云）与机器人本体状态 $q_t$（关节位置/速度、夹爪状态），输出单步动作 $u_t\in\mathbb{R}^{d_a}$ 或长度为 $n_a$ 的动作块 $[u_t,\ldots,u_{t+n_a-1}]$。策略通过条件扩散生成动作，预测末端位姿增量时对每个动作维度归一化。

任务奖励大多是成功时终止并给 $+1$、其余时刻为 0 的稀疏奖励，另加时间步惩罚和动作抖动惩罚；Dynamic Push-T 使用基于位姿误差、推进进度和动作平滑度的 dense reward。【Paper】 实验覆盖 UR5、Franka + LeapHand、xArm–Franka 等单臂和双臂 embodiment。

4. 方法

4.1 Overall Architecture

【Paper】 观测编码器将点云/RGB 与 proprioception 融合为条件 $c_t$，扩散 actor 经过 $K$ 次去噪生成动作；离线阶段用改进策略产生新 rollout 并重新加入数据集，在线阶段直接在真实硬件上针对残余失败微调，部署时可切换 DDIM 或一步 consistency model。

4.2 核心模块

观测编码器与稳定正则

输入：最近 $n_o$ 帧观测和机器人状态。
输出：视觉特征 $z_t$，与 proprioceptive feature 拼接形成 $c_t$。
【Code】 rl_100/policy/rl100_3d.py 提供 DP3Encoder、DP3EncoderReconVIB 和 PointNetImaginationExtractorGP；配置默认使用 DP3 点云编码器、512 点输入和 64 维输出，也提供 2D policy 分支。
【Paper】 reconstruction loss 用 Chamfer distance 重建点云并重建状态，VIB 用 KL 项约束潜变量；RL 阶段将两项权重降低 10 倍，防止表征漂移又给策略改进留出空间。

Diffusion / Flow Actor

输入：带噪动作 $a^k_t$、denoising timestep $k$ 和条件 $c_t$。
输出：噪声或 clean-action 预测，最终得到单动作或动作块。
【Code】 RL1003D 可实例化 ConditionalUnet1D、轻量 SampleConditionalUnet1D、MLP/SkipNet，以及 DDIM、consistency 和 flow scheduler；n_action_steps 控制动作块长度。
【Analysis】 单步模式适合 bowling 等需要快速反应的任务；chunking 通过一次输出连续动作减少抖动，更适合 folding、assembly 等长时协调任务。

Iterative Offline RL 与 OPE Gate

【Paper】 每轮先用 IQL 训练 $Q,V$ 和 transition model，再以 PPO surrogate 更新候选策略。Approximate model-Q（AM-Q）离线评估候选策略与当前 behavior policy，只有当估计回报提升超过阈值 $\delta$ 时才接受更新；随后 rollout、合并数据并重新 BC。这一 gate 抑制了离线价值函数过估计导致的策略崩溃。

One-step Consistency Distillation

【Paper】 consistency actor 以多步 diffusion actor 为 teacher，在离线和在线 RL 同时训练。teacher 使用 stop-gradient，RL 继续优化 teacher，而 consistency loss 让 student 从初始噪声直接输出动作。推理从约 10-step DDIM 变为单次前向，论文报告在 Box Folding 上墙钟时间从 65.1 s（DP-2D）降至 41.4 s。

4.3 关键公式

行为克隆的噪声预测目标为

$$\mathcal{L}{IL}=\mathbb{E}\left[|\epsilon-\epsilon\theta(a^k_t,k,c_t)|_2^2\right].$$

其中 $\epsilon$ 是高斯噪声，$k$ 是扩散步，$\epsilon_\theta$ 是 denoiser。它让策略先复制示范中的动作分布。

对一个环境动作内部的 $K$ 个去噪转移，统一 PPO 目标为

$$J(\pi)=\mathbb{E}\left[\sum_{k=1}^{K}\min\left(r_k A_t,\operatorname{clip}(r_k,1-\varepsilon,1+\varepsilon)A_t\right)\right].$$

其中 $r_k=\pi(a^k|s^k)/\pi_b(a^k|s^k)$ 是第 $k$ 步 importance ratio，$A_t$ 是环境时间步的 advantage，$\varepsilon$ 是 PPO clip 范围。【Analysis】 共享 $A_t$ 将稀疏任务奖励沿整条 denoising chain 传播，避免只在最终动作处学习。

在线阶段的总损失为

$$\mathcal{L}_{on}=-J(\pi)+\lambda_V\mathbb{E}(V(s_t)-\hat V_t)^2,$$

其中 $\hat V_t$ 由 GAE/bootstrapped return 得到。蒸馏阶段再加 $\lambda_{CM}\mathcal{L}_{CM}$。

4.4 Training

【Code】 官方仓库将训练入口分为 train.py、train_real.py 和 train_ddp.py；rl_100/unidpg/ 中实现 offline/online buffer、IQL critic、PPO 和 transition model，配置文件位于 rl_100/config/。README 还提供 adroit_door_medium smoke-test 数据集与 Diffusion/Flow recipe selector。

4.5 Inference

4.6 代码实现对照

【Code】 RL1003D 把 observation encoder、diffusion/flow action head 和 scheduler 组合为统一 policy；BehaviorProximalPolicyOptimization 在 unidpg/uni_ppo.py 中计算 advantage、GAE 和 PPO ratio。配置中的 num_inference_steps: 10、cm_inference_steps: 1 对应论文的 DDIM 与 consistency 部署模式，n_action_steps 与 chunk_as_single_action 对应动作块语义。

【Analysis】 论文将 RL-100 描述为 task/embodiment/representation-agnostic，但代码仍需要为具体机器人提供 runner、dataset、shape metadata 和 reset 逻辑；“agnostic”指核心优化接口不变，而不是无需适配即可运行。

5. 实验

5.1 Experimental Setup

【Paper】 真实任务包含动态刚体、流体/颗粒、可变形毛巾、灵巧手旋拧、双臂折叠和多阶段榨汁。大多数任务每种方法评测 50 个 episode，Soft-towel Folding 的 consistency policy 额外连续评测 250 次。DP-2D 与 DP3 是 imitation baselines，RL-100 分别报告 DDIM 和 consistency model。

5.2 Main Results

| 阶段 | 平均成功率 | 关键观察 | | -------------------- | ---------: | --------------------------------------------- | | DP-2D | 45.3% | 动态、接触丰富任务明显失败 | | DP3 | 67.8% | 点云表征提升 bowling，但 Box Folding 仍为 48% | | Iterative Offline RL | 91.8% | Box Folding 96%、Pouring 92% | | Online RL (DDIM) | 100.0% | 八项任务共 450/450 成功 | | Online RL (CM) | 100.0% | 七项评测任务共 550/550，含 250/250 折叠 |

【Paper】 离线阶段相对 DP3 在 Box Folding 提升 48 个百分点、Pouring 提升 44 个百分点；在线阶段消除剩余失败。CM 一步推理在 Box Folding 上为 41.4 s，DDIM 为 45.6 s，DP-2D 为 65.1 s。Dynamic Push-T 中 RL-100 每单位时间完成 20 次成功，高于专家 teleoperator 的 17 次和初学者的 13 次。

5.3 Ablation Study

【Paper】 结果呈现清晰的单调链条：DP-2D → DP3 → RL-100 Offline → RL-100 DDIM/CM。去掉离线数据飞轮会失去大部分成功率增益；不做在线 RL 则难以清理长尾失败；不做 consistency distillation 则保留多步采样延迟。论文还在仿真 door task 中比较 reconstruction/VIB、固定 encoder 与联合训练，说明表征正则对稳定 RL 更新有帮助。

5.4 Generalization

【Paper】 零样本改变摩擦、物体形状、容器、材料和干扰物，平均成功率 90.0%；只额外训练 1–3 小时的少样本适应平均 86.7%；在人为拉扯、推撞、敲击和反向旋拧下平均 96.0%。【Analysis】 这些测试并非只考察视觉识别，而是在检验闭环控制是否能在接触动力学变化后及时恢复。

6. 方法分析

6.1 为什么有效？

【Analysis】 三个环节分别解决三个瓶颈：IL 限制探索风险，迭代离线 RL 以大量低成本 rollout 获得 value-directed 改进，短程 online RL 专门覆盖离线数据中没有的失败状态。共享去噪 advantage 则把稀疏任务信号分配给生成动作的每一步。

6.2 核心创新

目标统一：离线和在线不切换优化器，减少训练阶段边界处的性能跌落。
数据飞轮：更好的策略产生更好的数据，再用 IL 将多模态行为压回一个可部署 policy。
部署共设计：训练时就加入 consistency distillation，而不是部署前再做可能损伤性能的压缩。

6.3 与已有方法的本质区别

【Analysis】 与只做 BC 的 Diffusion Policy 相比，RL-100 明确优化成功率、完成时间和抗扰动；与从零开始 real-world RL 相比，它用示范策略提供安全先验；与仅在最终动作上加 RL 的做法相比，它把扩散链视为内部 MDP，在 denoising transition 粒度计算 ratio 和 credit。

6.4 关键假设

【Paper】 需要人工或任务逻辑提供成功终止与 reset；离线阶段依赖 IQL/transition model 的保守估计；consistency policy 假设 teacher 的多步动作分布可以被一步网络近似。【Analysis】 在遮挡严重、奖励判定困难或 reset 代价极高的家庭场景，这些假设仍可能成为主要瓶颈。

7. 局限性

7.1 作者明确提出的局限

【Paper】 作者指出未来需处理更多 clutter、遮挡、透明/高反光物体、变化光照和非平稳布局；reset 与 recovery 仍需人工参与，计划探索 learned reset policy、scripted recovery 和 failure-aware action chunking。论文也将多任务、多机器人大模型上的 scaling law 留作后续工作。

7.2 自己分析得到的局限

【Analysis】 100% 成功率来自精心设计的八项任务和有限评测次数，不能直接等价于开放世界可靠性；奖励主要是终止成功信号，效率 shaping 与 jitter penalty 的权重需要按任务调节。CM 在 Orange Juicing–Removal 上因 IK-induced pose discontinuity 和噪声敏感性未评测，说明一步蒸馏并非对所有控制模式都安全。

8. 启发与研究思考

【Analysis】 RL-100 给 VLA 后训练的启发不是“把 PPO 接到任意 policy 后面”，而是先找出 policy 内部真正产生动作的随机过程，再在该过程上定义可计算的 likelihood 和 conservative update。对未来的大型 VLA，可以保留语言模型的语义先验，只把 diffusion/flow action head、offline OPE gate 和 consistency distillation 作为部署层。

另一个值得复用的工程结论是数据预算分配：论文八项任务平均约 115 条人工示范，随后约 566 条离线 rollout 和 434 条在线 rollout。【Analysis】 这更像“少量高质量人类数据 + 大量自主试错”的生产配方，而不是追求无限示范数据；但它成立的前提是 reset、奖励和安全审批已经自动化到足够低的边际成本。

RICL 论文精读：给预训练 VLA 注入 In-Context Adaptability

Wed, 26 Aug 2026 00:00:00 GMT

1. 论文概述

论文名称：《RICL: Adding In-Context Adaptability to Pre-Trained Vision-Language-Action Models》
作者：Kaustubh Sridhar、Souradeep Dutta、Dinesh Jayaraman、Insup Lee
机构：University of Pennsylvania、University of British Columbia
会议：CoRL 2025
论文链接：arXiv:2508.02062
代码与模型：ricl-vla/ricl_openpi
项目主页：ricl-vla.github.io

一句话总结

【Paper】 普通 VLA 主要靠 imitation learning 学参数，面对新物体、新动作或新场景通常需要重新 finetune；RICL（Re-training for In-Context Learning）先用一组 priming demonstrations 训练 VLA 使用上下文，部署时再从目标任务的 10–20 条示教中检索相似状态，把它们和 query 一起送入模型，从而实现不更新参数的 few-shot adaptation。

核心贡献

【Paper】

给出一种 post-training recipe：从预训练的 π₀-FAST-DROID 出发，只微调语言模型、冻结图像编码器，得到可处理检索上下文的 RICL-VLA。
用 DINOv2 图像 embedding 和近邻检索把长轨迹压缩成少量相关的 state-action examples，再通过 action interpolation 将最近邻动作与 VLA 输出融合。
在 Franka DROID 平台的 8 个操作任务上验证：20 条目标任务示教、不做参数更新时，完整任务成功率从 π₀-FAST-DROID 的 2.5% 提升到 31.25%。
在同一批 20 条示教上继续 finetune 时，RICL-VLA 的聚合成功率达到 61.67%，高于直接 finetune 基础 VLA 的 31.67%。

2. 背景与相关工作

【Paper】 LLM 的 In-Context Learning（ICL）来自 next-token prediction：给模型几个输入–输出示例，模型就能在不改参数的情况下完成新任务。Retrieval-Augmented Generation（RAG）进一步把“挑选示例”的工作交给检索器。对机器人而言，示例不是文本答案，而是视觉观测、proprioception 和动作序列。

【Paper】 π₀-FAST 是自回归 VLA：PaliGemma 的 SigLIP 图像编码器和 Gemma LLM 接收多视角图像、语言指令、本体状态，并用 FAST tokenizer 把连续动作离散成 token。它在 DROID 数据上表现出跨场景泛化，但 imitation objective 本身不会自动教会模型“如何读懂一段示教并迁移”。

已有 ICL agent（如 REGENT、MTT、ICRT）通常从头训练通用策略，或把完整轨迹直接塞进 context。RICL 的切入点是保留大规模 VLA 的视觉和语言能力，只通过少量机器人数据进行 post-training，并用检索选择局部邻居，避免上下文长度和注意力复杂度随着完整轨迹增长。

3. 问题定义

【Paper】 给定预训练 VLA π₀、一个新任务的少量示教集合 $\mathcal D_{new}$，目标是在不更新参数的前提下，根据当前 query 观测输出动作：

$$ \hat a_t = \pi_\theta\bigl(q_t,; r_1, r_2, \ldots, r_K\bigr), $$

其中 $q_t$ 包含三路 RGB 图像、语言 prompt 和 8 维 proprioceptive state，$r_i$ 是从示教中检索到的第 $i$ 个 state-action example，$K=4$。

【Paper】 实验使用 Franka DROID：三个相机（top、side/right、wrist），15 Hz 控制频率；state 为 7 个 joint angle 加 gripper position，action chunk 为连续 15 步、每步 7 个 joint velocity 加 1 个 gripper position，即 (15, 8)。测试任务覆盖未见物体（pokeball、idli plate、squeegee、bagel）、新动作、厨房水槽新场景和 DROID 长尾物体。

4. 方法

4.1 Overall Architecture

【Paper】 每个输入序列由 4 个 retrieved observations 和 1 个 query observation 组成；每个 observation 都含三路图像、prompt、state 与 action chunk。图像和文本 token 进入 PaliGemma，LLM 只在 query 的 action token 上计算训练损失，最后由 FAST tokenizer 解码为动作。推理时的完整循环见 4.5。

4.2 核心模块

Retrieval：从示教缓冲区找相似状态

输入：当前 query 的 top image，以及目标任务示教的预处理 episode。
中间表示：DINOv2 为每个 top image 生成 embedding；FAISS 建立 L2 近邻索引。
输出：4 个最近邻的 top/right/wrist image、state、prompt 和 15 步 action chunk。
作用：把“从几十条长示教中定位相似时刻”从 Transformer 中外包给检索器，让模型专注于局部动作迁移。

【Paper】 正文描述使用 top image 做检索。【Code】 src/openpi/policies/policy.py 的在线 RiclPolicy.retrieve 也使用 query_top_image 和 top_image_embeddings；但训练数据加载器中的路径名 embedding_type = "embeddings__wrist_image_left" 暗示训练预处理曾使用 wrist embedding。论文和代码在这一实现细节上并不完全一致，不能把检索视为多视角联合 embedding。

Context packing：把邻居和 query 拼成一个序列

【Code】 RiclObservation 为每个邻居建立 retrieved_i_ 前缀，并在末尾追加 query_。Pi0FASTRicl.compute_loss 将 5 个 observation 的 embedding 和 attention mask 沿 token 维拼接；create_decode_indices 只选择各段 prompt/state/action 区域的 token，避免对图像 token 计算无用的词表投影。

Action interpolation：最近邻动作作为连续先验

【Paper】 最近邻 action token 的 one-hot 分布与 LLM 的 softmax 输出按图像距离加权混合。距离越近，越相信示教动作；距离越远，越依赖模型自身的泛化能力。

【Code】 Pi0FASTRicl.interpolate_actions 对每个 action token 计算同样的离散插值；默认配置 λ=10，距离先按训练集最大距离归一化。该层不是简单的 nearest-neighbor policy，因为 LLM 仍可逐 token 修正最近邻动作。

Frozen vision encoder 与可训练 LLM

【Paper】 RICL 只更新 Gemma LLM，SigLIP image encoder 保持 frozen。这样可以把 post-training 的容量集中在“理解 retrieved context”上，同时尽量保留 π₀ 原有视觉表示和场景泛化能力。

【Code】 get_freeze_filter_with_frozen_img_encoder() 对 .*img.* 参数施加冻结过滤器；train_pi0_fast_ricl.py 的 train_step 只对 config.trainable_filter 求梯度。

4.3 关键公式

令 $a'j$ 为第一个（最近）检索邻居在第 $j$ 个动作 token 上的 one-hot 向量，$p_j=\operatorname{softmax}(\pi\theta)_j$ 为 LLM 概率，$d$ 为 query 与最近邻 top-image embedding 的 L2 距离，则：

$$ \tilde p_j = e^{-\lambda d},\operatorname{onehot}(a'_j) + \left(1-e^{-\lambda d}\right)p_j. $$

$\lambda$：距离衰减强度；论文和官方配置均使用 10。
$d$：归一化后的视觉相似度距离；$d=0$ 时完全采用最近邻 token，距离增大时逐渐回到 LLM 分布。
$\tilde p_j$：送入交叉熵的最终 token 分布，所有 $N_{act}$ 个动作 token 都独立应用该插值。

训练时只对 query 的 action chunk 计算 cross-entropy；retrieved action 作为上下文而不是额外监督目标。【Analysis】 这使优化目标更接近真实部署：模型必须根据邻居预测 query 的动作，而不是机械地复述邻居。

4.4 Training

【Paper】 作者收集 20 个 priming tasks，每个 task 20 条示教，共约 400 条轨迹。对每条轨迹的每个状态都作为 query，再从同一 task 的其他示教中检索 4 个邻居，训练输入因此和部署形式一致。模型从 π₀-FAST-DROID 初始化，训练 3 个 epoch，图像编码器冻结。

【Code】 pi0_fast_droid_ricl 配置为 action horizon 15、4 个 retrieved observations、batch size 16、2 张 A100、Cosine decay 学习率（peak 2.5e-5，300 warmup steps，3000 decay steps），训练配置上限为 10,000 steps。process_collected_demos.py 将原始 DROID trajectory.h5 与三路帧转换为 (state, actions, images, DINO embeddings)；retrieve_within_collected_demo_groups.py 用 FAISS/L2 预计算每个 query 的近邻。

4.5 Inference

【Paper】 用户只需为新 task 收集 10–20 条 teleoperated demonstrations。每次控制循环中，RICL 根据当前 top image 检索 4 个相似状态，把它们与当前 query 拼入 context，预测一个 15 步 action chunk，并执行其中一部分动作后重新观察。

【Code】 RiclPolicy.retrieve 在启动时为 demos 建立 FAISS 索引；运行时只对 query top image 做一次 DINOv2 embedding。serve_policy_ricl.py 加载 checkpoint 和 --policy.demos_dir，通过 websocket 向 DROID 客户端提供动作。默认部署策略在预测到 gripping action 前执行 3/15 步，抓取后执行 8/15 步；finetuned 版本抓取后执行 5/15 步。检索本身低于 1 ms，作者报告整体 rollout 约为 π₀-FAST 的 1.33 倍耗时。

4.6 代码实现对照

| 论文概念 | 官方代码位置 | 实现要点 | | --- | --- | --- | | RICL 模型 | src/openpi/models/pi0_fast_ricl.py | Pi0FASTRicl 拼接 5 个 observation，并实现 interpolate_actions | | 数据与近邻 | preprocessing/process_collected_demos.py、retrieve_within_collected_demo_groups.py | 处理 h5/帧、生成 DINO embedding、FAISS L2 检索 | | 训练 | scripts/train_pi0_fast_ricl.py、src/openpi/training/config.py | query action CE loss；仅图像编码器冻结 | | 推理 | src/openpi/policies/policy.py、scripts/serve_policy_ricl.py | 在线 embedding、FAISS 检索、websocket serving | | FAST action | src/openpi/models/tokenizer.py、src/openpi/transforms.py | 将 (15, 8) 连续动作离散/还原为 token 序列 |

【Code】 README 还提供了 Hugging Face 上的 priming/retrieval demos 和 pi0_fast_droid_ricl_checkpoint。因此该工作不只是论文算法，也给出了可在 Franka DROID 上复现实验的 checkpoint、预处理脚本和 serving 流程。

5. 实验

5.1 Experimental Setup

【Paper】 每个评测任务收集 20 条示教用于检索；每种方法在随机初始位置和朝向下执行 10 次 rollout，并统计完整任务成功率和中间 checkpoint 成功率。比较对象包括：

π₀-FAST-DROID（基础 VLA）；
RICL-π₀-FAST-DROID（只检索、不更新参数）；
Retrieve and Play（直接执行最近邻动作）；
从头训练的 Diffusion Policy（只在简单任务比较）；
π₀-FAST-DROID-finetuned 与 RICL-VLA-finetuned（在同一 20 条示教上训练）。

【Paper】 评测任务按难度覆盖语言 grounding、新物体、新动作、新场景、长尾物体和长时程组合：pokeball、idli plate、squeegee、sink-idli plate、sink-squeegee、toaster lever、bottom-shelf door、bagel into toaster。

5.2 Main Results

【Paper】 聚合 8 个任务、每任务 10 次 rollout：

| 方法 | 完整任务成功率 | 最高 checkpoint 成功率 | | --- | ---: | ---: | | π₀-FAST-DROID | 2.5% | 21.25% | | RICL-π₀-FAST-DROID（20 条示教，仅 RAG/ICL） | 31.25% | 83.75% | | π₀-FAST-DROID-finetuned | 31.67% | 论文未统一报告 | | RICL-VLA-finetuned | 61.67% | 论文未统一报告 |

【Paper】 RICL 特别改善两类失败：一是基础 VLA 把 duck/apple 等 distractor 当成目标，二是面对 idli plate 的凹槽抓取、squeegee 的半抬升半拖动、底层柜门避障等 novel motion 时无法启动。RICL 在新厨房场景也保留了 π₀ 的场景泛化能力。

【Analysis】 31.25% 与“直接把基础 VLA 在 20 条示教上 finetune”的 31.67% 接近，说明在该实验规模下，检索上下文可以替代一次针对目标任务的参数更新；这不是“零样本”，而是把数据存放在外部示教缓冲区并在运行时取回。

5.3 Ablation Study

【Paper】 在 idli plate 任务中消融检索/finetune 使用的示教数量。5 条示教时 RICL 可能退化到基础 VLA 的错误行为（例如移动 apple）；至少 10 条后语言 grounding 才稳定，更多示教通常继续提升表现。RICL-VLA-finetuned 在每个示教数量下都优于直接 finetune π₀。

5.4 Generalization

【Paper】 RICL 能在以下变化下工作：

priming 数据中不存在的 pokeball、idli plate、squeegee、bagel；
需要新抓取和接触方式的动作；
厨房水槽中的新相机位置、光照、背景和 distractor；
DROID 中出现频率很低的 toaster 与 shelf 变体。

动态 rollout 中，人为移动目标物体后，finetuned RICL-VLA 仍能重新定位并继续操作。没有任务相关 retrieval、只放入随机 priming 示教时，RICL 在三个原本 π₀ 能做的任务上保持 80% 成功率，作者据此认为 post-training 没有明显损害原有能力。

6. 方法分析

6.1 为什么有效？

【Analysis】 RICL 把适应拆成两个互补问题：DINOv2/FAISS 负责“记忆中找哪个局部状态”，Gemma 负责“如何把局部状态和当前视觉几何组合起来”。相比把整段示教直接塞进 context，这种分工降低了序列长度，也避免模型先花容量做显式搜索。

action interpolation 还提供了一个距离相关的行为先验：相似视觉状态时直接借用示教动作，状态不相似时逐渐释放给 LLM。于是模型同时拥有 nearest-neighbor 的稳定性和 VLA 的动作泛化能力。

6.2 核心创新

Post hoc ICL injection：不重新训练一个通用 agent，而是在已有 VLA 上补一层“会读示教”的能力。
RAG + autoregressive action：检索的是视觉–状态–动作片段，输出仍是 FAST token 的自回归 action chunk。
Distance-weighted action prior：把最近邻动作以概率分布形式注入 LLM，而不是硬切换到行为克隆或只复制第一邻居。
Training/deployment alignment：priming 数据的每个状态都按部署时的 query + 4 neighbors 方式构造，减少训练–推理分布差异。

6.3 与已有方法的本质区别

【Paper】 REGENT 从头训练 transformer policy，RICL 则从 π₀-FAST-DROID 的大规模预训练能力出发；MTT/ICRT 倾向把完整 demonstrations 放入上下文，RICL 只取检索到的局部状态；vanilla finetune 把新知识写入参数，RICL 把知识保留在可替换的外部 retrieval buffer 中。

【Analysis】 因此 RICL 的“模型更新”和“任务更新”是解耦的：模型只需 priming 一次，换任务时主要更换 demos 目录和 FAISS 索引。

6.4 关键假设

视觉相似度足够表达动作相关性：top-image 的 DINOv2 L2 近邻应能找到可迁移的局部状态。
目标任务与基础 VLA 能力相邻：检索示教提供的是局部引导，而不是凭空创造超出 π₀ 能力边界的技能。
示教质量和数量足够：论文显示 5 条可能不稳定，10–20 条是实用下限。
动作表示可被 FAST tokenizer 表达：当前实现面向 15 步、8 维 DROID action chunk。

7. 局限性

7.1 作者明确提出的局限

【Paper】 RICL 不能可靠学习离基础 VLA 太远的任务，因此实验主要集中在 pick-and-place；它仍需要每个新任务的 teleoperated demonstrations，跨设置收集示教并不具备可扩展性；对打网球等显著不同的 novel motion 泛化较弱。作者建议扩大 priming tasks、模型规模和动作多样性，并探索从人类视频获取示教。

7.2 自己分析得到的局限

【Analysis】

检索依赖单张 top image，遮挡、视角变化或相似外观可能导致错误邻居；代码中训练 embedding 类型和论文文字也存在不一致。
action interpolation 的距离归一化使用训练集最大距离，部署环境显著偏离 priming 分布时，$e^{-\lambda d}$ 的校准可能失真。
4 个邻居带来约 4 倍 token 数，虽然实测 rollout 只慢约 1.33 倍，但显存和上下文长度仍限制更长 action horizon 或更多示教。
评测规模为 8 个任务、每个 10 次 rollout，且主要是单臂 pick-and-place；更复杂的双臂、接触丰富或长时程任务仍缺少证据。

8. 启发与研究思考

【Analysis】 RICL 的重要启发不是“给 VLA 加一个向量数据库”这么简单，而是把 VLA 的适应接口设计成可替换的外部 memory：

如果检索器能理解接触状态、物体姿态和语言约束，示教缓冲区就可能成为比 task-specific finetune 更快的部署接口。
action interpolation 可以推广为 uncertainty-aware mixture：距离、动作冲突和模型置信度共同决定邻居先验的权重，而不是只使用单一视觉距离。
未来可以把人类视频、失败轨迹和离线 DROID 数据纳入同一个 retrieval pool，并让检索器学习“哪种示教最值得参考”。
对真实机器人而言，最现实的路线可能是 RICL 做即时冷启动，再用少量在线数据进行“finetune like you pretrain”，兼顾无梯度适应速度和最终可靠性。

PriorVLA 论文精读：保留预训练先验的 VLA 适配

Wed, 26 Aug 2026 00:00:00 GMT

1. 论文概述

论文名称：《PriorVLA: Prior-Preserving Adaptation for Vision-Language-Action Models》

作者：Xinyu Guo、Bin Xie、Wei Chai、Xianchi Deng、Tiancai Wang、Zhengxing Wu、Xingyu Chen

论文链接：arXiv:2605.10925 · 项目主页：priorvla.github.io

代码链接：xinyuguo1566/PriorVLA

一句话总结

【Paper】 全量 fine-tuning 往往把大规模 VLA 预训练得到的通用能力当作初始化，在有限示教上不断移动参数，结果是训练分布内变好、分布外（OOD）场景中的先验被遗忘。PriorVLA 将原始 action expert 复制成两个角色：冻结的 Prior Expert 只读地提供运动先验，可训练的 Adaptation Expert 负责最终动作生成；再用 Scene Query、Motor Query、Action Query 三种可学习接口，把视觉与运动先验送入适配分支。

核心贡献

【Paper】

将下游 VLA 适配重新表述为“保存并利用 forward-pass priors”，而不只是更新初始化权重。
提出 Dual Action Experts：原始 action expert 冻结为 Prior Expert，同权重初始化的 Adaptation Expert 学习任务特化；前者的动作输出从不直接执行。
提出 Expert Queries：Scene Queries 从冻结 VLM 捕获场景先验，Motor Queries 从 Prior Expert 捕获运动先验，Action Queries 在 Adaptation Expert 内整合两者。
只更新 full fine-tuning 约 25% 的参数，在 RoboTwin 2.0-Hard、LIBERO 和真实机器人上均超过强基线；增益在 OOD、few-shot 条件下最大。

【Analysis】 论文的关键不是再加一个“专家投票器”，而是把冻结分支变成可复用的表示源，同时限制信息通过 Query 接口流动。这样“记住预训练能力”和“学习新任务”在参数与注意力路径上都被显式解耦。

2. 背景与相关工作

【Paper】 现代 VLA（如 $pi_0$、$pi_{0.5}$、OpenVLA）从多机器人、多任务数据中学习两类互补能力：VLM 编码视觉—语言中的场景结构，action expert 在 flow matching 或 diffusion 去噪过程中学习动作生成规律。下游任务却常只有几十条到几百条示教，且测试时会改变物体位置、背景、光照或桌面高度。

全量 fine-tuning 能迅速提高 ID 成功率，却可能将广泛先验压缩成训练集中的窄模式。LoRA、冻结 VLM、参数约束和 replay 等工作分别减少更新量或限制漂移；query/bridge 方法则把视觉语言特征接到动作策略。【Paper】 PriorVLA 的区别是：它不把预训练网络仅看成待修改的参数集合，而把其 forward 表示本身当作需要保存、且要被下游策略读取的 prior source。

3. 问题定义

【Paper】 给定视觉观测 $o_t$、语言指令 $l$、本体状态 $s_t$，策略在 action horizon $H$ 内预测动作块：

$$ \hat a_{t:t+H-1}=\pi_\theta(\tilde a_{t:t+H-1},o_t,l,s_t), $$

其中 $\tilde a$ 是 flow-matching 去噪过程中的 noisy action chunk，$\hat a$ 是当前步的速度/去噪预测。目标是用有限下游数据学习一个适配策略，同时保持预训练 VLM 的场景先验与 action expert 的运动先验，并在 ID 与 OOD 条件下生成可靠动作。

| 维度 | 论文设置 | | -------- | --------------------------------------------------------------------------------- | | Base VLA | $\pi_{0.5}$，VLM + flow-matching action expert | | 输入 | 图像、语言指令、本体状态；实验覆盖单臂 Franka 与双臂 AC-One | | 输出 | 未来 $H$ 步 action chunk；仅 Adaptation Expert 的预测更新轨迹 | | 训练参数 | Adaptation Expert、三类 Queries、VLM vision encoder；约为 full fine-tuning 的 25% | | 先验源 | 冻结 VLM 主干与冻结 Prior Expert |

4. 方法

4.1 Overall Architecture

【Paper】 图像和指令先进入预训练 VLM；Scene Query 读取其层级表示。相同 noisy action chunk 同时送入 Prior Expert 和 Adaptation Expert，Motor Query 读取前者的内部去噪表示，Action Query 将 Scene/Motor Query 的缓存与当前适配分支的 token 融合，最后只有 Adaptation Expert 的输出执行 flow-matching 更新。

4.2 核心模块

Dual Action Experts

输入：每个去噪步的同一 noisy action chunk 与观测条件。
Prior Expert 输出：中间 hidden states（motor prior）；最终 denoising prediction 被丢弃。
Adaptation Expert 输出：用于更新 action trajectory 的 denoising prediction。
为什么需要：冻结副本阻止下游梯度改变预训练动作动力学；同权重初始化的适配副本仍有足够容量拟合新任务。

【Paper】 在第 $\tau$ 步，$\tilde a^\tau_{PE}=\tilde a^\tau_{Ada}=\tilde a^\tau$，但只有 $f^\tau_{Ada}$ 进入 flow-matching 更新 $\tilde a^{\tau+1}=FM(\tilde a^\tau,f^\tau_{Ada})$。因此 Prior Expert 是 read-only memory，而不是第二个控制器。

Expert Queries 与注意力路由

Scene Query（SQ）：插入 VLM 输入序列，可与原始 observation tokens 自注意力；其逐层 key/value cache 是紧凑的 scene-prior 接口。
Motor Query（MQ）：附加在 Prior Expert 上，只读取冻结分支 noisy action tokens 并自注意力；Prior Expert 的原始动作 token 不读取 SQ/MQ，因而保持预训练去噪路径不变。
Action Query（AQ）：插入 Adaptation Expert，与适配分支 noisy action、原始 observation、SQ、MQ 共同注意力；不直接读取 Prior Expert 的 raw action cache，迫使运动先验经 MQ 路由。

【Analysis】 这是一种“单向读出、集中整合”的设计：SQ/MQ 负责压缩先验，AQ 负责决定下游动作生成时如何使用先验。移除 Query 后，即便冻结分支仍执行，也没有可学习的接口把先验变成有效条件。

4.3 关键公式

对任意 token group $x$，第 $l$ 层的投影为 $Q_x^l=h_x^lW_Q^l$、$K_x^l=h_x^lW_K^l$、$V_x^l=h_x^lW_V^l$。

【Paper】 Scene Query 的更新为：

$$ h_{sq}^{l+1}=\operatorname{Attn}(Q_{sq}^l,[K_{obs}^l\Vert K_{sq}^l],[V_{obs}^l\Vert V_{sq}^l]). $$

Motor Query 只从 Prior Expert 的 noisy action 读取：

$$ h_{mq}^{l+1}=\operatorname{Attn}(Q_{mq}^l,[K_{mq}^l\Vert K_{\tilde a_{pe}}^l],[V_{mq}^l\Vert V_{\tilde a_{pe}}^l]). $$

Action Query 在 Adaptation Expert 中整合多源信息：

$$ h_{aq,\tilde a_{ae}}^{l+1}=\operatorname{Attn}(Q_{aq,\tilde a_{ae}}^l, [K_{aq,\tilde a_{ae}}^l\Vert K_{obs}^l\Vert K_{sq}^l\Vert K_{mq}^l], [V_{aq,\tilde a_{ae}}^l\Vert V_{obs}^l\Vert V_{sq}^l\Vert V_{mq}^l]). $$

这里 $\Vert$ 表示 token 级拼接，$h$ 是 hidden state，$W_Q/W_K/W_V$ 是注意力投影。关键约束不在公式外另加正则，而在 mask 中禁止 Prior Expert 的 noisy action 直接穿透到 Adaptation Expert。

4.4 Training

【Paper】 训练 full Adaptation Expert、三组 Expert Queries 和 VLM vision encoder；其余 VLM 参数及 Prior Expert 全部冻结。损失仍是标准 flow-matching MSE，只作用于 Adaptation Expert 的 denoising prediction：

$$ \mathcal L(\theta)=\mathbb E_{\tau,\tilde a}\left[|f^\tau_{Ada,\theta}(\tilde a,o,l,s)-u^\tau|_2^2\right], $$

其中 $u^\tau$ 是 flow-matching 目标速度，$\tau$ 是采样的去噪时间步。Prior Expert 的输出不参与 loss，Queries 也没有额外 auxiliary objective。

4.5 Inference

【Paper】 推理时每个去噪步都用同一个 noisy action chunk 执行两条 expert 路径。Prior Expert 继续提供 MQ 的 motor prior，但其动作预测丢弃；AQ 驱动 Adaptation Expert 输出并更新 chunk。去噪完成后执行 Adaptation Expert 产生的动作块，并在下一控制时刻重新观测。

4.6 代码实现对照

【Code】 截至论文提交时，作者的 GitHub 仓库 README 仅说明“Code will be released soon”，没有可审计的模型定义、DataLoader、训练脚本或 checkpoint。因此本文不能把具体文件路径或超参数当作已验证实现；方法细节以论文为准。

【Analysis】 这也意味着复现工作的关键风险在于 attention mask、逐层 KV cache 与 flow-matching 时间步的精确实现，而不是简单地把 action expert 复制两份。代码发布后，应重点核对冻结参数列表、AQ 是否能绕过 raw PE action cache、以及 Prior Expert 是否在每个去噪步重复计算。

5. 实验

5.1 Experimental Setup

【Paper】 实验覆盖三个层次：

RoboTwin 2.0：13 个双臂任务，Easy 为 ID、Hard 为 OOD；标准设置每任务 50 条 clean demonstrations、每设置 300 次评测，并比较 few/standard/large 三种数据规模。
LIBERO：Spatial、Object、Goal、Long 四个 Franka task suites，每个 suite 10 个任务。
Real-world：单臂 Franka 与双臂 AC-One，8 个任务；OOD 同时扰动 Light、Background、Object Position、Table Height；few-shot 每任务仅 10 条示教。

5.2 Main Results

【Paper】 主要结果如下（成功率均为百分比）：

| 基准 | PriorVLA | 对比基线 | 结论 | | ------------------------------------------- | -----------: | ---------------------------------: | ------------------------- | | RoboTwin 2.0 Easy（standard） | 77 | $\pi_{0.5}$ 67 | +10 | | RoboTwin 2.0 Hard（standard） | 53 | $\pi_{0.5}$ 42 | +11 | | RoboTwin 2.0 Hard（few / standard / large） | 31 / 53 / 65 | $\pi_{0.5}$ 20 / 42 / 59 | +11 / +11 / +6 | | LIBERO 平均 | 99.1 | $\pi_{0.5}$ 96.9、OpenVLA-OFT 97.1 | 在饱和 benchmark 上仍提升 | | Real-world ID（standard） | 81 | $\pi_{0.5}$ 69 | +12 | | Real-world OOD（standard） | 57 | $\pi_{0.5}$ 41 | +16 | | Real-world ID / OOD（10 demos） | 48 / 32 | $\pi_{0.5}$ 24 / 10 | +24 / +22 |

【Analysis】 增益随数据减少或分布偏移而扩大，符合“先验是数据覆盖不足时的补充结构”这一解释；在 RoboTwin large-data Easy 上两者接近，说明先验保存并非替代充分示教，而是降低覆盖成本。

5.3 Ablation Study

【Paper】 在 RoboTwin 六任务子集上，完整模型达到 Easy 77%、Hard 49%。移除 Prior Expert（等价于移除 PE→AE 的 MQ 路径）后为 75% / 42%；随机冻结分支为 75% / 43%；让 Prior Expert 可训练为 73% / 44%。这说明收益来自预训练运动先验，而不是“多一个分支”或参数量变化。

Expert Query 消融进一步显示：SQ、MQ、AQ 全部保留时为 77% / 49%；去掉全部 Query 降至 61% / 28%。分别去掉 SQ、MQ、AQ 后为 75% / 42%、70% / 30%、71% / 43%，其中 SQ 对 Hard 最关键。

5.4 Generalization

【Paper】 论文没有将八个 OOD 因子拆成独立实验，而是联合施加四类扰动；作者明确指出这更接近部署但无法分辨单一因素的贡献。跨 Franka 与 AC-One 的结果表明，方法并不依赖单一 embodiment，但尚未证明在更多机器人形态或更长 horizon 上仍保持相同收益。

6. 方法分析

6.1 为什么有效？

【Analysis】 有三层原因：

参数层：冻结 PE 与 VLM 主干为预训练能力提供稳定锚点，避免小数据梯度把动作动力学推向狭窄模式。
表示层：SQ/MQ 将分散在多层、多去噪步中的先验压缩成可读 cache，让适配分支能按任务选择性使用，而不是被动复制全部 hidden states。
控制层：AQ 只改变最终动作生成路径；先验不直接产生动作，因此不会与任务特化分支发生不受控的 action-level ensemble。

6.2 核心创新

【Paper】 创新点是“preserve + leverage”的组合：Dual Action Experts 负责 preserve，Expert Queries 负责 leverage，且二者通过 masked attention 形成明确的信息边界。【Analysis】 单独冻结或单独加分支都不足以得到同样结果，消融实验支持这是一种结构性创新而非训练技巧。

6.3 与已有方法的本质区别

| 路线 | 预训练模型角色 | 先验如何进入动作策略 | | --------------------- | ---------------------------------------------- | -------------------------------------- | | Full fine-tuning | 初始化，所有权重可漂移 | 隐式地写入更新后的参数 | | LoRA / partial tuning | 限制更新子空间 | 先验留在未更新权重中，但未必被显式读取 | | Frozen-VLM bridge | 冻结视觉语言 backbone | 通过桥接层传递表征 | | PriorVLA | 冻结 VLM + 冻结 PE 作为 read-only prior source | SQ/MQ 捕获，AQ 在 AE 内整合 |

6.4 关键假设

【Analysis】 方法隐含四个假设：预训练 VLM 表征仍覆盖下游场景的可用结构；预训练 action expert 的 hidden states 含有可迁移运动规律；Query bottleneck 足以表达任务所需先验；额外运行 PE 的计算开销在 chunked control 中可接受。若下游任务与预训练 embodiment 或动作空间完全不相容，这些假设可能失效。

7. 局限性

7.1 作者明确提出的局限

【Paper】 (1) RoboTwin 只报告 50 任务中的 13 个子集，因为每个任务需单独训练模型；(2) 真实机器人 OOD 因子联合扰动，无法解耦单因素效果；(3) 推理时每个去噪步都执行冻结 Prior Expert，带来额外计算；(4) 尚未细致分析 scene/motor priors 在层与时间步之间的产生、交互和演化。

7.2 自己分析得到的局限

【Analysis】 官方代码尚未公开，复现者无法验证 mask 与缓存实现。其次，Prior Expert 与 Adaptation Expert 同时前向会近似翻倍 action-expert 计算，论文只称开销“manageable”，没有给出端到端 latency、显存峰值或 cache 复用测量。最后，成功率提升主要来自单一 base（$\pi_{0.5}$）和有限任务集；在完全不同的 VLA、连续长时任务、失败恢复或在线数据分布变化下，先验是否仍可靠仍待实验。

8. 启发与研究思考

【Analysis】 PriorVLA 把“预训练知识”从静态参数改写成可查询的运行时资源，这给后续工作留下几条路线：

先验压缩：蒸馏 MQ 的层级 KV cache，或按场景检索并缓存 PE 表示，减少双分支推理成本。
可解释路由：记录 AQ 对 SQ/MQ 的注意力，研究不同任务究竟依赖视觉先验还是运动先验。
多先验库：为不同 embodiment、技能或数据域保存多个冻结 Prior Experts，再用 Query router 选择组合。
安全适配：把 PE 的动作一致性作为运行时检查器，在 Adaptation Expert 产生异常动作时回退或缩小更新。

PLD 论文精读：用残差强化学习让 VLA 自己生成训练数据

Wed, 26 Aug 2026 00:00:00 GMT

1. 论文概述

【Paper】《Self-Improving Vision-Language-Action Models with Data Generation via Residual RL》提出 Probe, Learn, Distill（PLD），目标是减少 VLA post-training 对昂贵 teleoperation demonstrations 的依赖。它把一个已有但不完美的 VLA 当作 policy prior，先学习 task-specific residual policy，再生成与通才部署分布一致、同时包含失败恢复行为的数据，最后用标准 SFT 更新通才模型。

一句话总结

【Analysis】 PLD 的关键不是让 RL 专家替代 VLA，而是让专家在 VLA 会走到的“坑里”接管，把如何脱困记录下来，再把这些恢复经验写回 VLA。

核心贡献

【Paper】

提出三阶段的 Probe–Learn–Distill 自动 post-training recipe，不需要额外 oracle demonstrations。
冻结 VLA backbone，只训练轻量 Gaussian residual actor，并用 off-policy RL 高效探索稀疏奖励任务。
用 base-policy probing 初始化状态分布：先执行若干步通才策略，再由 residual specialist 接管，得到 deployment-aligned recovery trajectories。
证明 PLD 数据同时适用于 flow-matching 的 $\pi_0$ 和 autoregressive action-token 的 OpenVLA，并改善 seen / unseen tasks。

【Paper】 项目页将论文标注为 ICLR 2026 接收稿；论文 arXiv 版本为 v1（2025-10-30）。

2. 背景与相关工作

【Paper】 VLA 通常靠 SFT 从人工示教中学习。问题在于 teleoperation 成本高，且人类示教往往没有覆盖“模型实际会访问的失败状态”。只保留成功 rollout 的 self-bootstrap data 又会复制 base policy 的错误；独立训练的 RL expert 则容易产生过于单一、远离通才策略分布的轨迹。

论文比较了 WSRL、RLPD、JSRL、Cal-QL 等利用 policy prior 或 offline data prior 的方法。PLD 的区别是将二者组合：offline successful rollouts 用于 critic warm-start，base policy 又参与 residual exploration 和状态初始化。

【Analysis】 这对应一个数据分布问题：SFT 需要的不只是“最优动作”，还需要在 deployment distribution 附近看到足够多的恢复动作。PLD 把 RL 的长处（发现纠错行为）和行为克隆的稳定性（蒸馏回大模型）拆开使用。

3. 问题定义

【Paper】 在部分可观测、稀疏二值奖励的语言条件操作任务中，观测 $o_t$ 包含 RGB 图像和 proprioception，语言目标为 $g$。VLA policy 写成：

$$ a_t = D_\phi\big(h_\theta(o_t,g)\big), $$

其中 $h_\theta$ 是 vision-language backbone，$D_\phi$ 是 action head。动作是 7-DoF：6-DoF end-effector delta pose 加 1-DoF continuous gripper command。每个 episode 成功时得到 $r\in{0,1}$，目标是最大化 success rate。

PLD 冻结 base policy $\pi_b$，学习条件 residual policy $\pi_\delta(a_\delta\mid s,a_b)$，其中 $a_b\sim\pi_b(\cdot\mid s)$，最终动作是：

$$ \bar a = a_b + a_\delta. $$

【Analysis】 residual policy 的输入显式包含 base action，因此它学习的是“如何修正当前 VLA 决定”，而不是从零重建一个通用控制器。

4. 方法

4.1 Overall Architecture

【Paper】 PLD 由四个可串联的环节组成：每个任务训练 residual specialist；使用 hybrid rollout 采集成功轨迹；将多任务轨迹通过 SFT 蒸馏回通才 VLA；部署更新后的通才策略并继续覆盖新任务。

数据流可以概括为：

冻结 VLA π_b ──成功 rollout──> offline buffer / Cal-QL critic
      │
      └─ base probing 状态 + residual π_δ ──> 恢复轨迹 D^PLD
                                              │
                                              ▼
                                  VLA SFT / BC 蒸馏 ──> 新通才策略

4.2 核心模块

Residual Gaussian actor

【Paper】 residual actor 是轻量 Gaussian policy，输出被缩放并限制在 $[-\xi,\xi]$ 的 delta action。$\xi$ 由 scheduler 调节，默认 LIBERO 使用 $0.5$，SimplerEnv 使用 $0.1$。这样可以在早期保持接近 base policy 的探索，同时逐步扩大修正范围。

Offline / online hybrid replay

【Paper】 先收集 base policy 的成功轨迹作为 $\mathcal B_{offline}$，在线 residual 交互产生 $\mathcal B_{online}$。训练时等量采样两个 buffer，使 critic 持续看到高价值动作，又能吸收 residual 探索到的新状态。

Conservative critic warm-start

【Paper】 critic 在 offline successful rollouts 上用 Cal-QL 初始化；论文发现 Cal-QL 比 CQL 和简化 IQL 更稳定。训练使用 clipped double Q、LayerNorm，视觉输入由预训练 ResNetV1-10 编码。

Base-policy probing 与 hybrid trajectory

【Paper】 收集蒸馏数据时，先随机执行 $T_{base}$ 步 base policy，再让 residual policy 接管。轨迹前缀保留 $a_b$，接管后记录 $a_b+a_\delta$。probing 只用于把初始状态推向通才常访问的区域，不写入 RL replay buffer。

4.3 关键公式

联合策略动作与 Q-learning 目标为：

$$ \bar a_t=a_{b,t}+a_{\delta,t},\qquad Q^{\bar\pi}(s_t,\bar a_t)\leftarrow r(s_t,\bar a_t)+\gamma,\mathbb E_{s_{t+1}}\left[Q_{target}^{\bar\pi}(s_{t+1},\bar a_{t+1})\right]. $$

这里 $Q^{\bar\pi}$ 评估 base 与 residual 组合策略的长期回报，$\gamma$ 是折扣因子。【Analysis】 关键点是 critic 评价“修正后的完整动作”，而不是把 residual 当作独立任务来评分。

SFT 阶段使用 base VLA 原有 action head 的行为克隆目标：autoregressive head 使用 action-token NLL，flow / diffusion head 使用各自的连续动作目标。【Paper】 PLD 不绑定某一种 VLA action head，因此数据生成与模型蒸馏可以解耦。

4.4 Training

【Paper】 RL 训练阶段先用 base policy 成功轨迹填充 offline buffer，并用 Cal-QL 预训练 critic；随后冻结 $\pi_b$，交替进行 online rollout、online/offline 等量 replay、TD critic update 和 SAC-style residual actor update。默认 batch size 为 256、$\gamma=0.99$、AdamW learning rate $3\times10^{-4}$、warmup 100 episodes、critic:actor 更新比为 2，target update rate 为 0.005。

4.5 Inference

【Paper】 部署时只需要更新后的通才 VLA：输入图像、proprioception 和语言目标，按原 action head 输出动作并执行。residual specialist 不需要在最终推理中常驻；它的作用是离线生成可蒸馏的数据。

4.6 代码实现对照

【Code】 截至本文撰写时，论文和项目页没有提供可核验的公开 GitHub 代码仓库；因此无法对 model definition、DataLoader、训练脚本或 checkpoint 路径逐文件映射。本文涉及的网络结构、超参数和真实机器人设置均来自论文附录，不能表述为已在公开代码中复现。

5. 实验

5.1 Experimental Setup

【Paper】 仿真使用 LIBERO-90 与 SimplerEnv；VLA 基座包括 flow-matching 的 $\pi_0$ 和 autoregressive action-token 的 OpenVLA。每个任务测试 50 episodes。真实实验使用 7-DoF Franka Panda（20 Hz、腕部与侧视相机、proprioception）以及双 6-DoF YAM arms 的 GPU insertion 长时任务。

5.2 Main Results

【Paper】 LIBERO 上，$\pi_0$ 的平均 success rate 从 93.4% 提升到 97.2%，OpenVLA 从 91.8% 提升到 99.2%；其中 OpenVLA Goal suite 提升 15.7 个百分点。SimplerEnv 的平均成功率从 71.8% 提升到 96.6%，平均增益 24.9 个百分点，单任务最高增益为 WidowX Pick Carrot 的 50.6 个百分点。

| 基座 | 数据 | Spatial | Object | Goal | Avg | | ------- | -------- | -------: | -------: | -------: | -------: | | $\pi_0$ | baseline | 95.2 | 97.6 | 87.4 | 93.4 | | $\pi_0$ | + PLD | 97.7 | 98.5 | 95.3 | 97.2 | | OpenVLA | baseline | 92.9 | 99.1 | 83.25 | 91.8 | | OpenVLA | + PLD | 99.5 | 99.1 | 98.9 | 99.2 |

【Paper】 真实 Franka 实验中，peg insertion 为 30/30；cube pickup 中 PLD 数据蒸馏后为 30/30，而 RLPD 数据为 16/30、人类数据为 10/30。YAM 双臂系统将 GPU 任务拆成四阶段，在每个子任务最多 8 小时训练后，可连续执行插入、移动、再插入、拔出并放回桌面至少 1 小时，无人工 reset。

5.3 Ablation Study

【Paper】 消融显示：

去掉 residual probing 或只用 base-policy rollout，会降低样本效率并明显损害 unseen-task 泛化。
只用 RL expert rollout 虽然轨迹更“最优”，但分布过窄；hybrid PLD 数据的 SFT 表现更稳健。
probing horizon $T_{base}\sim[0,\alpha T]$ 在 $\alpha=0.6$ 左右达到平台，继续增大反而下降。
action scale 过大导致早期偏离 base policy、训练不稳定；过小则探索不足。
Cal-QL critic warm-start 比 CQL / 简化 IQL 更稳定；on-the-fly 多动作采样主要改善样本效率，最终性能差异较小。

5.4 Generalization

【Paper】 在 LIBERO-90 的任务覆盖实验中，PLD 在只训练 10% 任务时，seen / unseen success rate 为 94.1% / 24.4%；coverage 提高到 80% 时为 86.4% / 26.8%。相同预算下，base-policy rollout 数据的 unseen success rate 仅为 1.5%–6.2%（随覆盖比例变化），说明成功筛选本身不能提供足够的跨任务信息。

真实世界从 clean blue-cube 与 peg-insertion 训练迁移到 cluttered 环境时，PLD 在 blue cube、red cube、peg insertion 上分别达到 93.3%、66.7%、100%，对应 human data 的 40.0%、33.3%、100%。

【Analysis】 长时 LIBERO-100 组合任务中，PLD 超过 self-bootstrap rollout，但仍低于每个目标任务都给一条人类示教，表明“恢复覆盖”并不等价于完整的长程任务规划。

6. 方法分析

6.1 为什么有效？

【Analysis】 PLD 同时解决了两个互相牵制的问题：residual RL 把探索限制在 base action 邻域，降低从零探索稀疏奖励的难度；probing 又把 specialist 放回 base policy 的访问分布，使 SFT 看到的是“模型会遇到什么、如何修复”，而不是与部署无关的理想轨迹。蒸馏阶段不改动数据生成目标，因此可复用不同 VLA action head。

6.2 核心创新

Policy-aligned data generation：数据分布由通才策略决定，而非只由 RL 最优性决定。
Residual takeover：把任务专家变成可插拔的纠错器，避免直接更新大规模 VLA。
RL-to-SFT bridge：用 RL 发现技能、用 SFT 扩散技能，实现轻量专家到多任务通才的迁移。

6.3 与已有方法的本质区别

【Paper】 RLPD 主要依赖 offline/online replay，WSRL 依赖 warm-start，JSRL 通过 guide policy 改变初始状态分布；PLD 在此之上保留 frozen base policy、训练 residual actor，并把 base probing 轨迹显式作为蒸馏数据。它不是直接 RL fine-tune foundation policy，也不是简单复制 base policy 的成功片段。

6.4 关键假设

【Analysis】 方法依赖以下假设：

base VLA 至少能产生合理尝试，否则 residual 的局部修正空间可能不够。
成功 / 失败 reward classifier 或环境奖励足够可靠；错误的 binary reward 会把错误恢复蒸馏回模型。
base policy 的访问分布是值得对齐的；如果部署分布变化很大，probing 可能覆盖不到新失败模式。
任务可以由 7-DoF delta pose 与 gripper action 表达，且 residual addition 在动力学上可执行。

7. 局限性

7.1 作者明确提出的局限

【Paper】 论文指出长时组合任务仍落后于目标任务人类示教；真实 peg-insertion 为增加多样性，仍需要人工随机移动孔位。YAM 任务虽然可连续运行一小时，但每个阶段的一次成功率并非 100%。

7.2 自己分析得到的局限

【Analysis】 首先，PLD 并没有消除人类成本：真实任务的初始 SFT、reward classifier 标注和机械环境随机化仍需要人工。其次，逐任务训练 residual specialist 的计算量随任务数线性增加；论文没有给出跨 embodiment 共享 residual 的成本分析。再次，action scale、probing horizon、critic 预训练方式都需要调参，换机器人或相机布局后未必可直接迁移。最后，SFT 把 recovery behavior 写回通才模型时可能产生负迁移，论文尚未提供安全约束、灾难性遗忘监控或在线回滚机制。

8. 启发与研究思考

【Analysis】 PLD 提供了一个很实用的“数据飞轮”模板：通才策略暴露失败分布，轻量 RL 专家负责修复，修复轨迹再反哺通才。后续值得研究：

用不确定性或 value disagreement 自动决定何时 residual takeover，而不是随机固定 probing horizon。
将 recovery trajectories 与失败片段配对，训练显式 failure detector / intervention policy。
在多 embodiment 场景共享 residual latent，并把 action-space adapter 与 VLA backbone 解耦。
为真实机器人加入 safety shield、碰撞约束和可回滚 checkpoint，避免错误 reward classifier 形成闭环放大。
把 PLD 与 continual learning 结合，研究数据覆盖、KL 漂移和长期遗忘之间的定量关系。

πRL 论文精读：为 Flow-based VLA 打通 Online RL

Wed, 26 Aug 2026 00:00:00 GMT

1. 论文概述

论文名称：《πRL: Online RL Fine-tuning for Flow-based Vision-Language-Action Models》

论文链接：arXiv:2510.25889 ｜ 官方代码：RLinf/RLinf

一句话总结

【Paper】 πRL 的关键不是给 VLA 外接一个通用 PPO，而是先解决 flow matching policy 的两个前置障碍：确定性 ODE 采样缺少探索，且很难直接得到 PPO 所需的 action log-likelihood。Flow-Noise 与 Flow-SDE 都把去噪转移改为有解析高斯概率的随机决策，从而让 $\pi_0$、$\pi_{0.5}$ 可以从在线交互中继续优化。

核心贡献

【Paper】 提出两条 RL-compatible flow policy：Flow-Noise 在去噪过程中学习噪声网络；Flow-SDE 将 ODE 改写为同边缘分布的 SDE，并将去噪与环境交互建模为两层 MDP。
【Paper】 在 LIBERO、ManiSkill、MetaWorld、CALVIN 上评测 $\pi_0$ 与 $\pi_{0.5}$；附录还以 GR00T 验证方法不限于 $\pi$ 系列。
【Paper】 Flow-SDE 的 hybrid ODE-SDE rollout 每个环境步仅保留一个随机去噪步骤，论文报告相对完整两层 MDP 约有 $2\times$ 加速。
【Code】 官方 RLinf 公开 flow_sde、flow_noise、OpenPI policy、PPO 配置和四个基准的示例入口。

2. 背景与相关工作

【Paper】 VLA 往往按 pre-training → SFT 训练：VLM 接收图像、语言和可选 proprioception，action expert 输出连续动作。SFT 的上限受到专家示范成本和质量约束，故近年工作尝试用 online RL 改进策略。

【Paper】 已有 VLA-RL 多针对离散 action token，或以显式 Gaussian head 表示连续最终动作。flow-based VLA 则学习条件向量场，将高斯噪声逐步变换为 action chunk；少量去噪步下，最终 action 的连续流似然不便直接计算，原始 ODE sampler 又没有随机探索。

【Analysis】 难点发生在 policy interface 而非 PPO 本身：如果不能可靠计算新旧策略对已采样 action 的概率比 $\rho$，policy gradient 就无从定义。πRL 的本质是为 flow sampler 构造一个可探索、可算 log-prob 的随机策略参数化。

3. 问题定义

【Paper】 在环境步 $t$，观测 $\mathbf{o}_t$ 包含 RGB、语言和模型所需状态，flow policy 产生长度 $H$ 的连续 action chunk：

$$ \mathbf{A}t=[a{t,0},\ldots,a_{t,H-1}]\sim\pi_\theta(\cdot\mid\mathbf{o}t), \qquad \mathcal{J}(\pi\theta)=\mathbb{E}\left[\sum_{t=0}^{T}\gamma^tR_{\mathrm{ENV}}(\mathbf{o}_t,\mathbf{A}_t)\right]. $$

【Paper】 Conditional Flow Matching 从干净动作 $\mathbf{A}_t$、噪声 $\epsilon\sim\mathcal{N}(0,I)$ 构造中间状态 $\mathbf{A}_t^\tau=\tau\mathbf{A}_t+(1-\tau)\epsilon$，令向量场预测目标速度 $\mathbf{u}=\mathbf{A}_t-\epsilon$。推理则从高斯噪声开始，迭代去噪成动作块。

| Embodied AI 要素 | πRL 中的设定 | | --------------------- | --------------------------------------------------------------------------------------- | | Observation | 图像、语言；论文按官方设定说明 $\pi_0$ 使用 proprioception，而 $\pi_{0.5}$ 不使用 state | | Action representation | 连续 action chunk；RL 把整块作为 macro-step | | Policy | 条件 flow matching vector field，经多步去噪生成动作 | | Training objective | PPO，优势由 GAE 估计 | | Environment | LIBERO、ManiSkill、MetaWorld、CALVIN；附录提供 sim-to-real 案例 |

4. 方法

4.1 Overall Architecture

【Paper】 数据流为：观测条件化 vector field 从初始噪声生成 action chunk，随机去噪转移给出 log-probability，执行 chunk 获得环境 reward，再用 PPO 更新 VLA 的可训练部分。

4.2 核心模块

Flow-Noise：可求概率的去噪链

【Paper】 Flow-Noise 在第 $k$ 个去噪步令下一状态服从高斯分布，均值保持原有 Euler 更新，协方差由噪声网络 $\sigma_{\theta'}$ 给出。该网络以当前噪声动作和观测为条件，与 velocity field 联合训练。

输入 / 输出：输入 $\mathbf{A}^{\tau}$、$\mathbf{o}$、$\mathbf{v}^{\tau}$，输出随机 $\mathbf{A}^{\tau+\delta}$ 与解析 transition log-probability。
为什么需要：整条去噪 path 的联合概率可写为初始噪声与逐步转移概率的乘积，不必估计最终动作的连续流密度。
推理行为：论文明确说明 fine-tuning 后丢弃 noise network，保留 deterministic policy。

Flow-SDE：去噪—环境两层 MDP

【Paper】 Flow-SDE 从 probability-flow ODE 出发，加入 drift correction 与扩散项以构造等价 SDE。内层 state 是 $(\mathbf{o}t,\mathbf{A}t^\tau)$：未完成去噪时 reward 为 0；最后一步执行 action chunk 后才与外层环境交互，获得 $R{\mathrm{ENV}}$ 并转移到 $\mathbf{o}{t+1}$。

【Paper】 完整两层 MDP 的长度会变为“环境步数 × 去噪步数”。hybrid rollout 每个环境步随机选择一个 SDE transition 做探索，其他去噪步骤照确定性 ODE 执行，因而缩短有效 horizon。

Critic placement

【Paper】 $\pi_{0.5}$ 将 critic 接在融合多模态输入的 VLM 输出后得到 $V_{\mathrm{vlm}}(\mathbf{o}_t)$；$\pi_0$ 的 action expert 同时依赖 noisy action 和 state，论文以去噪时间上的 value 均值近似 observation-level value。共享 actor-critic backbone 的动机是降低额外显存。

4.3 关键公式

Conditional Flow Matching

$$ \mathcal{L}{\mathrm{CFM}}= \mathbb{E}\left[\left|\mathbf{v}\theta(\mathbf{A}_t^\tau,\mathbf{o}_t)- \mathbf{u}(\mathbf{A}_t^\tau\mid\mathbf{A}_t)\right|_2^2\right]. $$

【Paper】 $\mathbf{v}_\theta$ 是预测的条件向量场，$\mathbf{u}$ 是目标速度，$\tau\in[0,1]$ 是 flow time；该 loss 负责从示范学习去噪，并不等于 RL 的 PPO objective。

Flow-Noise transition

$$ p(\mathbf{A}^{\tau+\delta}\mid\mathbf{A}^{\tau})=\mathcal{N}(\mu_\tau,\Sigma_\tau),\quad \mu_\tau=\mathbf{A}^{\tau}+\mathbf{v}^{\tau}\delta,\quad \Sigma_\tau=\operatorname{diag}(\sigma_{\theta'}^2). $$

【Paper】 $\delta$ 是去噪步长，$\sigma_{\theta'}$ 是可学习的标准差；因此整条 path 的 log-likelihood 是初始噪声概率与 $K$ 个 Gaussian transition 概率之和。

Flow-SDE transition

$$ d\mathbf{A}^\tau=\left[\mathbf{v}^\tau+ \frac{\sigma_\tau^2}{2\tau}\left(\mathbf{A}^\tau+(1-\tau)\mathbf{v}^\tau\right)\right]d\tau +\sigma_\tau d\mathbf{w}\tau, \qquad \sigma\tau=a\sqrt{\frac{\tau}{1-\tau}}. $$

【Paper】 $d\mathbf{w}_\tau$ 是 Wiener noise，$a$ 控制探索强度；离散化后依旧有 Gaussian mean / variance，因此可直接得到 PPO 的逐步 log-probability。

PPO 与 chunk return

$$ \hat A_t=\sum_{k=0}^{T-t}(\gamma\lambda)^k \left[R_{t+k}+\gamma V(s_{t+k+1})-V(s_{t+k})\right], $$

$$ \mathcal{J}_{\mathrm{PPO}}=\mathbb{E}\left[ \min\left(\rho_t\hat A_t,\operatorname{clip}(\rho_t,1-\varepsilon,1+\varepsilon)\hat A_t\right) \right]. $$

【Paper】 $R_t=\sum_{j=0}^{H-1}r_{t,j}$ 是 action chunk 内奖励的和；$\gamma$ 是折扣、$\lambda$ 是 GAE 的 bias-variance 系数、$\varepsilon$ 限制策略更新。Flow-Noise 的 $\rho_t$ 可来自整条去噪链，Flow-SDE 则来自内层随机转移。

4.4 Training

【Paper】 训练从 SFT checkpoint 开始：SFT 阶段按官方设置 fine-tune 全部 3.3B 参数；RL 阶段冻结 VLM，只更新 300M action expert，以降低显存开销。实验使用 PPO、GAE、chunk-level reward 与 8 张 NVIDIA H100 80GB。

4.5 Inference

【Paper】 评测时不保留探索噪声：Flow-Noise 丢弃 noise network；Flow-SDE 使用 deterministic ODE sampling。每次从噪声生成 $H$ 个连续动作并执行。

4.6 代码实现对照

【Code】 论文链接指向的官方仓库是 RLinf；以下对照基于当前主分支，而不是从论文图中反推实现。

| 论文概念 | 官方代码位置 | 实际实现 | | ------------------- | ---------------------------------------------------------------------- | ----------------------------------------------------------------------------------------------------------------- | | policy 配置 | rlinf/models/embodiment/openpi/openpi_action_model.py 的 OpenPi0Config | noise_method 支持 flow_ode、flow_sde、flow_noise，并配置 noise_level、noise_logvar_range、action_chunk、num_steps | | Flow-Noise 噪声网络 | 同文件 ExploreNoiseNet 初始化 | flow_noise 时创建隐藏层 [128, 64] 的 noise head，范围由 noise_logvar_range 限制 | | 均值 / 方差 | sample_mean_var_val | flow_sde 计算 SDE mean 和 $\sqrt{\delta}\sigma$；flow_noise 使用 noise head；flow_ode 标准差为零 | | likelihood / critic | get_log_prob_value | 对保存的去噪 chain 逐步算 Gaussian log-prob；$\pi_{0.5}$ 可由 VLM prefix output 预测 value | | 训练配置 | examples/embodiment/config/libero_spatial_ppo_openpi_pi05.yaml | PPO 使用 GAE、chunk-level reward / logprob；示例设 num_action_chunks: 5、num_steps: 3、policy LR $5\times10^{-6}$ |

【Code】 示例将 actor、environment、rollout colocate；这与论文所述同 GPU 串行 shared allocation 一致。仓库已是通用 RL framework，因此不应把其中所有模型与算法都归因于 πRL。

5. 实验

5.1 Experimental Setup

【Paper】 LIBERO 关注组合变化与长程操作；ManiSkill 包含 4,352 个 pick-and-place 任务组合；MetaWorld MT50 覆盖 50 个操作任务；CALVIN 测试持久场景中连续五个子任务。主比较从 few-shot SFT checkpoint 起步后做 RL，测量的是 online feedback 对目标分布中 SFT policy 的提升，而不是从零训练的样本效率。

5.2 Main Results

【Paper】 Table 1 的 ID 平均成功率（%）如下。Flow-SDE 和 Flow-Noise 的相对排名随模型与基准而变。

| Model | SFT Avg. | Flow-SDE Avg. | Flow-Noise Avg. | 最佳平均增益 | | ----------- | -------: | ------------: | --------------: | -----------: | | $\pi_0$ | 51.1 | 78.7 | 80.3 | +29.2 | | $\pi_{0.5}$ | 55.6 | 86.6 | 84.7 | +31.0 |

【Paper】 $\pi_{0.5}$ 的 Flow-SDE 在 ManiSkill、MetaWorld、CALVIN 分别为 90.9%、70.7%、87.0%，Flow-Noise 在 LIBERO 达 98.3%。$\pi_0$ 的 Flow-Noise 在 LIBERO、MetaWorld 达 97.6%、85.8%，Flow-SDE 在 CALVIN 为 61.7%。

【Analysis】 两条路线接近但不完全同胜，说明不只是“有没有噪声”决定效果；critic 误差、reward、去噪步数和 chunk 长度都会改变有效的 PPO 信号。论文在消融中优先使用计算更高效的 Flow-SDE，是工程取舍而非 Flow-Noise 无效。

5.3 Ablation Study

【Paper】 Flow-SDE 消融有三条直接结论：

固定与可学习噪声都可收敛；受控比较中固定 noise level 为 0.5，learnable noise bounds 为 0.08 和 0.16。
小噪声减少探索扰动，但 $a=0.2$ 有更高 clipped fraction 和训练不稳定；必须平衡 exploration 与 rollout quality。
$K=1$ 有明显 ODE-to-SDE 离散化误差；更大 $K$ 改善 rollout、但增加训练复杂度。更大 action chunk 虽可能提高 SFT 表现，却降低交互频率和 reward credit 的精度。

【Paper】 在 LIBERO-Spatial，RL eval 成功率在 noise $a=0.2/0.5/0.8$ 时为 73.1/94.5/98.1；在 $K=1/2/4/8$ 时为 88.5/97.0/94.5/86.7。这是该基准和预算下的测量值，不应视为通用最优超参数。

5.4 Generalization

【Paper】 OOD 被区分为环境 / 视觉变化（CALVIN、ManiSkill）和任务变化（MetaWorld ML45）。前两类中 ID 增益可迁移到 OOD；MetaWorld 未见任务的曲线波动，未显示显著稳定的提升。

【Analysis】 这更支持 action-level refinement：PPO 能利用 reward 改进已知任务族中的接触、抓取和轨迹细节，但 sparse reward 未必足以让策略组合出新的任务目标。论文没有证明“RL 自动获得跨任务泛化”。

6. 方法分析

6.1 为什么有效？

【Analysis】 πRL 将难以处理的最终 flow density 拆为一组 Gaussian transition。PPO 比较的是被实际采样的局部随机转移，因而同时获得 likelihood 与探索；action chunk 则压缩了外层环境决策的长度。

6.2 核心创新

【Paper】 创新是 flow-based VLA 的 RL-compatible formulation，而不是新的 VLM：Flow-Noise 给出整条随机去噪链的单层 MDP，Flow-SDE 显式表达去噪—环境两层决策，hybrid sampling 则使它能在在线训练中承担较短的有效 horizon。

6.3 与已有方法的本质区别

【Paper】 离散 action-token VLA 可用 softmax likelihood；普通连续 policy 常对最终动作建 Gaussian；πRL 的 policy action 是 flow 的中间去噪状态，保留多步生成结构后再为它定义 Gaussian transition。Flow-Noise 与 Flow-SDE 也不是参数化小改动：前者优化整条 stochastic chain，后者强调内层去噪 MDP 与 hybrid acceleration。

6.4 关键假设

【Analysis】 方法要求环境 reward 足以区分动作质量，SFT policy 已能探索到有用区域，ODE-to-SDE 在所选 $K$ 与 noise 下稳定，且 chunk-level reward 不会掩盖关键的时间步 credit。任一条件不满足，PPO 都可能成为高方差甚至退化的更新。

7. 局限性

7.1 作者明确提出的局限

【Paper】 作者指出 online RL 的 sample efficiency 仍低，现阶段框架依赖 sim-to-real deployment；未来希望提高效率以支持真实世界 RL。

7.2 自己分析得到的局限

【Analysis】 论文主要在可并行模拟器收集 rollout，实机仍受环境交互量、reward engineering 和安全约束限制。Flow-SDE 的 noise、去噪步数与 action chunk 并非独立旋钮；论文消融显示它们会共同改变 clip fraction、rollout success 与 critic 难度。MetaWorld task-level OOD 也表明 πRL 应被视作在线 skill refinement，而不是已被证实的跨任务泛化方法。

8. 启发与研究思考

【Analysis】 对生成式 robot policy，首先需要回答的可能不是“PPO 还是 GRPO”，而是“什么随机变量才是 policy action”。πRL 将去噪状态纳入 action space，提供了一条通用路线：先将生成轨迹改写成可计算、可探索的决策过程，再做 policy optimization。

【Analysis】 后续可探索 learned / process reward 以缓解 sparse-reward exploration，将 world model rollout 与 hybrid denoising 结合以减少实机采样，并将 uncertainty-aware critic、adaptive noise schedule 与安全约束共同纳入 flow policy 训练。

OmniVTA 论文精读：视觉-触觉世界模型驱动的接触丰富操作

Wed, 26 Aug 2026 00:00:00 GMT

1. 论文概述

论文名称：《OmniVTA: Visuo-Tactile World Modeling for Contact-Rich Robotic Manipulation》

作者：Yuhang Zheng、Songen Gu、Yupeng Zheng、Weize Li、Yujie Zang、Shuai Tian、Xiang Li、Ce Hao、Chen Gao、Si Liu、Haoran Li、Yilun Chen、Shuicheng Yan、Wenchao Ding

机构：National University of Singapore、CASIA、Fudan University、TARS Robotics、Tsinghua University、Zhongguancun Academy、Beihang University

论文 / 代码 / 项目：arXiv · GitHub · Project Page · OmniViTac Dataset

一句话总结

【Paper】 OmniVTA 把接触丰富操作拆成“慢速预测规划 + 快速触觉反射”两条环路：先由双流 Visuo-Tactile World Model 预测未来短时接触，再由 Adaptive Fusion Policy 生成动作块，最后用 60Hz Reflexive Latent Tactile Controller 根据预测与观测的差异做单步修正。

核心贡献

【Paper】

发布 OmniViTac，一个包含 21,879 条视觉-触觉-动作对齐轨迹、86 个任务、126 个对象的真实世界数据集，并按接触物理归纳为 Wiping、Peeling、Cutting、Grasping、Assembly、Adjustment 六类模式。
提出 TactileVAE：以 3D marker displacement 为输入，用时空 3D 卷积压缩触觉信号，再用 implicit neural representation 连续重建形变场。
提出 VTWM：用两个并行的时空 diffusion transformer 建模视觉和触觉未来，并通过共享条件、动态权重和幅值权重强调接触区域。
提出 AFP 与 RLTC：AFP 用 Latent Tactile Differential 和 gating 自适应调节视觉/触觉比重；RLTC 以 60Hz 输出高频残差动作，闭环恢复接触。
在真实机器人六类任务上，OmniVTA 在对象多样性、未见高度、未见工具和突发扰动下都优于比较方法。

2. 背景与相关工作

【Paper】 擦拭、剥皮、切割、插接等任务的困难不只在几何对齐，还在于摩擦、滑移、法向力和接触状态转换。视觉容易被遮挡，也难以直接观测接触力，因此仅靠 RGB 的 visuomotor policy 很难判断“是否已经接触”“接触是否过强”或“是否发生滑移”。

论文认为现有视觉-触觉方法有两个瓶颈：

数据不足：公开数据集通常任务少、轨迹少，且完整对齐的高频触觉-动作数据稀缺。
触觉被动化：多数方法把触觉当作 policy 的附加 observation，而不是显式预测接触动力学；action chunk 又往往开环执行，无法快速处理滑移、错位和外部扰动。

【Analysis】 OmniVTA 的切入点与普通“视觉特征 + 触觉特征拼接”不同：它把触觉变成一个可预测的内部状态，并把预测误差转化为控制信号。这更接近人类的 forward model 加 reflex，而不是单纯扩大 policy 的输入维度。

3. 问题定义

【Paper】 给定当前与历史视觉观测、触觉观测、机器人本体状态以及历史动作，学习一个策略，输出未来动作块并在接触丰富任务中保持稳定。

| 项目 | 定义 | | ------------- | -------------------------------------------------------------------------------- | | Observation | RGB-D / RGB 视觉、3D marker displacement 触觉、末端位姿与夹爪状态 | | 视觉频率 | 训练设置为 15Hz；数据采集相机为约 30Hz | | 触觉频率 | 60Hz（Xense 主传感器） | | Action | 末端相对动作与夹爪状态；world model 使用当前相机平面上的 2D 投影动作作为历史条件 | | Slow output | 15FPS 的 6-step action chunk | | Fast output | 60Hz 单步 residual action | | Robot | UFACTORY xArm7、平行两指夹爪、指尖触觉传感器 | | Task patterns | Wiping、Peeling、Cutting、Grasping、Assembly、Adjustment |

【Paper】 每个 action chunk 含未来 6 个 coarse actions，执行时插值到 60Hz；预测触觉 latent 的时间压缩为 15Hz，再通过重复插值与 60Hz 控制步对齐。

4. 方法

4.1 Overall Architecture

【Paper】 Slow Policy 接收低频视觉、高频触觉和本体状态，由 VTWM 预测接触演化、AFP 生成长时域动作块；Fast Policy 即 RLTC，每 60Hz 比较预测和实际触觉并输出修正量，最终动作是两者的加权和。

【Analysis】 这是一种频率分工：世界模型负责“接下来可能发生什么”，RLTC 负责“现在偏离了多少”。因此高成本的 diffusion rollout 不需要运行在 60Hz，而触觉反馈也不必承担长时域规划。

4.2 核心模块

TactileVAE：把 marker 位移变成连续触觉 latent

【Paper】 光学触觉传感器原始图像分辨率高、推理慢。OmniVTA 使用每个 marker 的三维位移 $(x,y,z)$，将单帧表示为 $H\times W\times3$ 张量。Encoder 由 causal 3D convolution、$M$ 个下采样模块和 projection-out 组成，输出 $H/s\times W/s\times C$ 的时空 latent，其中 $s=2^M$。

Decoder 不重建像素，而是用 implicit neural representation 表示连续形变场：给定空间坐标和 latent 局部特征，MLP 预测该点的三维位移。这样既保留局部接触结构，也能在任意查询坐标上连续重建。

Visuo-Tactile World Model：预测短时接触动力学

【Paper】 VTWM 有两个并行分支：视觉分支用 SD-VAE 编码图像，触觉分支用预训练 TactileVAE 编码 marker displacement；两者分别送入 spatial-temporal diffusion transformer，联合生成未来视觉和触觉 latent。

Multi-modal Observation Conditioner：分别编码视觉、触觉与历史动作，再映射到共享条件空间，作为两个分支的共同先验。
Action representation：每个历史末端位置从 robot base frame 变换到当前 camera frame，再投影到图像平面，得到 2D action condition。论文的消融显示它在未见位置上优于 3D absolute / relative action。
Dynamic-aware loss：利用相邻触觉帧差分生成 $w_{dyn}$，强调变化快的空间位置；利用触觉幅值生成 $w_{amp}$，强调强接触区域。

Adaptive Visuo-Tactile Fusion Policy：让触觉权重随接触状态变化

【Paper】 AFP 包括 LTD Encoder、Adaptive Fusion 和 Visuo-Tactile Diffusion Policy。

LTD 对当前触觉 latent $f_t^c$ 和预测触觉 latent $f_t^p$ 做拼接，并显式加入差分：

$$ f_t=\operatorname{concat}(f_t^c,f_t^p,f_t^p-f_t^c) $$

差分项回答的是“未来接触是否正在偏离当前状态”，比简单 concat 更直接地表达潜在接触事件。

接触概率头从 $f_t$ 预测未来窗口内的 contact probability，并用触觉形变阈值自动生成 BCE 标签。Gating network 根据 contact logit 与 $f_t$ 产生逐通道权重 $W_t,W_v$，满足 $W_t+W_v=1$，再与视觉特征 $f_v$、投影后的触觉特征 $\tilde f_t$ 融合：

$$ f_{vt}=\operatorname{concat}(W_v\odot f_v, W_t\odot\tilde f_t) $$

视觉使用当前与历史帧即可；论文发现额外生成未来视觉对成功率提升不明显，却把 slow policy 推理时间从 230ms 增加到 480ms。

Reflexive Latent Tactile Controller：60Hz 残差闭环

【Paper】 RLTC 输入单帧实测触觉、与当前控制步对齐的预测触觉 latent、历史 delta action 和 delta gripper state，经 LTD 与三层 MLP 输出单步 refined action $a_r$。由于 TactileVAE 在时间维压缩 4 倍，当前帧重复 4 次送入 encoder；15Hz 预测 latent 也重复 4 次，对齐 60Hz 反馈。

训练数据由两类片段组成：触觉落在专家均值 ± 标准差之外的 abnormal recovery，以及处于有效分布内的 normal-contact。异常片段的监督是专家恢复动作与 slow action 的 residual，正常片段的目标 residual 为零。

4.3 关键公式

TactileVAE

$$ \mathbf d(\mathbf x)=\mathcal D_\theta\bigl(\gamma(\mathbf x),\Phi(\mathbf z_t,\mathbf x)\bigr) $$

其中 $\mathbf x\in\mathbb R^2$ 为空间坐标，$\gamma$ 是 positional encoding，$\Phi$ 从 latent feature map 插值局部特征，$\mathcal D_\theta$ 输出三维形变。训练目标为：

$$ \mathcal L_{TacVAE}=|\mathbf d(\mathbf x)-\hat{\mathbf d}(\mathbf x)|2^2+\lambda{KL}\mathcal L_{KL} $$

VTWM diffusion objective

$$ \mathcal L_{diff}=\mathbb E\left[\sum_i(1-m_i)\odot|\epsilon_i-\epsilon_\theta(\mathbf z_o,t)_i|_2^2\right] $$

$\mathbf z_o$ 是历史视觉-触觉 observation latent，$m_i$ 标记已知的条件帧；只有未来帧的噪声预测参与损失。

动态和幅值加权后：

$$ \mathcal L_{VTWM}=\mathcal L_{diff}+\lambda_1\mathcal L_{dyn}+\lambda_2\mathcal L_{amp} $$

其中 $w_{dyn}$ 来自 $|X_{i+1}-X_i|2$，$w{amp}$ 来自 $|X_i|_2$，二者 resize 到 tactile latent 的空间分辨率。

AFP 与 RLTC

动作 diffusion 从高斯噪声 $A_{c,T}$ 反向去噪到 action chunk $A_{c,0}$：

$$ A_{c,t-1}=\alpha_tA_{c,t}-\gamma_t\epsilon_\theta(A_{c,t},t,f_c)+\sigma_t\mathcal N(0,I) $$

条件 $f_c=\operatorname{concat}(f_{vt},s)$ 包含融合特征与 proprioception。AFP 总损失为 $\mathcal L_{act}+\lambda_{ct}\mathcal L_{bce}$；RLTC 使用：

$$ \mathcal L_{RLTC}=|a_r-\hat a_r|_2^2 $$

4.4 Training

【Paper】 训练分四阶段：TactileVAE → VTWM → AFP → RLTC。TactileVAE 使用约 120 万触觉样本、8 张 A100 训练 50 epochs，$\lambda_{KL}=10^{-6}$；VTWM 使用 AdamW、学习率 $10^{-4}$、100k steps、$\lambda_{dyn}=\lambda_{amp}=1$；AFP 训练 250k steps，$\lambda_{ct}=0.2$；RLTC 使用正常接触与异常恢复片段监督。

训练输入为 2 帧视觉、同一时间窗口内 8 帧触觉、2 个 proprioception observation。Slow policy 以 15Hz 生成 6-step chunk，执行时插值到 60Hz。主要模块参数量为 TactileVAE 1.96M、VTWM 271.57M、AFP 326.89M、RLTC 0.10M，总计 600.52M。

4.5 Inference

【Paper】 推理时，VTWM 根据历史视觉、触觉和动作 rollout 未来触觉（以及训练时联合建模的视觉 latent）；AFP 只使用当前/历史视觉与预测触觉生成 6-step action chunk；RLTC 在每个 60Hz 控制周期读取实测触觉，与对应预测 latent 比较并输出修正量。最终执行动作可写成：

$$ a_t=a_t^{slow}+\alpha a_t^{fast} $$

其中 $\alpha$ 是预定义的 fast-policy 权重。

4.6 代码实现对照

【Code】 论文项目页列出的官方仓库是 MrSecant/OmniVTA，数据集仓库为 Hugging Face tars-robotics/OmniVitac，硬件仓库为 MrSecant/OmniVTA_Hardware。截至本文检索时，GitHub 代码仓库公开内容只有 LICENSE，没有 model definition、DataLoader、训练脚本、配置、checkpoint 或 inference entrypoint；硬件仓库也无法在无凭据环境中克隆。因此本文的模块接口、损失和超参数均以论文 v3 的 LaTeX 源码为准，不能把它们误写成已验证的代码行为。

【Analysis】 这也意味着目前无法从代码确认例如 diffusion scheduler、网络层数、数据文件格式和动作归一化方式。若后续仓库公开，应优先补充这些“论文—实现”差异。

5. 实验

5.1 Experimental Setup

【Paper】 OmniViTac 由 xArm7 机器人示教与 TacUMI 手持采集设备共同构建，记录 RGB-D、腕部/第三视角图像、指尖触觉、末端轨迹和夹爪状态。数据采集保持各传感器原生频率，离线按时间戳对齐，时间误差低于 10ms。

六类模式分别对应不同的接触物理：Assembly 关注紧公差与多向力，Cutting 依赖法向力和力骤降，Adjustment 依赖扭转/剪切与滑移，Peeling 和 Wiping 需要持续维持法向压力与切向摩擦，Grasping 则覆盖脆弱物体、透明物体和铰接机构。

真实实验使用 xArm7、平行夹爪与 Xense 触觉传感器；视觉 15Hz、触觉 60Hz。对象多样性评估每个对象 10 次；未见高度每个高度 5 次；未见工具和扰动实验每个设置 10 次。指标是成功率，同时要求任务完成且触觉传感器不损坏。

5.2 Main Results

【Paper】 在对象多样性（O）、几何泛化（G）和扰动鲁棒性（P）三种设置中，OmniVTA 的主要成功率如下：

| 任务 | O | G | P | | ---------- | ---: | ---: | ---: | | Wipe | 0.80 | 0.58 | 0.60 | | Peel | 0.55 | 0.48 | 0.63 | | Cut | 0.85 | 0.83 | 0.60 | | Assembly | 0.60 | 0.50 | 0.40 | | Grasp | 0.90 | — | — | | Adjustment | 0.65 | 0.65 | — |

作为对照，OmniVTA w/o RLTC 在 Wipe 的 O/G/P 为 0.66/0.40/0.25，在 Cut 为 0.50/0.50/0.20；RDP 在 Wipe 为 0.50/0.38/0.42，在 Cut 为 0.65/0.50/0.43。【Analysis】 这些数字最清楚地说明 RLTC 的价值集中在接触被打断时：它不只是提高平均成功率，而是显著提高重新建立接触的能力。

论文还报告，OmniVTA 接触阶段平均切向形变为 0.35、最大 0.72，而 RDP 平均 0.56、最大 1.1，更容易出现过强接触并损坏传感器。

5.3 Ablation Study

【Paper】 关键消融结果可以归纳为：

预测触觉长度从 0、2、4 增加到 6 个 latent steps 时，Wipe/Peel 平均成功率从 0.09、0.33、0.38 增至 0.40。
用 contact state 替代完整预测触觉，平均成功率只有 0.37；说明“未来触觉的形状与强度”比一个二值接触标签更有用。
LTD 将平均成功率从 0.47 提升到 0.53；在此基础上加入 gating 后达到 0.53，Wipe 从 0.57 提升到 0.66。
加入生成视觉特征后平均为 0.54，提升很小，但 slow policy 推理从 230ms 变成 480ms。
VTWM 在未见位置上用 2D action condition 的 $L_2=0.042$、Cosine=0.91，优于 3D relative（0.056/0.88）和 3D absolute（0.075/0.72）。在已见位置上，dynamic weighting 与 joint generation 将 $L_2$ 从 0.041 降到 0.035、Cosine 从 0.90 升到 0.93。

【Analysis】 消融给出一条因果链：更好的触觉 latent → 更准确的未来触觉 → 更合理的 gating → 更稳定的 action chunk；RLTC 则负责把这一条“预测链”在真实执行时拉回传感器观测。

5.4 Generalization

【Paper】 未见高度实验把 Wipe、Peel、Assembly、Adjustment 的对象放到训练中没有出现的高度；Cut 使用未见过的小刀。OmniVTA 在这些设置下保持较高成功率，尤其 Cut 的几何泛化达到 0.83。扰动实验中突然上下移动对象、破坏当前接触，OmniVTA 仍能通过 RLTC 快速恢复。

【Analysis】 未见工具仍有效说明策略更依赖触觉反馈和接触动力学，而非记忆训练轨迹的绝对几何。需要注意，这种泛化仍发生在单臂、平行夹爪和六类预定义模式内，不能直接外推到灵巧手或双臂场景。

6. 方法分析

6.1 为什么有效？

【Analysis】 接触丰富操作同时包含两个时间尺度：擦拭和插接的整体运动需要长时域一致性，滑移和力骤变却要求毫秒级反应。单一 policy 很难同时覆盖这两个频率。OmniVTA 用 VTWM 提供 feedforward anticipation，用 RLTC 提供 feedback correction；AFP 再根据预测接触概率决定何时相信触觉。

更关键的是，dynamic-aware loss 把训练容量集中在“正在变化”或“接触很强”的区域，避免世界模型被大量静态、无接触帧主导。这与触觉的空间局部性和 contact-driven dynamics 相匹配。

6.2 核心创新

数据层：不是只增加轨迹数量，而是用物理接触模式组织数据，让不同任务共享可迁移的接触规律。
表示层：implicit decoder 把离散 marker 变成连续形变场；LTD 把当前—未来差异显式编码。
预测层：双流 diffusion world model 联合建模视觉与触觉，而不是把触觉当静态附加通道。
控制层：slow diffusion planner 与 60Hz tactile reflex controller 组成分层闭环。

6.3 与已有方法的本质区别

【Paper】 DP、DP+tactile、KineDex、ForceMimic 和 RDP 主要从视觉/触觉直接预测动作，或把力作为辅助输出。OmniVTA 先预测接触未来，再用预测结果调节模态权重与动作，且在执行阶段持续比较预测和观测。

【Analysis】 因此它的基本对象不是“observation → action”，而是“observation → latent contact dynamics → action + residual correction”。这使得触觉同时承担状态估计、未来想象和反馈控制三种职责。

6.4 关键假设

触觉 marker displacement 足以表达任务所需的接触信息，且可以被低维 latent 保留。
未来短时触觉可以由历史视觉、触觉和动作预测；不必在推理时生成未来视觉。
专家轨迹的触觉均值与标准差能够定义“有效接触分布”，异常状态可用它检测。
slow action 与 fast residual 的加权和仍在机器人安全控制范围内。
共享平行夹爪和相近传感器配置能减小 TacUMI 到 xArm7 的 embodiment gap。

7. 局限性

7.1 作者明确提出的局限

【Paper】 论文结尾明确指出 OmniViTac 目前面向单臂、夹爪式触觉操作，不包含双臂或灵巧手；未来工作包括扩展更大世界模型、双臂/灵巧手以及跨 embodiment 的视觉-触觉表示迁移。

7.2 自己分析得到的局限

【Analysis】

计算开销大：VTWM 与 AFP 合计约 598M 参数；虽然 fast controller 只有 0.10M，但 slow policy 230ms 的延迟仍限制了更高频的重规划。
传感器依赖明显：训练与真实评测主要使用 Xense，跨传感器结果主要出现在 TactileVAE 表征实验，完整 policy 的跨传感器迁移尚未证明。
异常定义是分布式的：用均值 ± 标准差检测异常依赖专家数据覆盖；遇到未见材料、磨损传感器或长期漂移时，阈值可能失效。
世界模型 horizon 较短：预测重点是 24 个解码触觉帧，长时域任务仍依赖 action chunk 和连续重规划，尚未展示长时间闭环误差如何累积。
代码可复现性暂时不足：截至本文检索时官方代码仓库只有 LICENSE，训练脚本、配置、模型权重和数据处理实现尚未公开，读者无法端到端复现实验。

8. 启发与研究思考

【Analysis】 OmniVTA 给 VLA / embodied policy 的启发不只限于加入触觉：

把难观测的物理量变成可预测 latent，比把原始传感器直接拼到 policy 更容易形成可解释的控制接口。
预测误差本身就是控制信号。LTD 使用 $f_t^p-f_t^c$，RLTC 使用预测与实测触觉偏差，这是一种通用的 model-based residual control 范式。
多模态融合不应固定权重。接触前视觉负责全局定位，接触中触觉负责局部力学；gating 把这种阶段性先验变成了可学习权重。
数据集的 taxonomy 会影响模型设计。如果只按语义任务划分，Wipe 与 Peel 看似不同；按剪切/法向力等物理模式组织后，它们可以共享接触动力学。
值得继续追问的方向：能否把 60Hz RLTC 扩展为安全约束控制器？能否让世界模型同时预测力、滑移和不确定性？能否用 OmniViTac 的跨传感器数据训练 sensor-invariant tactile token？

OmniVLA-RL 论文精读：空间理解与在线强化学习统一的 VLA

Wed, 26 Aug 2026 00:00:00 GMT

1. 论文概述

【Paper】《OmniVLA-RL: A Vision-Language-Action Model with Spatial Understanding and Online RL》针对 VLA 的两个瓶颈：VLM 的 3D 空间精度不足，以及把连续动作接入在线 RL 时训练不稳定。作者提出两个相互配套的组件：

OmniVLA：基于 Mixture-of-Transformers（MoT）的 Reasoning、Spatial、Action 三专家架构。三者共享 Transformer 层，允许语言、视觉语义、3D 几何和动作表征在大模型内部双向交互。
Flow-GSPO：把原本确定性的 Flow Matching ODE 改写成带噪声的 SDE，再用 Group Segmented Policy Optimization（GSPO）按完整 action block 计算似然比和优势，避免 token 级更新的偏差与崩溃。

【Paper】 在 LIBERO 上报告平均 97.6% 成功率，在 LIBERO-Plus 上 Flow-GSPO 达到 80.3%，高于 PPO 的 78.7% 和 GRPO 的 65.7%。这些结果来自论文表格与曲线；论文没有提供公开代码仓库链接。

论文链接：arXiv:2604.17706

一句话总结

【Analysis】 OmniVLA-RL 的关键取舍是：先让空间表征进入 VLM 的核心层，再把一个 action chunk 看作 RL 的最小决策单元；前者解决“看得不准”，后者解决“学得不稳”。

核心贡献

【Paper】

用 MoT 统一 Reasoning Expert、Spatial Expert 和 Action Expert，突破仅在视觉编码器（early fusion）或动作头（late fusion）注入空间信息的做法。
提出 Block-wise Causal Attention：空间与语义 token 构成彼此全可见的 prefix，action suffix 只能访问 prefix 和过去的 action block。
提出 Flow-GSPO：通过 Fokker–Planck 将 Flow Matching 的 ODE 变成 SDE，并以 action-block 级 GSPO 做稳定探索。
在 LIBERO 与 LIBERO-Plus 上验证架构和在线 RL 的收益。

2. 背景与相关工作

【Paper】 传统 VLA 通常以预训练 VLM 为骨干，再接一个轻量 Action Head。语言和场景语义很强，但从单目或多视角 RGB 恢复物体位置、尺寸、朝向等 3D 信息并不可靠；抓取、避障和插入任务却恰恰依赖这些细节。

空间信息的注入大致分为两类：Evo-0、SpatialVLA 等在 VLM 之前融合空间特征（early fusion）；FALCON 等在 VLM 之后与 action token 交叉注意（late fusion）。【Analysis】 两者都把核心大模型当成黑盒，导致语言、语义视觉和几何特征无法在同一组 Transformer 层中充分对齐。

另一方面，PPO 需要额外的 value model，GRPO 虽然省去 value model，却按 token 计算重要性比。对连续机器人轨迹而言，一个 token 的高概率并不代表整段 action chunk 合理，单 token 更新还可能破坏动作的时间连续性。Flow Matching 生成动作时又通常沿确定性 ODE 去噪，缺少在线 RL 所需的随机探索。

3. 问题定义

【Paper】 机器人任务被建模为 MDP：

$$ M=(\mathcal S,\mathcal A,\mathcal P,\mathcal R,\rho_0) $$

Observation：多视角 RGB 图像 $I_t$、语言指令 $L$ 与本体状态 $s_{\mathrm{prop}}$。
Action：长度为 $H$ 的连续 action block $A_t=[a_{t,0},\ldots,a_{t,H-1}]$。
Policy：$a_t\sim\pi_\theta(\cdot\mid s_t)$，其中 $s_t$ 包含视觉、语言和本体信息。
Embodiment / Dataset：实验在 LIBERO 与 LIBERO-Plus 仿真基准上进行；动作预训练使用 DROID，空间预训练使用大规模 3D 数据集。

论文给出的在线 RL 配置是 $H=16$、每个 action block 使用 $K=10$ 个去噪步，组大小 $G=8$。论文未明确说明真实机器人部署结果。

4. 方法

4.1 Overall Architecture

【Paper】 Reasoning Expert 用 SigLIP 和预训练 VLM 编码多视角图像、语言；Spatial Expert 用 VGGT 提取细粒度 3D 特征；Action Expert 将融合后的表示映射为 action trajectory。三者共享 MoT Transformer，并由 Block-wise Causal Attention 控制信息可见性。

数据流可以概括为：多视角 RGB + 指令 → 语义/空间 token 融合 → 条件 Flow Matching → 长度为 $H$ 的动作块。

4.2 核心模块

Reasoning Expert

【Paper】 输入是多视角观测 $\mathcal O={O_i}{i=1}^M$ 和语言 token $z{lang}$。SigLIP 产生语义视觉 token $z_{sem}\in\mathbb R^{n\times d}$，再与语言 token 一起送入 decoder-only Transformer，建模 $p(z_{lang}\mid z_{sem})$。输出是可供空间和动作分支使用的全局语义上下文。

Spatial Expert

【Paper】 VGGT 从多视角图像提取空间特征 $z_{spatial}$，并在共享 Transformer 内与语义 token 做 attention。训练时在最终 hidden state $h_i\in\mathbb R^{C\times d}$ 上接轻量 Transformer Spatial Decoder，重建 point cloud、camera 参数和 surface normal。这个 auxiliary head 只负责几何监督，推理时不参与动作生成。

Action Expert

【Paper】 动作序列先经线性 projector 映射到 Transformer latent space，再由 Conditional Flow Matching（CFM）建模：

$$ a_t\sim p(a\mid z_{spatial},z_{sem},z_{lang}) $$

输出是可执行的连续 action chunk，而不是相互独立的单步动作。【Analysis】 action chunking 让模型直接学习一段轨迹的内部相关性，也让 RL 的信用分配单位与控制语义更一致。

Block-wise Causal Attention

【Paper】 Spatial 与 Reasoning token 组成 omni-visible prefix，彼此完全可见；action token 构成 causal suffix，每个 action block 可以看完整 prefix 和自己之前的 action token，但不能看未来 action token。prefix 被禁止访问后续 latent noise，避免 Flow Matching 的随机噪声污染场景理解。

4.3 关键公式

从 Flow Matching ODE 到随机 SDE

【Paper】 原始 Flow Matching 沿速度场 $v_\theta$ 积分：

$$ \frac{\mathrm d A_t^\tau}{\mathrm d\tau}=v_\theta(A_t^\tau,s_t) $$

为引入探索，作者构造 SDE：

$$ \mathrm dA_t^\tau=\left[v_\theta+\frac{\sigma_\tau^2}{2}\left(A_t^\tau+(1-\tau)v_\theta\right)\right]\mathrm d\tau+\sigma_\tau\mathrm dw_\tau $$

$\tau$ 是去噪时间，$\sigma_\tau$ 是噪声日程，$w_\tau$ 是 Wiener 过程。Euler–Maruyama 离散化后：

$$ A_t^{\tau+\delta}=A_t^\tau+\left[v_\theta+\frac{\sigma_\tau^2}{2}(A_t^\tau+(1-\tau)v_\theta)\right]\delta+\sigma_\tau\sqrt\delta,\epsilon $$

因此转移概率是 $p(A_t^{\tau+\delta}\mid A_t^\tau,s_t)=\mathcal N(\mu_\tau,\Sigma_\tau)$，其中 $\Sigma_\tau=\sigma_\tau^2\delta I$。这一步把每个去噪步变成可计算 log-likelihood 的高斯转移。

Action-block 级重要性比

【Paper】 一个 action block 的策略概率是所有 $K$ 个高斯转移的乘积：

$$ \pi_\theta(A_{t,i}\mid s_t)=\prod_{\tau=0}^{K-1}p_\theta(A_{t,i}^{\tau+\delta}\mid A_{t,i}^\tau,s_t) $$

为避免长序列造成数值尺度随长度增长，定义归一化重要性比：

$$ s_{i,t}(\theta)=\exp\left(\frac{1}{|A_{i,t}|}\sum_{\tau=0}^{K-1}\log\frac{p_\theta(A_{t,i}^{\tau+\delta}\mid A_{t,i}^\tau,s_t)}{p_{\theta_{old}}(A_{t,i}^{\tau+\delta}\mid A_{t,i}^\tau,s_t)}\right) $$

其中 $|A_{i,t}|=H\times K$。同一状态采样 $G$ 个 action block，以任务回报归一化得到优势 $\hat A_{i,t}$，再使用 clipped GSPO 目标并减去 action-block 级 KL 惩罚：

$$ \mathcal J_{Flow\text{-}GSPO}=\mathbb E\left[\frac1G\sum_i\min(s_{i,t}\hat A_{i,t},\operatorname{clip}(s_{i,t},1-\varepsilon,1+\varepsilon)\hat A_{i,t})-\beta D_{KL}(\pi_\theta\Vert\pi_{old})\right] $$

4.4 Training

【Paper】 训练采用三阶段渐进式流程：

Stage I：空间预训练。初始化 PaLiGemma；冻结 Action Expert，联合训练 Reasoning 与 Spatial Expert。损失为 point cloud、camera、normal 三项重建损失之和。
Stage II：动作预训练。解冻 Action Expert，关闭 Spatial Head，在 DROID 上用 CFM loss 学习动作生成：$\mathcal L_{CFM}=\mathbb E|v_t(x_t,t;c)-(x_1-x_0)|_2^2$。
Stage III：在线 RL。从 Stage II checkpoint 出发，全模型解冻；每个状态采样 $G=8$ 个 action block，执行后用任务完成奖励与 gripper 对齐奖励更新 Flow-GSPO。

论文报告的关键超参数为 $\varepsilon=0.2$、$\beta=0.01$、$\sigma_\tau=0.1(1-\tau)$、$K=10$、$H=16$；优化器是 AdamW，学习率 $10^{-5}$、weight decay $0.01$，进行 200 次 RL update，每 10 步刷新 rollout buffer。

4.5 Inference

【Paper】 推理时给定当前多视角观测和语言指令，从高斯噪声初始化 action block，沿 Flow Matching 轨迹迭代 $K$ 步，得到长度 $H$ 的连续动作并交给机器人控制器执行。与 RL 训练不同，推理阶段不需要计算优势或反向传播；论文未明确说明是否沿用 RL 阶段的噪声强度。

4.6 代码实现对照

【Code】 截至本文写作，arXiv 论文、源文件 00README.json 与论文正文均未给出官方 GitHub、配置文件或可运行代码链接，因此无法核对模型类、DataLoader、loss 实现和 checkpoint 命名。上文“代码”层面的结论只能写为：没有可分析的官方代码；方法细节均来自论文。

5. 实验

5.1 Experimental Setup

【Paper】 LIBERO 包含 Spatial、Object、Goal、Long 四个任务套件；LIBERO-Plus 增加组合式长时序任务，对多阶段操作、遮挡和精确定位提出更高要求。论文将 Flow-GSPO 与 PPO、GRPO 比较，并在 LIBERO 上与 Diffusion Policy、Octo、OpenVLA、SpatialVLA、CoT-VLA、$\pi_0$、$\pi_{0.5}$ 和 $F_1$ 比较。

5.2 Main Results

【Paper】 OmniVLA-RL 在 LIBERO 四个套件都排名第一：Spatial 99.2%、Object 99.2%、Goal 98.5%、Long 93.5%，平均 97.6%。相对 $\pi_0$ 的平均成功率 94.2%，绝对提升 3.4 个百分点；相对 OpenVLA 的 76.5%，提升 21.1 个百分点。Long 套件的 93.5% 说明 action block 和空间特征对误差累积敏感的长时序任务尤其重要。

5.3 Ablation Study

【Paper】 LIBERO-Plus 消融结果如下：

| 配置 | 成功率 | 相对 SFT-only | | ---------------------- | --------: | ------------: | | OmniVLA-RL（SFT only） | 41.2% | — | | + PPO | 78.7% | +37.5 | | + GRPO | 65.7% | +24.5 | | + Flow-GSPO | 80.3% | +39.1 | | 去掉 Spatial Expert | 32.9% | −8.3 |

Flow-GSPO 比 PPO 高 1.6 个百分点、比 GRPO 高 14.6 个百分点；去掉 Spatial Expert 后下降 8.3 个百分点，是架构消融中最大的损失。【Analysis】 这同时支持两个判断：action-block 级 RL 更适合连续轨迹，而几何特征不是可有可无的附加输入。

5.4 Generalization

【Paper】 论文展示了从标准 LIBERO 到更长、更组合化的 LIBERO-Plus 的迁移，但没有报告真实机器人、未见物体类别或跨 embodiment 实验。因此对开放世界泛化的结论仍有限。

6. 方法分析

6.1 为什么有效？

【Analysis】 OmniVLA-RL 的收益来自三层对齐：

Spatial Expert 提供局部几何锚点，减少“知道物体是什么但不知道在哪里”的歧义。
Block-wise mask 让空间/语义理解不被 action noise 反向污染，同时保留 action 对完整 prefix 的访问。
Flow-GSPO 把整段动作的概率和回报绑定，降低单 token 高方差梯度，并用 KL 抑制策略跳变。

6.2 核心创新

【Analysis】 真正的创新不是简单堆叠 VGGT、VLM 和 Flow Matching，而是改变它们的耦合位置：几何表征进入共享 Transformer；随机性进入生成过程的转移概率；RL 的优化单位则与 action chunk 对齐。

6.3 与已有方法的本质区别

| 维度 | 常见 VLA / GRPO | OmniVLA-RL | | ------------ | ----------------------- | ----------------------------------- | | 空间融合位置 | 编码器前或动作头后 | 共享 Transformer 内部 | | 注意力结构 | 单一 causal mask | omni-visible prefix + causal suffix | | 生成过程 | 确定性 FM 或 token 采样 | SDE 随机 Flow Matching | | RL 单位 | token / 单步 | action block | | 稳定性约束 | PPO clip 或 token KL | block-level ratio + block-level KL |

6.4 关键假设

【Paper】 方法隐含假设包括：多视角观测足以由 VGGT 提供稳定几何特征，DROID 的动作分布能迁移到 LIBERO，且每个 action block 的累计奖励能够代表其内部动作质量。

【Analysis】 最后一个假设尤其关键：若奖励只在 block 末端稀疏出现，block 内部的信用分配仍可能粗糙；论文没有给出更细粒度 reward shaping 的消融。

7. 局限性

7.1 作者明确提出的局限

【Paper】 作者承认当前验证主要在高保真仿真中完成，sim-to-real gap 尚未充分研究；同时模型没有专门的 world model 来做结构化长时序规划。未来工作包括真实机器人部署、加入生成式 world model，以及处理更开放的多模态操作任务。

7.2 自己分析得到的局限

【Analysis】

论文没有公开代码、训练日志或算力细节，结果难以复现和审计。
LIBERO 的 97.6% 与 LIBERO-Plus 的 80.3% 来自单一仿真设置，尚不能证明跨相机、跨机器人或真实接触动力学的稳健性。
三专家共享大部分 Transformer 层可能带来显存和训练耦合成本；论文没有报告与独立 backbone 的参数量、吞吐和延迟对比。
SDE 噪声日程、$G$、$K$、$H$ 对探索和控制平滑度的敏感性没有系统网格实验。

8. 启发与研究思考

【Analysis】 这篇工作给后续 VLA-RL 三点启发：

把表示对齐和策略优化放在同一粒度上。 如果控制器执行的是 action chunk，训练目标也应优先描述 chunk 的概率与回报。
随机生成模型可以直接提供 RL 的 transition likelihood。 Flow Matching 不必被当作只能做监督学习的动作头，加入可控噪声后即可接入 policy-gradient 框架。
空间理解应进入 backbone，而不是只做外挂特征。 更进一步的方向是让空间 token、语言计划和动作 chunk 共享可解释的中间状态，并由 world model 预测长时序后果。

多相机视角扩展论文精读：用同步视角提升模仿学习的数据效率

Wed, 26 Aug 2026 00:00:00 GMT

1. 论文概述

论文名称：《Multi-Camera View Scaling for Data-Efficient Robot Imitation Learning》

论文链接：arXiv:2604.00557

项目主页：Multiview Imitation Learning

代码状态：截至本文撰写时，论文与项目主页均未公开官方代码仓库。

一句话总结

【Paper】 本文不通过重复遥操作收集更多轨迹，而是在一次示范时同步安装多台相机，把同一轨迹转成多条视觉和动作表征不同的 pseudo-demonstrations。这以很小的额外采集成本增加视角多样性，并提升视觉模仿策略的样本效率与视角泛化。

核心贡献

【Paper】

提出 Camera View Scaling：一条由 $V$ 台同步相机记录的专家轨迹可展开为 $V$ 条伪示范，而非要求人类重复示教。
分析 robot base、end-effector（EEF）和 camera 三种动作坐标系；相机坐标系使同一物理动作在不同视角下也有不同监督目标。
为 Diffusion Policy 设计多视角动作聚合：保留单视角模型接口，部署时可选地并行处理多个视角并组合去噪方向。
在 robomimic 的 Square、Can、Lift 仿真任务，以及 FANUC CRX-10iA 真实倒水任务中验证方法。

2. 背景与相关工作

【Paper】 Behavior Cloning 的泛化受训练分布限制；改变场景、物体摆放和背景来采集多样化示教，往往比重复做一次动作更耗人力。已有路线依赖更多硬件、跨机器人数据或环境随机化，而本文瞄准的是每条示教中未被利用的同步多视角信息。

【Paper】 多视角在这里不等于把多张图直接送给一个多相机网络。训练时，每个相机视角被当作一条单视角样本，策略根据该视角图像学习输出匹配坐标系的动作；部署默认仍可以只保留前视相机 $Cam_F$。

【Analysis】 文章的关键不是新 backbone，而是改变“什么算一条训练示范”。同步视角带来的样本并不统计独立，它们共享同一段动作和场景；它更像具有物理一致性的 viewpoint augmentation，而不等价于采到 $N\times V$ 条独立轨迹。

3. 问题定义

【Paper】 对长度为 $L_i$ 的第 $i$ 条专家轨迹，传统单视角数据为：

$$ \tau_i={(\mathbf{o}{i,t},\mathbf{a}{i,t})}_{t=1}^{L_i}, $$

其中 $\mathbf{o}{i,t}$ 是 RGB 观测，$\mathbf{a}{i,t}$ 是动作。视觉运动策略由感知编码器 $g_\phi$ 与策略骨干 $h_\theta$ 组成：

$$ \hat{\mathbf{a}}=h_\theta\circ g_\phi(\mathbf{o}). $$

【Paper】 若一条轨迹由 $V$ 台同步相机记录，则可展开为 ${\tau_i^v}{v=1}^{V}$。第 $v$ 条伪示范由 $\mathbf{o}{i,t}^v$ 和该视角坐标系中的 $\mathbf{a}_{i,t}^v$ 构成，训练集变为：

$$ \mathcal{T}{demo}^{MV}={(\mathbf{o}{i,t}^v,\mathbf{a}{i,t}^v)}{i,t,v}. $$

【Paper】 机器人动作用末端变化 $(\Delta\mathbf{p},\Delta\mathbf{R},s)$ 表示，分别为 $\mathbb{R}^3$ 平移、$SO(3)$ 旋转和夹爪状态；默认策略骨干为 conditional Diffusion Policy。

4. 方法

4.1 Overall Architecture

【Paper】 数据流是：一次遥操作同时记录多视角 RGB 序列；训练时随机选择一个视角，将该视角图像和对应动作表示送入原有单视角策略。默认部署只输入 $Cam_F$；当部署端有多个相机时，可在 diffusion sampling 中聚合各视角预测。

4.2 核心模块

Camera View Scaling 与伪示范

【Paper】 输入是同步多视角图像、真实机器人轨迹和相机外参；输出为每个视角的一组 (image sequence, action sequence)。多机位改变了遮挡、物体相对位置与背景外观，而人类只需执行一次遥操作。

动作坐标系选择

【Paper】 三种动作处理如下：

| 坐标系 | 伪示范动作 | 所需信息 | 含义 | | ---------- | ------------------------------------- | ------------- | ---------------------------- | | Robot base | $\mathbf{a}{i,t}^v=\mathbf{a}{i,t}$ | 无额外变换 | 所有视角共享 base-frame 标签 | | EEF | 转到当前末端坐标系后共享标签 | 当前 EEF 位姿 | 表达相对末端变化 | | Camera | 每台相机独立变换 | 外参与标定 | 视角和动作标签一起变化 |

【Paper】 base space 直接复制动作；EEF space 用当前末端旋转把位移/旋转写成局部量；camera space 依据每个相机的外参重表达动作。对于单固定相机，base 与 camera 表达可互相转换；多相机时 camera space 同时扩展视觉输入和标签数值。

多视角动作聚合

【Paper】 同一个训练好的单视角模型分别处理每台相机画面。每步 diffusion 去噪时，模块把各视角预测先变换到共同坐标系、求和，再用于更新采样动作；其目标是偏好所有视角都支持的动作。

【Analysis】 这是 prediction-level composition，而不是 feature-level fusion：相机 A 的 token 不会在网络内部直接 attend 相机 B。它可复用单视角网络并方便并行，但要求各相机预测能可靠变换到同一机器人动作语义。

4.3 关键公式

视角对应的动作变换

【Paper】 用 $\mathcal{F}^{v}$ 表示原动作到第 $v$ 个伪示范动作的变换：

$$ \mathbf{a}{i,t}^{v}=\mathcal{F}^{v}(\mathbf{a}{i,t}). $$

在 camera space，给定第 $v$ 个相机的外参旋转 $\mathbf{R}^{ext}_v$：

$$ \Delta\mathbf{p}{i,t}^{v}=\mathbf{R}^{ext}v\Delta\mathbf{p}{i,t},\qquad \Delta\mathbf{R}{i,t}^{v}=\mathbf{R}^{ext}v\Delta\mathbf{R}{i,t}(\mathbf{R}^{ext}_v)^T. $$

这里 $\mathbf{R}^{ext}_v$ 将同一物理末端变化改写为该相机参考系下的动作，因此不同视角拥有与各自图像一致的标签。

组合后的条件分布

【Paper】 给定多视角观测，论文用 product-of-experts 组合单视角条件分布：

$$ p_\Theta(\mathbf{a}{aggr}\mid{\mathbf{o}^v}{v=1}^{V}) \propto\prod_{v=1}^{V}p_\Theta(\mathbf{a}\mid\mathbf{o}^v). $$

【Paper】 在第 $t$ 个去噪步，预测 $\epsilon_\Theta(\mathbf{o}^v)$ 先经 $\mathcal{F}^{v^{-1}}$ 对齐到共同坐标系、按 $\gamma$ 累加，再映射回采样空间更新 $\mathbf{a}_{aggr}^t$。$\gamma$ 是聚合超参数，论文未明确报告具体取值。

4.4 Training

【Paper】 训练时，从同步多视角示范中选择视角，将 RGB 观测与同坐标系动作配对，并用 Diffusion Policy 的模仿目标更新模型。仿真实验采用预训练 DINOv3-base 视觉编码器并用 LoRA 微调；真实机器人使用 ResNet-18、Spatial Softmax 与 FiLM 条件化。

4.5 Inference

【Paper】 不启用聚合时，策略如普通单视角 Diffusion Policy：输入 $Cam_F$，迭代去噪生成动作并执行。启用聚合时，仍由同一个策略独立处理 $V$ 张图，额外计算只发生在每个去噪步的动作变换与求和；论文将其作为多相机可用时的可选收益。

4.6 代码实现对照

【Code】 论文 arXiv 页面与项目主页均未提供官方源码链接。因此无法核验 model definition、数据加载、损失、采样器、标定接口或训练超参数；本文不以项目页动图和文字推断代码行为。

【Paper】 可确认的实现信息仅来自论文：仿真默认 baseline 是 Diffusion Policy，视觉编码器为 DINOv3-base + LoRA；真实实验使用 ResNet-18、Spatial Softmax、FiLM 条件化的 diffusion policy。更细的配置、训练轮数、batch size 与 $\gamma$ 取值，论文未明确说明。

5. 实验

5.1 Experimental Setup

【Paper】 仿真选取 robomimic 的 Square、Can、Lift，以成功率为指标。默认相机为正前方 $Cam_F$；相机绕工作区中心向左、右、上、下各旋转 $15^\circ$，得到 $Cam_{FL}$、$Cam_{FR}$、$Cam_{FU}$、$Cam_{FD}$。除特殊说明外，部署仅用 $Cam_F$。

【Paper】 真实任务是抓取茶壶并向锅中倒水。系统为配平行夹爪与硅胶软指尖的 FANUC CRX-10iA，使用左右两个固定 RGB 相机；通过遥操作收集 50 条示范，并分别用 $N=25$ 和 $N=50$ 训练。

5.2 Main Results

【Paper】 下表给出仿真成功率。所有多视角结果均仅以 $Cam_F$ 部署，提升来自训练时的伪示范而非测试时增加输入相机。

| 训练视角 / 动作空间 | Square $N=10/25/50$ | Can $N=10/25/50$ | Lift $N=10$ | | ------------------- | ------------------- | ------------------ | ----------- | | $Cam_F$ / Base | 0.14 / 0.26 / 0.42 | 0.18 / 0.54 / 0.72 | 0.69 | | 3 views / Base | 0.16 / 0.31 / 0.47 | 0.27 / 0.63 / 0.78 | 0.79 | | 3 views / Camera | 0.17 / 0.29 / 0.47 | 0.30 / 0.68 / 0.83 | 0.76 | | 5 views / Base | 0.18 / 0.42 / 0.55 | 0.32 / 0.65 / 0.80 | 0.80 | | 5 views / Camera | 0.18 / 0.39 / 0.58 | 0.37 / 0.68 / 0.85 | 0.85 |

【Paper】 例如 Can 的 $N=10$ 从 0.18 提升至 0.37，Lift 的 $N=10$ 从 0.69 提升至 0.85。结果显示更多视角在多数设置中继续有益，但增益随任务、动作坐标和示范数量变化，并不严格单调。

【Paper】 真实倒水中，单视角训练在 $N=25/50$ 时的成功率为 0.45/0.70；双视角训练、不做聚合为 0.50/0.85；双视角训练并启用聚合为 0.75/0.85。

5.3 Ablation Study

【Paper】 在 Square 上，EEF action space 低于 base：单视角 $N=10/25/50$ 为 0.06/0.25/0.32，五视角为 0.09/0.27/0.41，而对应 base 为 0.14/0.26/0.42 和 0.18/0.42/0.55。作者认为原因是 EEF 坐标原点随时间移动，增加了学习难度。

【Paper】 相机选择也有影响。相近的 $Cam_F, Cam_{FL}, Cam_{FR}$ 在 Square 上取得 0.17/0.29/0.47；换成 front、top、side 三个差异很大的视角后为 0.17/0.24/0.40。作者解释，若最终只在 $Cam_F$ 部署，过远视角的分布差异可能无法帮助前视策略。

【Paper】 在 3 视角训练的 Square / Can 中，推理再使用三个视角聚合，成功率从 0.17/0.29/0.47 提升至 0.18/0.33/0.51，以及从 0.30/0.68/0.83 提升至 0.39/0.73/0.85。

5.4 Generalization

【Paper】 在 Can，5 视角训练后，模型在 $Cam_F$、$Cam_{FL}$、$Cam_{FU}$ 部署的成功率分别是 $N=10$ 时 0.37、0.30、0.37，$N=25$ 时 0.68、0.66、0.77。只用 $Cam_F$ 训练的模型在后两种相机仅为 0.00/0.01 与 0.07/0.05，说明伪示范明显改善了相邻视角变化下的鲁棒性。

【Analysis】 这一结论仍限定在论文的相机视角族，不能直接外推到任意陌生相机、焦距或遮挡模式；视角跨度与部署偏移的可承受范围仍需系统测试。

6. 方法分析

6.1 为什么有效？

【Analysis】 单视角策略可能把背景、固定遮挡或透视关系误当成控制线索。同步视角让模型反复看到同一物理过程的不同投影，促使它依赖跨视角稳定的对象、末端与目标关系。论文注意力图与这一解释一致，但注意力图本身不构成因果证明。

6.2 核心创新

【Analysis】 其核心是可插拔的数据构造规则：不改 Diffusion Policy 的网络，也不强制部署端常驻多相机。相较于纯 2D augmentation，同步真实相机提供真实遮挡和视差；相较于多相机端到端融合，本文先用多视角扩展训练数据，推理聚合仅是可选项。

6.3 与已有方法的本质区别

【Analysis】 增加轨迹覆盖的是动作执行、物体初始状态和任务噪声；Camera View Scaling 覆盖的是同一状态的观测表达，两者不能互相替代。环境随机化通常由仿真器合成，而本文利用真实同步传感器取得几何一致变化；常规多相机策略联合编码视角，本文的基础网络保持单视角。

6.4 关键假设

【Paper】 方法要求采集时相机时间同步；camera space 还需要准确外参。论文默认新增视角与部署 $Cam_F$ 相近。

【Analysis】 同步误差、外参漂移、遮挡或与部署差异太大的相机，都会造成图像/动作错配或 harmful distribution shift。多视角聚合还假定各视角输出可变换至共同动作语义。

7. 局限性

7.1 作者明确提出的局限

【Paper】 论文发现 top、side 等过远视角未必有益：当训练视角与仅在 $Cam_F$ 的部署分布相差过大，提升会很弱。camera space 还需要标定，增加人工工作；真实实验只有两个视角，作者因此认为训练阶段的增益有限。

【Paper】 框架主要处理固定场景内的 viewpoint diversity；与环境随机化、跨形态数据和基础模型的结合被留作未来工作。

7.2 自己分析得到的局限

【Analysis】 论文覆盖三个仿真任务与一个真实任务，尚未量化“相机成本—标定误差—数据效率”的完整曲线。对于 wrist camera、动态相机、移动底盘或高接触灵巧手，能否直接采用同一相机空间变换，论文未明确说明。

【Analysis】 product-of-experts 假设多视角能相互校正。某台相机若强反光、误检或完全遮挡，简单求积可能放大错误高置信预测；一个自然方向是引入视角质量评估、置信度加权或遮挡检测。

8. 启发与研究思考

【Analysis】 对数据采集，最实用的结论是把“相机数”作为示教协议的一部分：在不增加遥操作次数时，优先围绕最终部署视角布置小幅、可标定的相机扰动，并保存时间同步与外参。

【Analysis】 后续可在固定预算下比较新增相机、新采轨迹和场景随机化各带来多少有效分布覆盖；这需要同时考察独立轨迹数、视角跨度、标定误差和部署视角偏移，而不能只报告 $N\times V$。

μ₀：A Scalable 3D Interaction-Trace World Model 论文精读

Wed, 26 Aug 2026 00:00:00 GMT

1. 论文概述

论文名称：《μ₀: A Scalable 3D Interaction-Trace World Model》
作者：Seungjae Lee、Yoonkyo Jung、Jusuk Lee、Jonghun Shin、Amir Hossein Shahidzadeh、Yao-Chih Lee、H. Jin Kim、Jia-Bin Huang、Furong Huang
机构：University of Maryland, College Park；Seoul National University
发表形式：arXiv 预印本（2026）
论文链接：arXiv:2606.13769
代码：Yoonkyo/mu0
项目主页：mu0-wm.github.io

一句话总结

【Paper】 μ₀ 把世界模型的预测目标放在像素与动作之间：对对象、工具、手和接触区域等语义交互点，预测未来平滑的 3D interaction traces。TraceExtract 将异构人类 / 机器人视频转成带事件语言的 3D 轨迹监督；预训练后的 μ₀ 被冻结，再由目标机器人自己的 Action Expert 将轨迹特征变成动作块。

核心贡献

【Paper】 论文的贡献可以拆成三个层次：

TraceExtract 数据引擎：用 DINOv2 entity clusters 选取任务相关 keypoints，用全局—局部 3D 重建得到跨相机一致的轨迹，再按运动事件生成层级语言描述。
μ₀ 世界模型：以 SmolVLM2 作为语义前缀，加入 permutation-equivariant Trace Expert；每个 query 用 cubic B-spline 控制点表示，并以 semantic Flow Matching 生成多模态未来。
跨形态动作适配：冻结 μ₀，只训练 Action Expert。后者读取一次 partial denoising 的 trace features，同时接收 gripper-camera、proprioception 和语言，输出目标机器人的连续 action chunks。

【Analysis】 这条路线的核心赌注是：对“物体应该怎样移动”的建模比对“某个机器人每个关节该怎样动”的建模更容易跨 embodiment 复用；但真正闭环控制仍必须在目标机器人数据上学习。

2. 背景与相关工作

【Paper】 机器人学习存在明显的数据悖论：视频数量多、包含丰富的物理行为，但缺少控制所需的 action labels；机器人动作数据昂贵、硬件相关，也难以跨平台合并。像素空间 Video World Model 虽然可从视频训练，却把大量容量花在背景和外观重建上，未必能保留接触与 metric geometry。VLA 直接输出动作，则受到 embodiment-specific labels 的限制。

已有 motion-centric 方法使用 2D flow、3D flow、对象轨迹或视频生成后再抽轨迹。【Paper】 论文认为它们普遍存在三类问题：固定网格会漏掉工具尖端和接触小区域；局部 / 2D 坐标会把相机运动和物体运动混在一起；长 demonstration 只配 episode-level caption，无法把局部轨迹绑定到 reach、grasp、move、release 等子目标。最接近的 TraceGen 使用 fixed-grid 3D traces、episode caption，并在推理时依赖 depth；μ₀ 针对这三点重新设计数据和模型。

3. 问题定义

【Paper】 对每个视频时间点，TraceExtract 构造一个训练样本：

Observation：当前 RGB 图像，可选 metric depth 图像。
Language：事件级 caption 或滑动合并后的 task summary。
Query set：$N$ 个语义 keypoints，来自 objects、tools、hands 和 contact regions；$N$ 可变且无序。
History：每个 query 最近 $h=8$ 帧的 3D reference-frame 轨迹。
Target：未来 $H=32$ 帧的 3D 轨迹，坐标为 reference camera 下的 $(x,y,z)$，其中 $x,y$ 与图像平面对齐，$z$ 为 metric depth。

模型学习映射：

$$ \mu_0: (I_t, l_c, Q_t, T_{\mathrm{ref}}^{t-h:t}) \mapsto \hat T_{\mathrm{ref}}^{t:t+H}. $$

【Analysis】 query 是“测量目标”，不是固定的动作 waypoint。这样同一物体运动可以作为不同机械臂的中间接口，但动作执行端仍要解决可达性、抓取姿态和动力学约束。

4. 方法

4.1 Overall Architecture

【Paper】 数据流可以压缩成一句话：RGB / optional depth / language 先进入 VLM context，query 的 history 与 noisy spline controls 进入 Trace Expert，4-step denoising 后渲染出未来 traces；下游 Action Expert 读取一次中间 trace features，再结合机器人观测输出 action chunk。

4.2 核心模块

TraceExtract：从视频得到可训练的 3D 监督

【Paper】 TraceExtract 包含三个阶段：

Semantic keypoint sampling：抽取 DINOv2 patch features 并聚类为 entity groups，在高可见度帧上为每个实体分配固定 keypoint budget，再用空间多样性采样；movement filter 排除静止或背景主导的点。
Global–local 3D reconstruction：稀疏 anchor frames 先建立共享 global frame，再对局部 chunk 做密集重建并对齐回全局；跨 chunk 用最后一个有效的 world-space 位置传播身份。随后重投影到 reference camera，既消除相机运动又保留图像对齐。
Event-centric captioning：对 trace acceleration 做 Savitzky–Golay 平滑，在峰值处找 action anchors，在谷值处切 chunk；VLM 使用 start / middle / end 三帧生成局部 caption，文本 LLM 再在滑动窗口内合并出更粗粒度的 task summary。

【Code】 官方仓库把样本保存成 traj_history.npy、traj_future.npy、valid_steps_history.npy、valid_steps_future.npy、current_kp.npy 和可选的 depth.npy；src/lerobot/datasets/trace_dataset.py 负责读取、padding 和 mask，bspline_basis.py 负责轨迹参数化。代码还支持用 Depth-Anything-V2 和 Grounded-SAM-2 在图像推理时合成 depth 与 keypoints。

VLM-conditioned backbone

【Paper】 SmolVLM2-2.2B 的前缀保留全局语义与语言上下文，Trace Expert 通过 cross-attention 读取 VLM key-value cache，同时维护独立的 motion stream。Depth 不直接伪装成 RGB：它先经过独立可训练 patch stem，再与 RGB 共享更深的 SigLIP 层。

【Code】 src/lerobot/policies/mu0/modeling_smolvla.py 中的 prepare_images 和 embed_prefix 处理 RGB / depth mask；训练配置默认对 depth 施加 0.7 dropout、RGB ColorJitter strength 0.3、depth meter-domain noise 标准差 0.01 m。configuration_smolvla.py 中公开默认值是 num_vlm_layers=16、expert_width_multiplier=0.75，而论文附录描述的是 20 层、0.5× width；这说明 release 配置可能通过训练脚本覆盖默认值，不能把两者混为同一个固定实现。

Permutation-equivariant Trace Expert

【Paper】 每个 keypoint 都走共享处理栈，因此交换 query 顺序不会改变对应预测。输入 token 同时包含：history segment、future noisy control-point segment、当前像素位置的 Fourier embedding，以及从 frozen DINO feature map 双线性采样的局部语义特征。

【Code】 embed_suffix_trace 将 history 与 future suffix 拼接，并通过 key_pad_mask、causal suffix mask 保持每个 query 的有效性和注意力约束；DINO 特征在 _compute_dino_per_kp 中按当前 $(u,v)$ 采样后注入每个 query token。

B-spline trace representation

【Paper】 不直接回归 32 个未来点，而是用 $D=10$ 个 cubic B-spline control points 表示一条轨迹。这样可以压缩维度、平滑 tracker jitter，并让 Flow Matching 在低维控制点空间中工作。训练目标是 anchor-relative、按轴缩放的未来轨迹；推理时用固定 basis 一次矩阵乘法恢复 32 步轨迹。

Semantic Flow Matching、validity 与 rigidity

【Paper】 对控制点目标 $P^\star$ 注入高斯噪声，Trace Expert 预测从噪声到干净控制点的 velocity。validity head 预测每个 query 的未来每一步是否仍有效，用于处理遮挡 / track loss；rigidity loss 则要求同一 DINO cluster 内的 keypoints 在控制点序列中保持相对距离。

Trace-conditioned Action Expert

【Paper】 μ₀ 预训练完成后被冻结。动作端从纯噪声控制点开始，只执行 4-step Euler solver 中的一次 partial denoising，并取该步 Trace Expert hidden states 作为 motion descriptor。一个 zero-initialized gated cross-attention 将其注入 VLM 最后一层特征；随后 action denoiser 还接收 gripper-camera 的 DINOv2 token、proprioception MLP token 和 language token，生成连续动作块。

【Code】 src/lerobot/policies/mu0/mu0_policy.py 的 _run_trace_model_partial_guidance 正是这一流程：MOTION_GUIDANCE_STEPS 次部分去噪后，通过 _bspline_render_basis 渲染 traces；GatedMotionMixer 将 expert_final 注入 VLM；_sample_actions 使用固定的 Euler action-flow solver 产生 chunk_size 个动作。

4.3 关键公式

B-spline 拟合

$$ P_n^\star = \arg\min_P \left|M_n\odot\left(BP-[0;\tilde T_n^1]\right)\right|_F^2

\lambda_{\mathrm{bsp}}^2|\Gamma P|_F^2. $$

【Paper】 $B\in\mathbb{R}^{(H+1)\times D}$ 是固定 cubic B-spline basis，首行把曲线钉在当前 anchor；$M_n$ 屏蔽无效 future steps；$\Gamma$ 是相邻控制点的一阶差分算子；$\lambda_{\mathrm{bsp}}=0.2$ 抑制控制点间距剧烈变化。代码 build_bspline_basis 支持 $D\in{4,7,10}$，release 使用 10。

Flow Matching

$$ P^\tau = \tau\epsilon + (1-\tau)P^\star, \qquad \mathcal L_{\mathrm{flow}}= \mathbb E\left|v_\theta(P^\tau,\tau,F_{\mathrm{cond}})-(\epsilon-P^\star)\right|_2^2. $$

【Paper】 $\tau\in[0,1]$ 是 flow time，$\epsilon\sim\mathcal N(0,I)$，$F_{\mathrm{cond}}$ 汇总 VLM、query 和局部 DINO 条件。adaLN-Zero 将 $\tau$ 注入每个 Trace Expert block；推理沿 $\tau:1\rightarrow0$ 做 4-step Euler。

完整训练目标

$$ \mathcal L=\mathcal L_{\mathrm{flow}} +\lambda_{\mathrm{done}}\mathcal L_{\mathrm{done}} +\lambda_{\mathrm{rig}}\mathcal L_{\mathrm{rig}}. $$

【Paper】 $\mathcal L_{\mathrm{done}}$ 是逐步 validity 的 BCE；$\mathcal L_{\mathrm{rig}}$ 对同一语义 cluster 内两点的控制点间距离计算方差。前者让轨迹能在遮挡处停止并冻结，后者把 DINO 聚类当作无需人工 segmentation 的弱结构先验。

4.4 Training

【Paper】 Trace 预训练使用 $h=8$ 的历史、$H=32$ 的未来，训练时随机采样 $N\in[1,256]$ 个 keypoints。VLM / RGB SigLIP 保持冻结，Trace Expert、投影层、depth stem 和 adaLN-Zero head 更新；优化器为 AdamW，base learning rate $10^{-4}$、weight decay $10^{-10}$、effective batch size 24。训练还以 0.2 概率整批丢弃 history、以 0.3 概率逐 keypoint 丢弃 history，并以 0.7 概率丢弃 depth。

【Code】 docs/release/TRAINING.md 给出的 release recipe 显式设置 history_len=8、future_len=32、trace_bspline_n_ctrl=10、trace_done_head=true、done_loss_weight=0.5、rigidity_regularization_weight=5、trace_bspline_reg_lambda=0.2 和 trace_bspline_ctrl_clip=1.5。代码的配置默认值允许关闭 rigidity / done head，因此复现实验时应以 release 命令为准，而不是只看 dataclass 默认值。

4.5 Inference

【Paper】 推理输入是当前 RGB（可选 depth）、语言、query 当前点与短 history。Trace Expert 从高斯控制点开始沿 $1\rightarrow0$ 做 4-step Euler，B-spline basis 将控制点解码为未来轨迹；done head 的 stop index 会截断并冻结轨迹尾部。

【Code】 在图像-only 模式，lerobot_predict_trace_mu0_image_only.py 可从数据集读取 keypoints，也可调用 Grounded-SAM-2 合成 keypoints；depth 可来自数据、Depth-Anything-V2 或完全省略。动作策略只保留一次 partial guidance，避免每个控制周期完整 rollout μ₀。

<Algorithm number={2} title='μ₀ Trace-conditioned Action Inference' inputLabel='输入' outputLabel='输出'

4.6 代码实现对照

| 论文模块 | 官方代码位置 | 实际行为 | | -------------------- | ------------------------------------------------------------- | ----------------------------------------------------------------------------------------------- | | Trace dataset | src/lerobot/datasets/trace_dataset.py | 读取 history / future / validity / keypoint mask，并可加载 depth、cluster ids、B-spline targets | | B-spline | src/lerobot/datasets/bspline_basis.py | 预计算 $D=4,7,10$ 的 cubic basis；推理用矩阵乘法渲染轨迹 | | Trace model | src/lerobot/policies/mu0/modeling_smolvla.py | VLM prefix + suffix Trace Expert，包含 DINO、depth、adaLN-Zero、done / rigidity 分支 | | Trace training | src/lerobot/scripts/lerobot_train_trace_mu0.py | 以 masked control-point Flow Matching 为主损失，按配置加入 done / rigidity | | Action adaptation | src/lerobot/policies/mu0/mu0_policy.py | 冻结 trace policy，partial guidance 后由 Gemma-style Action Expert 预测 action chunks | | Image-only inference | src/lerobot/scripts/lerobot_predict_trace_mu0_image_only.py | 支持 dataset keypoints、Depth-Anything-V2、Grounded-SAM-2 三种输入组合 |

【Analysis】 论文把 μ₀ 描述成“冻结、可复用的 motion prior”，而代码接口更具体：下游策略并不消费完整 32-step trace，而消费一次 partial denoising 的 hidden states。这是计算效率和信息完整度之间的关键工程折中。

5. 实验

5.1 Experimental Setup

【Paper】 轨迹预测在 2D / 3D 设置下比较 Gemini、GPT-5.5、Track2Act、Hamster、3DFlowAction、Dream2Flow 和 TraceGen，预测 horizon 为 $T\in{8,16,32}$，只在 moving points 上计算 ADE、FDE、DTW。下游动作实验包括：

RoboCasa365：8 个随机化厨房任务；比较 Diffusion Policy、action-labeled 的 $\pi_0$ / $\pi_{0.5}$、video-only TraceGen 和 μ₀ + Action Expert。
真实 UR3：Pick object into Sink、Pour Almonds into object、Unfold Towel；分别收集 90、80、50 条 demonstrations，每项评估 20 次 rollout。机器人使用双指夹爪、第三人称与腕部 RGB 相机，proprioception 是 6D end-effector pose 加 gripper，共 7D。

5.2 Main Results

【Paper】 轨迹预测结果最值得注意的不是单一 Top-1 数字，而是多样本质量和速度：

| 设置 | μ₀ 代表性结果 | 对比 | | ------------ | ---------------------------------- | ------------------------------------- | | 2D Top-5 ADE | $T=8/16/32$: 0.124 / 0.188 / 0.227 | 三个 horizon 均为最佳 | | 2D Top-5 FDE | 0.186 / 0.261 / 0.284 | 三个 horizon 均为最佳 | | 3D Top-1 ADE | 0.209 / 0.288 / 0.325 | 三个 horizon 均为最佳 | | 3D Top-5 DTW | 0.127 / 0.187 / 0.223 | 三个 horizon 均为最佳 | | 推理延迟 | 0.29 s / image | 比次快的 Track2Act（0.85 s）快约 2.9× |

【Paper】 在 RoboCasa365 上，μ₀ 平均成功率为 30.25%，比 TraceGen 高 7.25 个百分点，比 $\pi_0$ 高 5 个百分点，但低于使用大规模 action-labeled pretraining 的 $\pi_{0.5}$（42%）。这不是 data-matched 比较：μ₀ 的预训练只使用视频监督。

【Paper】 真实任务中 μ₀ + Action Expert 的平均成功率为 91.7%，比去掉 Trace Expert 的 VLM + Action Expert 高 18.4 个百分点，比 $\pi_0$ 和 $\pi_{0.5}$ 分别高 20.0 和 11.7 个百分点，也比 TraceGen 高 10.0 个百分点。这里的结果支持“冻结轨迹特征不仅是可解释中间表示，也能提供有用的运动引导”。

5.3 Ablation Study

【Paper】 Top-5 DTW 消融如下：

| 变体 | $T=8$ | $T=16$ | $T=32$ | | ------------------------- | --------: | --------: | --------: | | Full μ₀ | 0.127 | 0.187 | 0.223 | | w/o B-spline（raw trace） | 0.156 | 0.222 | 0.258 | | w/o DINOv2 features | 0.139 | 0.193 | 0.230 | | w/o Rigidity Loss | 0.138 | 0.193 | 0.227 | | w/o Depth | 0.112 | 0.168 | 0.207 | | w/o Trace history | 0.126 | 0.183 | 0.224 | | w/o Depth & history | 0.127 | 0.187 | 0.223 |

【Analysis】 B-spline 去掉后的退化最大，说明平滑且低维的 target parameterization 是主收益来源之一。DINO 和 rigidity 的影响较小但一致为正，表明它们更像稳定性与局部结构的增益，而不是单独决定性能的模块。值得注意的是，消融表中“无 depth”并未崩溃，符合论文希望模型在 RGB-only 条件下可用的目标。

5.4 Generalization

【Paper】 模型与数据规模都能带来改进：2.59B 模型在 $T=8/16/32$ 的 Top-5 DTW 为 0.127 / 0.187 / 0.223；342M 模型为 0.143 / 0.205 / 0.240。使用全部数据优于 5% 或 20% 子集。动作端在 200M 与 400M head 上都受益于 trace conditioning，说明 motion prior 的价值并不依赖某一个超大 action decoder。

【Analysis】 论文展示的是“跨数据源、跨动作标签稀缺程度”的泛化，而不是大规模跨 embodiment 真实部署：真实实验仍集中在 UR3 桌面任务，cross-embodiment 的主要证据来自冻结接口和 RoboCasa 上的 action adaptation。

6. 方法分析

6.1 为什么有效？

【Analysis】 μ₀ 同时做了三个对齐：

测量对齐：semantic keypoints 把计算预算放到真正会动、会接触的部位。
坐标对齐：global 3D reconstruction + reference camera 让轨迹不再把 camera motion 当成 object motion，同时保留视觉 backbone 需要的像素对应关系。
语言对齐：motion-centric chunking 把 caption 的时间范围绑定到局部子目标，降低长 episode caption 的语义稀释。

B-spline 使目标更平滑，Flow Matching 保留“一条指令对应多种合理路径”的可能性；DINO 局部特征与 rigidity 又为 query 提供实体级和部件级先验。最终 Action Expert 读到的是已经被语义和几何约束过的 motion tokens，而非从 RGB 直接猜动作。

6.2 核心创新

【Paper】 真正的新意不是单独提出某个 denoiser，而是把 数据测量对象（semantic 3D traces）—模型参数化（B-spline + permutation equivariance）—下游接口（frozen partial-denoising features） 串成一条可复用链路。TraceExtract 还把过去昂贵的固定网格 trace curation 扩展到约 8× 的规模。

6.3 与已有方法的本质区别

| 路线 | 学习目标 | 主要代价 | μ₀ 的差异 | | ----------------- | --------------------------- | ----------------------------------- | ------------------------------------------------------------------------- | | Pixel world model | 未来像素 | 重建背景与外观，几何 / 接触信号稀释 | 只预测交互点的 3D motion | | VLA | embodiment-specific actions | 需要昂贵动作标注 | 预训练阶段完全 action-free | | 固定网格 trace | 网格点轨迹 | 背景占预算，漏小物体 / 接触点 | query-conditioned semantic points | | TraceGen | fixed-grid 3D trace | episode caption、推理依赖 depth | entity sampling、global alignment、event captioning，并支持 depth dropout |

6.4 关键假设

【Analysis】 方法依赖四个隐含假设：

物体和接触局部的 3D 运动足以传递大部分 manipulation intent；
DINO cluster 能近似“同一实体 / 部件”，rigidity 约束才不会误伤不同物体；
视觉轨迹到机器人动作之间存在可由少量 target-embodiment 数据学习的映射；
4-step partial denoising 的 hidden state 已包含足够的未来信息，不必完整解码整条 trace。

7. 局限性

7.1 作者明确提出的局限

【Paper】 μ₀ 会继承 perception stack 的错误：semantic clustering、3D reconstruction、tracking 或 captioning 任一环节失败，都会产生噪声监督。3D trace 只描述几何和运动，没有显式建模 force、tactile feedback 或 contact mode。动作实验主要覆盖 tabletop manipulation、有限 embodiment 与任务族，移动操作臂、灵巧手和更长时序任务仍待验证。

7.2 自己分析得到的局限

【Analysis】 首先，trace 的 embodiment-agnostic 性并不等于 action-agnostic：不同夹爪的可达性、接触姿态与动力学差异仍由 Action Expert 承担。其次，reference-camera 轨迹虽然去除了相机运动，却仍可能受深度尺度、遮挡和跨 chunk 对齐误差影响。再次，rigidity 只约束 cluster 内距离，无法表达铰链、柔性物体或接触后形变。最后，论文主要报告平均成功率与轨迹距离，尚未给出长时域失败恢复、闭环 replanning 频率和真实部署算力预算的系统分析。

8. 启发与研究思考

【Analysis】 μ₀ 给出的研究方向不是“所有机器人都共享同一个策略”，而是把共享部分放到更稳定的中间层：

从 action token 转向 motion token：未来可以研究可组合的 trace vocabulary，把 reach / grasp / place 等局部几何模式做成可检索先验。
把接触模式补回 3D trace：在轨迹旁边预测接触概率、法向或力的离散状态，可能比单纯增加像素生成能力更直接地提升精细操作。
在线修正 TraceExtract：用执行失败反向定位 keypoint、深度或 caption 错误，形成 perception—world model—policy 的闭环数据引擎。
更强的跨 embodiment 验证：在同一物体任务上替换 UR3、移动机械臂和 dexterous hand，只微调 Action Expert，才能真正测量 motion prior 的可迁移边界。
研究 partial denoising 的信息瓶颈：代码只消费一次中间 hidden state，这是很有吸引力的效率设计；但不同任务所需的 denoising 深度可能不同，动态选择 guidance step 也许是下一步。

MMaDA-VLA 论文精读：统一多模态指令与生成的离散扩散 VLA

Wed, 26 Aug 2026 00:00:00 GMT

1. 论文概述

【Paper】 MMaDA-VLA（MM ’26）提出一种 fully native、pretrained 的离散扩散 VLA：当前观测与语言指令作为条件，模型同时预测未来 goal observation 和一段 action chunk。它不再把 VLM、world model、inverse dynamics 或 policy head 串成多个阶段，而是让这些信息在一个共享的离散 token 序列中被联合去噪。

一句话总结

【Analysis】 这篇工作的关键不是“把 diffusion 加到动作头上”，而是把“未来会看到什么”和“接下来怎么动”变成同一个生成问题：模型在每次去噪时反复对齐两者，因而可以把动作块放在任务状态演化的上下文里修正。

核心贡献

【Paper】

将语言、图像和连续机器人控制统一离散化，使用单一 masked-token objective 训练一个 8B 级 MMaDA-VLA。
用 goal-observation generation 注入类似 world model 的动力学信息，但不依赖外部 world model 或 inverse dynamics module。
设计 hybrid attention：模态内 full attention、模态间 causal attention；在同一迭代中并行 refinement goal image 与 action chunk。
用大规模 cross-embodiment 预训练（约 5,300 万样本）再进行 LIBERO、CALVIN 和真实机器人微调，取得 LIBERO 98.0% 平均成功率与 CALVIN 4.78 平均完成子任务数。

【Code】 官方仓库提供训练、数据预处理、action tokenizer、推理和 dLLM cache 实现；但 README 没有给出真实机器人控制器的完整开源实现，真实部署细节仍以论文为准。

2. 背景与相关工作

【Paper】 现有 VLA 大致有三条路线：

Hierarchical VLA：VLM 输出语义，再由 policy head 或 action expert 预测动作。模块边界带来额外训练和信息损失。
Autoregressive discrete VLA：把动作离散成 token 后按固定顺序生成，动作维度之间并没有天然的先后关系，却会承受 token-by-token 的误差传播。
World-model VLA：额外生成未来图像，或先生成 goal image 再通过 inverse dynamics 得到动作，代价是阶段增多、训练和推理不一致。

【Analysis】 动作 chunk 中的 7 个自由度更像一个“集合”而非自然语言句子。对它施加左到右顺序，会引入不必要的 inductive bias；而单纯并行一次预测又缺少修正机会。离散扩散提供了折中：先全部 mask，再用多个 denoising step 逐步确认 token。

3. 问题定义

【Paper】 给定当前视觉观测 $o_t$ 和语言指令 $\ell$，传统策略建模 $\hat a_t \sim \pi_\theta(a_t \mid o_t,\ell)$。MMaDA-VLA 进一步预测 $t'=t+k$ 时的目标观测以及长度为 $k$ 的动作块：

$$ (\hat o_{t'};\hat a_{t:t'-1}) \sim \pi_\theta(o_{t'},a_{t:t'-1}\mid o_t,\ell). $$

其中 $k$ 是 action chunk size；论文在 LIBERO 使用 $k=5$，CALVIN 使用 $k=10$。机器人执行动作块后获得新观测，策略重新生成下一块，因此控制仍然是 closed loop。

Embodied AI 对照：

| 项目 | MMaDA-VLA 实现 | | --------------------- | ------------------------------------------------------------------------------------------------- | | Observation | 第三视角与 wrist-view RGB，竖直拼接后 resize 到 $256\times256$；proprioception 以文本追加在指令后 | | Vision Encoder | MAGVIT-v2 image quantizer，输出离散视觉 token | | Language | LLaDA tokenizer | | Action Representation | 每个动作维度量化为 256 bins；7-DoF 动作按 chunk 展平 | | Policy | 8B MMaDA backbone 上的 masked-token diffusion policy | | Goal / World Model | 与 action chunk 并行生成 future goal observation | | Robot | 仿真 LIBERO、CALVIN；真实 AgileX PiPER 6-DoF + 1-DoF gripper |

4. 方法

4.1 Overall Architecture

【Paper】 统一序列写成：

$$ x=[\text{SOO}]\tilde o_t[\text{EOO}][\text{SOL}]\tilde\ell[\text{EOL}][\text{SOO}]\tilde o_{t'}[\text{EOO}][\text{SOA}]\tilde a_{t:t'-1}[\text{EOA}]. $$

前半段是 instruction，后半段是 generation。训练时只对未来观测和动作 token 做随机 mask；推理时把这两段全部替换为 [M]，再迭代恢复。

4.2 核心模块

统一离散 tokenization

【Paper】 文本使用 LLaDA tokenizer，图像使用 MAGVIT-v2，动作使用 256-bin tokenizer。三种 token 被映射到共享 vocabulary，模型因此只需要一个输出 head 和一个 masked-token loss。

【Code】 mmadavla/models/action_tokenizer.py 将动作裁剪到 $[-1,1]$，通过 np.digitize 映射到 256 个 bin；decode 使用 bin center 还原连续值。action_num_vq_tokens = action_chunk_size × 7，所以 LIBERO 的 action 区域是 35 token，CALVIN 是 70 token。

Multi-modal prompting

【Code】 mmadavla/utils/prompt.py 固定拼接 [ti2ia] → current image → text → goal image → action。机器人状态被格式化为文本，和 task instruction 一起进入语言 token 区域；标签只保留 goal image 与 action 的被 mask 位置，其余位置使用 ignore_id=-100。

Hybrid attention

【Paper】 同一模态内部使用 bidirectional full attention，让 goal image 或 action chunk 的 token 可以全局交换信息；不同模态之间使用 causal attention，保持从 current observation / instruction 流向 generation 的方向性。这样既避免 action dimension 的人为顺序，又避免完全双向的跨模态信息泄漏。

【Code】 construct_attention(..., AttnType.hybrid) 以区域编号 1–5 构造布尔 attention bias，并用 query_mask >= key_mask 实现跨区域的因果约束。

Goal observation generation

【Analysis】 goal image 并不是最终要显示给机器人的“照片”，而是一个预测的未来状态 latent。它提供“完成这一段动作后环境应处于什么状态”的中间约束；动作 token 可以在 denoising 过程中持续读取这部分中间表示，而不必等整张 goal image 完成后再单独调用 inverse dynamics。

Key-value cache

【Paper】 指令在所有 denoising step 中不变，因此论文缓存每层的 $K_l,V_l,$ attention output 和 FFN output；generation 区域只刷新与缓存 value 向量 cosine similarity 最低的 $\lfloor\rho n'\rfloor$ 个 token，每 $\lambda$ 个 step 刷新一次。

【Code】 mmadavla/utils/dllm_cache.py 把 prompt/gen 分开缓存，并通过 refresh_index 选择低相似度位置。它是 training-free 的推理优化，不改变模型参数。

4.3 关键公式

Masked-token 训练目标

【Paper】 从 clean sequence $x$ 采样 diffusion step $s$，得到被 mask 的 $x^{(s)}\sim q_s(\cdot\mid x)$。令 $N_s$ 为 mask token 数量，训练目标为：

$$ \mathcal L(\theta)=-\mathbb E\left[\frac{1}{N_s}\sum_{i=1}^{n}\mathbf 1[x_i^{(s)}=\text{[M]}]\log \pi_\theta(x_i\mid x^{(s)})\right]. $$

其中 $\mathbf 1$ 只选择被破坏的位置，避免未 mask 的条件 token 主导损失；代码中对应 F.cross_entropy，并用 ignore_id 忽略其他位置。

Cosine mask schedule

【Paper / Code】 mask 比例采用 cosine schedule：

$$ \gamma(r)=\cos\left(\frac{\pi r}{2}\right),\quad r\in[0,1]. $$

训练中随机采样 $r$；代码中 cosine_mask_schedule 返回该比例，并对 image token 与 action token 使用相同的 mask probability。

迭代去噪与 confidence remasking

【Paper】 第 $d$ 步先得到每个位置的 clean-token 预测 $\hat x^{(0)}$，再按预测置信度保留一部分 token、重新 mask 其余 token：

$$ x_i^{(d-1)}=\begin{cases} [M],&c_i<\operatorname{sort}(c)[\beta],\ \hat x_i^{(0)},&\text{otherwise}. \end{cases} $$

这里 $c_i$ 是采样 token 的置信度，$\beta=\gamma(d/D)n'$ 是下一步需要保留的 mask 数量。

【Code】 generate 使用 softmax 概率采样 token，再通过 mask_by_random_topk 加入 Gumbel noise；随着 ratio 增大，temperature 线性降到 0，使后期决策更确定。

4.4 Training

【Paper】 预训练使用约 5,300 万跨 embodiment 样本，混合 DROID、BC-Z、Language Table、Furniture Bench、Fractal、Bridge V2、Kuka、CALVIN、LIBERO 等数据。backbone 是 8B 的 MMaDA-8B-Base；全局 batch size 640，AdamW，learning rate $10^{-4}$，weight decay 0.01，cosine decay，warm-up ratio 0.01，文本长度 128。8 节点、每节点 8 张 H800 上预训练约 30 小时。

【Code】 train/train_mmadavla.py 的训练步骤是：读取 parquet → 拼接 robot state 文本 → 对 goal image 与 action 同步 mask → 用 Prompting 生成 attention bias 和 labels → 前向交叉熵 → gradient clipping、AdamW 更新与 cosine scheduler。默认 mixed precision 为 bfloat16；从 base MMaDA 初始化时会扩展 action vocabulary。

4.5 Inference

【Paper】 推理时 current observation 和 instruction 固定，goal observation 与 action chunk 全部初始化为 [M]。模型执行 $D$ 次 denoising，在每次迭代中并行更新两段 token；最终分别用 MAGVIT-v2 decoder 和 action tokenizer 解码，机器人执行 action chunk，再回到下一轮闭环。

【Code】 MMaDAVLAModelLM.generate 默认 timesteps=18，每步对 action / vision 两个区域分别采样、计算置信度、按 schedule 重新 mask。论文效率实验最终选择 24 denoising steps、6 cache-refresh steps；README 的命令没有覆盖这些推理参数，部署时需按评测脚本配置。

4.6 代码实现对照

| 论文概念 | 官方代码位置 | 代码行为 | | ------------------ | -------------------------------------------------------- | ----------------------------------------------------------------------------- | | Action tokenizer | mmadavla/models/action_tokenizer.py | 256 bins，动作范围 $[-1,1]$，按 chunk 展平 | | Prompt / attention | mmadavla/utils/prompt.py | current image、text、goal image、action 的固定区域编号与 hybrid bias | | Training loss | mmadavla/models/mmadavla.py、train/train_mmadavla.py | 全序列 cross entropy，但 labels 只保留 masked generation token | | Diffusion schedule | mmadavla/utils/diffusion.py | cosine mask、随机 mask、Gumbel top-k remasking | | Inference | mmadavla/models/mmadavla.py | vision/action 两个区域并行采样，多步更新 | | Cache | mmadavla/utils/dllm_cache.py | prompt/gen 分区 KV、attention、FFN cache；选择低 cosine similarity token 刷新 | | Data | mmadavla/data/lerobot.py、data/preprocess.py | LeRobot episode、视频帧、状态和 action chunk 的读取与归一化 |

【Analysis】 论文中的“world-model-like”是目标观测生成目标，不等同于一个可以任意 rollout 的显式 simulator。官方代码也没有单独的 inverse dynamics 网络；动作直接由同一 backbone 的 action vocabulary 解码。

5. 实验

5.1 Experimental Setup

【Paper】 LIBERO 报告 Spatial、Object、Goal、Long 四个 suite；CALVIN 使用 ABC→D 设置，在 A/B/C 训练、D 测试，并统计连续五个子任务的成功率与平均完成长度。真实实验使用 AgileX PiPER、第三视角 RealSense D435 和腕部 DX200-2.8mm 相机；四类任务各收集 300 条 demonstration，每类评估 30 次。

5.2 Main Results

【Paper】

| Benchmark | MMaDA-VLA | 最强对比方法 | 差值 | | ---------------------- | ------------------------------------: | -----------------------------------------: | ------------------: | | LIBERO average success | 98.0% | VLA-Adapter 97.3% | +0.7 pp | | CALVIN 1/5 → 5/5 | 99.8 / 98.6 / 96.3 / 93.5 / 89.7% | DreamVLA 98.2 / 94.6 / 89.5 / 83.4 / 78.1% | 第五子任务 +11.6 pp | | CALVIN average length | 4.78 | DreamVLA 4.44 | +0.34 | | Real-world success | 83.3%–93.3% | GR00T N1 56.7%–70.0% | +23.3–26.6 pp |

【Analysis】 最有说服力的不是 LIBERO 的小幅平均提升，而是 CALVIN 后续子任务成功率：当错误必须跨多个动作块传播时，goal observation 约束与并行 refinement 的组合更能维持轨迹一致性。

5.3 Ablation Study

【Paper】 在不使用预训练的 CALVIN 设置中，完整模型平均长度为 4.56；去掉 world-model 目标观测后降到 4.08，去掉 parallel denoising 后为 4.38，改为 causal attention 为 4.49，改为完全 bidirectional attention 为 4.52。

这些结果区分了三个因素：

World-model objective 带来最大收益（−0.48），说明未来视觉状态确实提供了动作规划信号。
Parallel denoising 比“先完整生成图像、再预测动作”更好（−0.18），动作可以读取图像生成过程中的中间 hidden states。
Attention 形式 的影响较小（均小于 0.1），但 hybrid attention 同时保留了模态内全局交互和模态间方向性。

5.4 Generalization

【Paper】 预训练将 LIBERO 平均成功率从 94.5% 提升到 98.0%，将 CALVIN 平均长度从 4.56 提升到 4.78。目标观测可视化显示，模型能保留“任务是否完成”的高层状态变化，但 gripper 几何和小物体细节较模糊。

【Analysis】 这表明 compact visual code 更像 dynamics abstraction，而不是像素级 world model：它对控制有用的原因可能是状态可辨识性，而非图像重建保真度。

【Paper】 在单张 A100 上，KV cache 将平均延迟从约 2.0 s 降到 1.4 s；去噪步数增加时性能先升后降，24 steps 达到最佳平均长度 4.65。论文最终采用 24 steps、6 refresh steps 作为速度与成功率的折中。

6. 方法分析

6.1 为什么有效？

【Analysis】 可以把它理解成三个互补的归纳偏置：

Shared token space 让 vision、language、action 使用同一套 denoising 计算，减少模块边界的信息损失。
Goal observation 把长时域动作变成“到达一个可预测状态”，给 action chunk 一个可检查的中间目标。
Iterative parallel refinement 允许动作各维度互相参考并反复改写，避免 AR 顺序和早期错误锁死后续 token。

6.2 核心创新

【Paper】 真正的创新组合是“原生离散扩散 backbone + goal observation/action 联合生成 + hybrid attention + 大规模 cross-embodiment pre-training”。单独拿出任何一个部件，都能在已有工作中找到相近思想；贡献在于把训练和推理统一到一个可扩展的生成框架中。

6.3 与已有方法的本质区别

| 路线 | 生成关系 | 主要代价 | | ---------------- | -------------------------------------- | ---------------------------- | | Vanilla AR VLA | 按顺序生成 action token | 顺序偏置、误差累积 | | Hierarchical VLA | VLM → policy head | 额外模块与接口失真 | | World-model VLA | goal image → inverse dynamics → action | 多阶段、训练/推理错配 | | MMaDA-VLA | goal image 与 action 同一序列并行去噪 | 多次前向带来延迟，需要 cache |

6.4 关键假设

【Analysis】 方法隐含了四个假设：

离散视觉 token 足以表达与控制相关的未来状态；
action chunk 的维度可被无序并行 refinement 有效建模；
当前指令在一个 denoising cycle 内保持不变，因此 prompt cache 稳定；
大规模跨 embodiment 数据学到的 token-level correspondence 能迁移到新机器人和新相机布局。

7. 局限性

7.1 作者明确提出的局限

【Paper】 生成目标观测的细粒度视觉保真度有限，gripper 和小型复杂物体可能模糊；迭代去噪天然重复计算，实时控制需要 KV cache；真实实验中的失败仍集中在窄开口抓取、抽屉位移不足和高杯堆叠不稳定等精细接触问题。

7.2 自己分析得到的局限

【Analysis】

代码与论文的部署鸿沟：仓库公开了训练与模型推理，但真实 AgileX PiPER 的完整控制、相机同步和安全策略没有作为可复现实验脚本提供。
离散化误差：256 bins 对 7-DoF 每个维度独立量化，bin range 由训练数据决定；超出数据分布的精细动作可能被截断。
延迟仍高于单次 forward policy：24 次去噪即使有 cache 也需要约 1.4 s 量级，快速接触或高频控制场景可能无法直接使用。
目标观测不是可验证的真实动力学：生成图像只需在 token 空间合理，不保证满足碰撞、摩擦、关节极限等物理约束。
实验对比的统计不确定性未充分展开：论文报告成功率和平均长度，但没有系统给出多随机种子置信区间或不同 chunk size 的完整敏感性曲线。

8. 启发与研究思考

【Analysis】 这篇工作给后续 VLA 研究的启发是：

可以把 action chunk 看成需要全局修正的 structured sequence，而不是语言式 token stream；
world model 不一定要独立存在，预测一个短 horizon 的可控目标状态也能作为 policy 的辅助坐标系；
预训练的价值不仅是视觉语义迁移，也在于让模型看到不同 embodiment 下“动作 token 如何改变视觉 token”；
cache 不应只是工程补丁，未来可以把“哪些 token 值得刷新”作为可学习的 computation allocation 问题；
下一步值得研究连续 action diffusion 与离散视觉生成的混合表示，以及带物理约束的 goal-state token。

MM-ACT 论文精读：Learn from Multimodal Parallel Generation to Act

Wed, 26 Aug 2026 00:00:00 GMT

1. 论文概述

【Paper】 《MM-ACT: Learn from Multimodal Parallel Generation to Act》提出一个统一的 Vision-Language-Action（VLA）模型：文本任务规划、未来图像预测和动作 chunk 都在同一个离散 token 空间里生成。模型使用 bidirectional attention，把三种任务写成“给定共享上下文，补全一个被 mask 的 block”。文本与图像使用 re-mask parallel decoding，动作则默认一次前向并行生成整个 chunk。

一句话总结

【Analysis】 MM-ACT 的关键不是简单增加一个 action head，而是把 VLA 重新表述为 block-level masked-token prediction：同一 Transformer、同一套 mask-and-predict 目标，既负责“下一步做什么”，也负责“做完后会看到什么”和“如何用语言描述子任务”。

核心贡献

【Paper】

使用 language、vision、action 三个 modality-specific tokenizer，把文本、图像、机器人状态和动作拼成共享序列。
提出 Context-Shared Multimodal Learning：三种目标从相同的多视角观察、任务指令和状态上下文出发，共享一次多模态建模过程。
为文本/图像采用多步 re-mask decoding，为动作采用 one-step parallel decoding，在动作质量与控制频率之间做取舍。
在 LIBERO、Franka real-world 和 RoboTwin2.0 上验证，报告 96.3%、72.0% 和 52.38% 的成功率；RoboTwin 中联合文本、图像和动作训练比 action-only 提升 9.25 个百分点。

2. 背景与相关工作

【Paper】 传统 VLA 往往把预训练 VLM 与动作头拼接。它们擅长语义理解，却不一定显式建模物理变化；视觉预测型方法能够预测未来，却常常缺少任务分解与语言规划。统一 VLA 试图同时生成多种模态，但已有方案通常混合 autoregressive（AR）文本、diffusion/re-mask 图像和动作，导致 attention 机制、训练目标和推理流程不一致。

【Analysis】 这篇论文抓住的是“目标不一致”与“控制延迟”两个矛盾：AR 适合文本，却要逐 token 前向；diffusion/re-mask 更适合块状图像或动作，却需要多次前向。MM-ACT 选择统一为 mask predictor，再对不同模态使用不同的解码步数。

3. 问题定义

【Paper】 给定机器人在时刻 $t$ 的多视角图像 $I_t$、语言指令 $l_t$、状态 $s_t$ 以及可选的历史描述，模型需要完成三类条件生成：

MMU / text generation：输出当前任务的子任务规划 $y^{text}$；
T2I / image generation：预测执行动作 chunk 后的未来图像 $y^{img}$；
MM2A / action generation：输出长度固定的动作 chunk $y^{act}$。

共享上下文记为 $u=(I_t,l_t,s_t,\ldots)$，模态 token 为 $m\in{\texttt{<|mmu|>},\texttt{<|t2i|>},\texttt{<|mm2a|>}}$。模型学习的是 $p_\theta(y^m\mid m,u)$，而不是为每个模态维护一个独立策略。

【Code】 官方训练配置将 chunk_size 设为 8；LIBERO 使用 7 维 Franka action，RoboTwin 配置默认 action_dim: 16。action codebook 的大小来自 checkpoint 配置，数据集代码的默认值虽写作 1024，但论文与模型准备脚本使用 2048，因此复现实验应以 checkpoint 的 model.config.action_vocab_size 为准。

4. 方法

4.1 Overall Architecture

【Paper】 多视角图像、语言、状态和模态标记先经过各自 tokenizer，形成交错的 shared context；Transformer 对完整序列做 bidirectional attention，再根据 modal token 在尾部补全文本、图像或动作 block。

4.2 核心模块

Modality-specific tokenizers

文本：沿用 LLaDA tokenizer；文本 block 固定为 256，短答案用 <eos> 补齐。
图像：采用 Show-o 的 MAGVIT-v2 quantizer；图像先 pad 成正方形、缩放到 $256\times256$，编码为 256 个 image tokens，生成后再解码回图像。
状态与动作：对归一化到 $[-1,1]$ 的连续标量做 bin quantization。每个标量对应一个 action token，生成后反量化回连续值。

【Code】 training/robotwin_dataset.py 的 quantize_state 与 quantize_action 实现线性映射：$v\mapsto round((v+1)(B-1)/2)$；部署脚本再使用相反映射恢复动作。

Shared context 与 modal token

【Paper】 每种任务的上下文都是 modal token + shared input。shared input 交错包含多视角图像 token、任务指令、描述和可选 robot state。上下文之后追加固定长度的 mask block：图像为 256，动作长度为 $d_{action}\times N_{chunk}$。

【Analysis】 modal token 使同一个 backbone 具备“任务路由”能力；真正改变输出语义的不是网络分支，而是目标 block 的 tokenizer 范围与解码策略。

Bidirectional Transformer

【Paper】 MM-ACT 使用带双向 attention 的 mask-token predictor，所有 masked positions 可以在一次 forward 中同时得到 logits。相比 AR VLA，它避免为每个 action scalar 逐 token 运行完整网络；相比混合式模型，它不需要在 AR 与 diffusion head 之间切换。

4.3 关键公式

对目标序列 $x_0=(x_0^1,\ldots,x_0^L)$，每个位置独立以 $p_{mask}=f_m(t)$ 被替换为 <mask>：

$$ q_t(x_t^i\mid x_0^i)=(1-f_m(t))\mathbf{1}[x_t^i=x_0^i]+f_m(t)\mathbf{1}[x_t^i=\texttt{}]. $$

【Paper】 文本使用 linear schedule；图像和动作使用 cosine schedule。动作训练固定 $t=1$，即整个 action block 从全 mask 状态开始，直接学习一次性补全。

统一损失只在被 mask 的位置计算：

$$ \mathcal{L}(\theta)=-\mathbb{E}\left[\sum_{m\in\mathcal{M}}\frac{\lambda_m}{t}\sum_{i\in\mathcal{I}m}\mathbf{1}[x_t^i=\texttt{}]\log p\theta(x_0^i\mid C_m,x_t)\right]. $$

其中 $\mathcal{M}$ 是三种模态，$\lambda_m$ 控制各任务的梯度权重，$C_m$ 是带 modal token 的 shared context。该式的含义是：三种任务可以使用不同数据 block，但优化器看到的是同一类 masked-token cross-entropy。

4.4 Training

【Paper】 训练采用两阶段策略。Stage 1 令 $\lambda_{mm2a}=0$，先训练文本和图像生成；Stage 2 主要优化动作，同时把文本和图像权重降到约 0.05–0.1，以保留跨模态能力。LIBERO 每个子基准约 11k steps，RoboTwin 多任务约 27k steps，Franka 每个任务约 8k steps；batch size 为 128，action chunk size 为 8。

【Code】 configs/mmact_robotwin_mix.yaml 默认 co_action/co_t2i/co_mmu=True、action_weight=1.0、t2i_weight=0.05、mmu_weight=0.05，优化器是 AdamW，learning rate 为 $5\times10^{-5}$，warmup 500 steps。training/train_mmact_robotwin_mix.py 把 action、T2I、MMU batch 拼接后一次 forward，再按配置权重求和。

4.5 Inference

【Paper】 部署时只生成动作。模型把 action block 初始化为 mask，一次 forward 得到所有动作 token 的 logits，采样后反量化成连续动作并执行第一个时间步；随后重新采集观察，滚动生成下一个 chunk。论文在 chunk size 8、one-step decoding 下报告最高约 40 Hz 的 action generation frequency（每 chunk 5 Hz 的控制设置）。

【Code】 MMACTModelLM.action_generate 同时支持 one-step 和 re-mask 路径，实际是否一次完成由 timesteps 与部署配置控制；deploy_policy.py 默认构造 6-step 接口，但论文实验最终选择 one-step action decoding。代码因此比论文叙述更通用，复现论文设置时需要显式把 action generation 的步数设为 1。

4.6 代码实现对照

| 论文概念 | 官方代码位置 | 实际行为 | | --- | --- | --- | | 统一模型 | models/modeling_mmact.py | MMACTModelLM 继承 MMadaModelLM，复用 MMaDA backbone 并增加 action utilities。 | | 多任务 forward | forward_process_vla | 按 action、T2I、LM、MMU 的 batch 段建立 attention bias，分别计算 loss。 | | 动作 loss | forward_process_action / forward_process_vla | 默认 plain cross-entropy，也支持 margin 或 Gaussian soft CE。 | | 动作生成 | action_generate | 在 action slice 上做并行采样和低置信度 re-mask；timesteps=1 才是论文的 one-step 设置。 | | 数据量化 | training/robotwin_dataset.py、training/libero_action_dataset.py | 连续状态/动作裁剪到 $[-1,1]$ 后映射到离散 bins。 | | 训练入口 | training/train_mmact_robotwin_mix.py | 通过 co_action/co_t2i/co_mmu 组合任意模态，并按权重聚合。 | | 部署 | deployment/mmact_deploy.py、experiments/robot/*/deploy_policy.py | 将视觉 token、状态 token 和 action block 拼接后调用模型生成。 |

5. 实验

5.1 Experimental Setup

【Paper】 实验覆盖三个层次：LIBERO 四个子基准（Spatial、Object、Goal、Long）的 Franka 仿真；RoboTwin2.0 的 Agilex Piper 双臂、八个 unseen bimanual tasks；以及 Franka Research 3 真实机器人上的 Press Button、Stack Block、Sort Vegetables and Fruits。RoboTwin 使用约 70k 个过滤后的训练样本，Franka 每个任务收集 100 条 teleoperation demonstrations。

5.2 Main Results

| Benchmark | MM-ACT 结果 | 对比结论 | | --- | ---: | --- | | LIBERO average SR | 96.3% | 高于 OpenVLA-OFT 95.4%、$\pi_0$ 94.2% 和 UniVLA 95.5%。 | | LIBERO-Long | 93.0%（+Text） | 相比 action-only vanilla 的 88.0%，任务规划联合训练提升 5.0 个百分点。 | | RoboTwin2.0（8 tasks） | 52.38% | 高于 $\pi_0$ 的 48.13% 与 OpenVLA-OFT 的 23.13%。 | | Franka real-world | 72.0% | Press Button 80%、Stack Block 70%、Sort 66%。 |

【Analysis】 结果支持两件事：统一 token space 并没有牺牲 action performance；更重要的是，在 out-of-domain 的 RoboTwin 上，跨模态训练的收益大于单纯更换解码器带来的收益。

5.3 Ablation Study

【Paper】 RoboTwin action-only baseline 的平均成功率是 43.13%。加入 text、image、text+image 后分别为 46.50%（+3.37）、48.75%（+5.62）和 52.38%（+9.25）。这说明三种目标共享上下文时存在互补监督，而不是简单的多任务平均。

动作解码策略也揭示了效率边界：chunk size 8 时 one-step 为 43.13%、0.22 s，re-mask（6 steps）为 42.38%、1.06 s；chunk size 16 时 re-mask 提升到 56.75%，但仍需 1.06 s。论文因此选择 chunk 8 + one-step 作为实时控制默认值。

【Paper】 文本与图像的解码策略对动作也有影响：image re-mask 达到 48.75%，高于 image one-step 的 46.13%；text one-step 与 re-mask 分别为 46.63% 和 46.50%。状态是否放入上下文也不同：text context 中加入 state 后为 43.50%，image context 中加入 state 后升至 51.50%。

5.4 Generalization

【Paper】 未来图像质量从 Stage 1 到 Stage 2 继续提升：PSNR 12.08→14.23、SSIM 0.79→0.80、LPIPS 0.11→0.09。相反，文本规划准确率由 81.5% 降到 68.7%；论文将其归因于文本目标在训练集上过快拟合，而图像目标仍在缓慢学习。这个反差说明跨模态训练并不自动让每个模态都变好。

6. 方法分析

6.1 为什么有效？

【Analysis】 动作、未来图像和子任务文本都由同一份 observation-conditioned context 产生。文本迫使模型编码“下一步子任务”，图像迫使模型编码“动作后的状态变化”，动作则必须把这些语义和动力学线索落到可执行 token。共享 backbone 因此获得了比 action-only 更丰富的训练信号。

6.2 核心创新

统一目标：将 AR token prediction 与 diffusion-like denoising 都改写成 masked-token cross-entropy。
统一上下文：不是把多个 head 的 loss 机械相加，而是让三种目标读取完全相同的多模态观察。
按模态分配解码预算：文本/图像用多步 re-mask，动作使用一次并行预测，把算力优先留给控制频率。
离散 action representation：连续控制通过 bin tokenizer 进入与文本、图像兼容的词表。

6.3 与已有方法的本质区别

| 路线 | 文本 | 图像 | 动作 | 主要代价 | | --- | --- | --- | --- | --- | | AR unified VLA | AR | AR | AR | 动作逐 token，延迟高。 | | Hybrid unified VLA | AR | PD/re-mask | PD/re-mask | 需要混合 attention 与训练目标。 | | MM-ACT | block mask | block mask | one-step block mask | 结构简单，但 action 一步预测依赖离散化和固定 chunk。 |

6.4 关键假设

【Paper】 任务规划、未来图像和动作可以从同一时刻的 shared context 学到互补关系。
【Analysis】 action block 的固定长度足以覆盖控制需要；超过该 horizon 的长期规划由下一次滚动预测承担。
【Analysis】 将连续动作量化为 2048 bins 的离散 token 不会造成决定性控制误差。
【Analysis】 训练数据中的子任务文本与未来图像标注足够可靠，否则跨模态监督可能把噪声传给 action policy。

7. 局限性

7.1 作者明确提出的局限

【Paper】 论文没有单独列出长篇 limitation section，但实验明确显示 Stage 2 会使文本规划泛化从 81.5% 降到 68.7%，说明联合训练存在模态间的负迁移；同时，长 chunk 的 re-mask 虽提高成功率，却带来约五倍推理时间。

7.2 自己分析得到的局限

【Analysis】 论文的 one-step action 结果依赖固定 chunk size 8；对于更长动作序列，实验已显示 one-step 可能不如 re-mask。
【Analysis】 action token 的 bin quantization 将连续控制误差离散化，论文没有给出 codebook size、控制频率与精度之间的系统敏感性实验。
【Analysis】 真实机器人只覆盖三个任务，且每任务 100 条示教；相比大规模 VLA 预训练，跨 embodiment 和跨任务扩展仍未充分验证。
【Code】 仓库同时保留了 one-step 与多步接口，默认参数和论文实验设置并不完全相同；直接运行部署脚本可能得到 6-step action decoding，而不是论文报告的 one-step 配置。

8. 启发与研究思考

【Analysis】 MM-ACT 提供了一个值得继续追问的设计空间：多模态辅助目标的价值可能不在于部署时生成它们，而在于训练时迫使策略学习更好的 latent state。后续可以沿三个方向推进：

用 uncertainty-aware loss 或 gradient surgery 缓解 Stage 2 对文本的负迁移；
让 action chunk size 与任务阶段、速度或置信度自适应，而不是固定为 8；
把 depth、触觉、接触事件等新模态以同样的 tokenizer + mask block 方式接入，测试“共享上下文”能否扩展到真正的 physical state modeling。

MWM 论文精读：让世界模型预测真正影响机器人决策的东西

Wed, 26 Aug 2026 00:00:00 GMT

1. 论文概述

论文名称：《Mask World Model: Predicting What Matters for Robust Robot Policy Learning》

论文链接：arXiv · 代码：LYFCLOUDFAN/mask-world-model

一句话总结

【Paper】 MWM（Mask World Model）把机器人世界模型的预测目标从未来 RGB 视频改为未来语义 mask：训练时从 mask 学习物体身份、空间布局和接触变化，测试时却只接收多视角 RGB。扩散式 action head 读取世界模型的预测特征并产生闭环动作。

核心贡献

【Paper】

提出几何信息瓶颈（geometric information bottleneck）：以语义 mask 保留对象、布局与交互关系，舍弃纹理、反光、背景和照明等控制无关因素。
以条件 flow matching 预训练 mask dynamics backbone，再以扩散策略的动作损失对齐预测特征与控制需求；部署阶段不需要外部分割器。
在 LIBERO 上得到 98.3% 平均成功率、RLBench 六任务上得到 68.3%，并在 Franka 实机与外观扰动测试中优于 RGB 世界模型基线。

2. 背景与相关工作

【Paper】 视频世界模型常以未来 RGB 重建为目标。它适合视觉生成，却未必适合控制：桌布纹理、光照或反光改变了大量像素，却不改变“夹爪是否接触瓶子”这类决策变量。若模型把容量分给这些外观细节，闭环中的 appearance-driven 误差会不断累积。

【Paper】 MWM 不同于把当前帧的 grounding mask 作为线上输入的路线。它在内部预测未来的语义结构，让策略读取预测过程的 hidden states；mask 只是离线监督信号，不把在线分割质量、延迟或额外模型依赖带入控制回路。

【Analysis】 真正变化的是世界模型必须预测什么，而不只是给 RGB world model 加一项 segmentation auxiliary loss。这一归纳偏置直接针对背景、颜色和照明变化。

3. 问题定义

【Paper】 时刻 $t$ 的输入是多视角 RGB $o_t={o_t^{(v)}}_{v=1}^{V}$、语言指令 $p$ 与低维 state；输出为连续末端执行器动作。训练数据另有机械臂、夹爪和任务物体的像素级 mask $m_t$，但只用于训练。目标是在外观分布改变后仍可靠操控。

| 项目 | MWM 的设定 | | -------- | ------------------------------------------------------------- | | 观测 | 第三人称 + wrist 多视角 RGB、语言；动作阶段使用低维 state | | 预测结构 | 4 个 RGB memory frames 条件下预测 5 个未来 mask latent | | 动作表示 | 36-step chunk；15 维为 7-DoF pose、1-DoF gripper、7-DoF state | | 部署 | Receding-horizon control，每轮只执行 chunk 的第一步 |

4. 方法

4.1 Overall Architecture

【Paper】 多视角 RGB memory 经共享 video VAE 编码、归一化、时间插值和跨视角堆叠后输入 DiT；DiT 在文本 cross-attention 与 diffusion timestep 条件下预测未来 mask latent，并将各层 hidden states 缓存成 predictive feature bank，供 action diffusion head cross-attend。

4.2 核心模块

共享 VAE 与彩色 mask latent

【Paper】 mask 是离散类别图，视频扩散器却处理连续 latent。MWM 用固定调色板把语义区域渲染为 RGB-compatible 图像 $\tilde m_t$，RGB 与 mask 共用预训练 VAE 编码器 $E$：

$$ z_t^o=E(o_t), \qquad z_t^m=E(\tilde m_t) $$

这避免另训 mask VAE，并使 RGB 条件和 mask target 落在同一 latent 接口。Normalize / Interpolate / Stack 随后统一时间采样率并融合多视角 token。

Mask dynamics DiT

【Paper】 28 层 DiT 接收干净的 memory RGB latent 与被加噪的未来 mask latent。memory slots 固定在零噪声时间步，损失只施加于 future slots，因此模型必须建模条件未来。3D RoPE 编码时间、高、宽位置；AdaIN-style 的尺度和偏移注入 timestep。

Predictive feature bank 与 action expert

【Paper】 MWM 不先把 mask 解码成图、再由另一网络看图选动作。它缓存 mask forecasting 中所有 block 的 hidden states $H_t={h_t^{(1)},\ldots,h_t^{(L)}}$，让 action transformer 直接对这些时空特征做 cross-attention。

【Analysis】 这可能是 MWM-C2 强于“显式 mask rollout + inverse dynamics”的关键：策略读取连续、层级化的未来表征，免去一次 mask 解码和二次解释带来的误差传播。

4.3 关键公式

【Paper】 对干净未来 mask latent $z_0$ 与高斯噪声 $z_1\sim\mathcal N(0,I)$，flow matching 使用：

$$ z_s=(1-s)z_0+sz_1, \qquad \mathcal L_{\text{mask}}=\mathbb E\left[w(s)\left|v_\theta(z_s,s,c_t)-(z_1-z_0)\right|_2^2\right] $$

$c_t$ 是 RGB memory 与文本条件，$w(s)$ 是时间步权重，$z_1-z_0$ 为路径真实速度。动作头对 action-state chunk $u$ 加噪 $\tilde u=u+\sigma\epsilon$，以 score matching 优化：

$$ \mathcal L_{\text{act}}=\mathbb E\left[\lambda(\sigma)\left|\phi_\xi(\tilde u,\sigma,H_t)+\epsilon/\sigma\right|_2^2\right] $$

其中 $\phi_\xi$ 是动作去噪器，$H_t$ 为预测特征库，$\lambda(\sigma)$ 调整不同噪声尺度的权重。

4.4 Training

【Paper】 Stage 1 以 $\mathcal L_{\text{mask}}$ 训练 mask dynamics：4 帧 RGB 预测 5 个未来 latent，总共覆盖 9 帧；caption dropout 为 0.06，条件帧加幅度 0.1 的轻微噪声。Stage 2 从 Stage-1 checkpoint 开始，只优化 $\mathcal L_{\text{act}}$；VAE 冻结，DiT backbone 与 action expert 由动作梯度共同更新，不再加入 mask/video reconstruction loss。

【Paper】 附录报告两阶段均用 AdamW、全局 batch 128、weight decay $10^{-5}$、warmup 1000 steps、bf16、gradient clip 1.0；学习率分别为 $3\times10^{-4}$ / $5\times10^{-5}$。每 suite 训练约需 8×A100 80GB：约 3.5 天（30k steps）加 1.5 天（18k steps）。

4.5 Inference

【Paper】 测试时没有语义 mask 与外部分割器。系统输入最新 RGB、state 和指令，由 world model 得到预测特征；动作扩散器使用 10-step Euler sampling 产生 36-step chunk。控制器执行第一步，读入新观测后重新规划。

4.6 代码实现对照

【Code】 官方实现是基于 Genie Envisioner / LTX-Video 的精简 fork。configs/ltx_model/libero/video_model_libero.yaml 对应 Stage 1：return_video: true、train_mode: video_only、action_expert: false；action_model_libero.yaml 对应 Stage 2：return_action: true、train_mode: action_full、action_expert: true。

【Code】 配置与论文关键数字一致：n_previous: 4、chunk: 9、action_chunk: 36、两路 valid_cam: ['image', 'wrist_image']，以及 Stage 1 / 2 的学习率 $3e{-4}$ / $5e{-5}$。data/libero_dataset.py 默认将 RGB key 后缀改为 _mask；README 指出 scripts/convert_libero_hdf5_to_lerobot.py 将实例分割映射为固定颜色的语义 mask。

【Code】 仓库没有随附完整数据和 checkpoint。复现实验还需 GE-Base 风格权重、LTX tokenizer/text encoder/VAE，以及包含 RGB 与 mask 字段的 LeRobot 数据集。

5. 实验

5.1 Experimental Setup

【Paper】 仿真使用 LIBERO 四个 suite（每 suite 500 个评估 episode）和 RLBench 六任务（每任务 20 episodes）。真实系统为 Franka Emika Panda + 第三人称与 wrist 两台 Intel RealSense D435i；每个方法、每项任务均用 50 条示范 post-training。

【Paper】 四项实机任务是放置食物、开抽屉并放笔、倒水、把书放上架。其语义监督由 RoboEngine 离线标注，覆盖机械臂（含夹爪）及任务相关物体；推理依旧只看原始 RGB。

5.2 Main Results

【Paper】 LIBERO 平均成功率为 0.983，较 GE-ACT 的 0.965 提升 1.8 个百分点；在 long-horizon 的 LIBERO-10 为 0.960 vs. 0.944。

| 方法 | Spatial | Object | Goal | LIBERO-10 | 平均 | | ------------------- | --------: | --------: | --------: | --------: | --------: | | Cosmos + IDM | 0.768 | 0.750 | 0.694 | 0.488 | 0.675 | | Cosmos + Latent IDM | 0.948 | 0.992 | 0.892 | 0.842 | 0.919 | | π0 | 0.968 | 0.988 | 0.958 | 0.852 | 0.942 | | GE-ACT | 0.982 | 0.976 | 0.958 | 0.944 | 0.965 | | MWM | 0.988 | 1.000 | 0.982 | 0.960 | 0.983 |

【Paper】 RLBench 六任务中 MWM 平均 68.3%，高于 FiS-VLA 的 50.0% 和 GE-ACT 的 30.8%；Umbrella Out、Frame off Hanger、Wine at Rack 分别达到 85%、75%、90%。Franka 四任务平均 67.5%，而 π0 与 GE-ACT 分别为 38.8%、23.8%；倒水任务中 MWM 为 60%，两个 RGB 基线为 5% / 10%。

5.3 Ablation Study

【Paper】 三种 mask 设计区分了收益来源：MWM-C1（显式未来 mask + IDM）平均 0.810；MWM-C2（直接接 predictive latent features 的 action diffusion）为 0.918；完整双视角 MWM 达 0.983。C1 相对 Cosmos + IDM 从 0.675 提升到 0.810。

【Paper】 正文将 C2 的 RGB 对照写作 0.873→0.918，Table 1 的 Cosmos + Latent IDM 精确条目为 0.919；两者有 0.001 不一致，宜以表格为准。

【Analysis】 消融的要点不是“mask 必然最好”，而是仅改变预测表征已产生收益；直接让策略使用连续 feature bank 比“先生成 mask 图、再反推动作”更自然。C2 与 RGB latent baseline 的极小差异也说明相机设置和训练细节不可忽略。

5.4 Generalization

【Paper】 背景纹理、照明和物体颜色 shift 下，MWM OOD-SR 为 42.1%，优于 π0 的 19.2% 和 GE-ACT 的 12.5%；in-distribution SR 为 67.5%，保留率 $\mathrm{Retain}=\mathrm{OOD\text{-}SR}/\mathrm{SR}_{\mathrm{ID}}$ 为 0.62。随机视觉 token pruning 下，MWM nPAUC 为 0.648，略高于 GE-ACT 的 0.629。

【Analysis】 OOD-SR 的绝对值仍不高，背景扰动下 MWM 仅为 27.5%；token-pruning 的 0.019 nPAUC 优势也是温和证据。因此结论是“相对更鲁棒”，不是“已解决外观泛化”。

6. 方法分析

6.1 为什么有效？

【Analysis】 操控主要取决于物体身份、相对布局与接触，而 RGB loss 对桌布花纹和高光同样敏感。预测语义 mask 强制 world model 做 task-relevant compression，把容量留给运动与交互；再让动作头读出该过程的 hidden states，使这个 bottleneck 能端到端适应控制。

6.2 核心创新

【Analysis】 三个设计缺一不可：未来 mask 是预测 target；mask 不是线上输入；动作头读取预测过程的多层 features。前两点把语义知识蒸馏进 RGB-only policy，第三点避免把未来表征压成可能出错的显式图再二次处理。

6.3 与已有方法的本质区别

| 路线 | 世界模型预测空间 | 部署是否需语义模型 | 控制使用什么 | | --------------------- | ------------------------- | ------------------ | ------------------------------------- | | RGB video world model | RGB / photometric latent | 否 | RGB 预测特征或视频 | | 当前帧 grounding mask | 当前图像的显式 mask | 通常需要 | mask 感知提示 | | MWM | 未来 semantic-mask latent | 否 | 未来 mask dynamics 的 hidden features |

6.4 关键假设

【Analysis】 方法假定语义分区覆盖了任务决定因素。若成功取决于未标注的液体量、柔性形变、透明物边界、受力，或语言指令要求识别纹理文字，过强的几何 bottleneck 可能丢失必要信息。

7. 局限性

7.1 作者明确提出的局限

【Paper】 论文未单列 Limitations 章节。其明确边界是：mask 监督离线产生；实机只覆盖四项桌面任务、每项 50 条示范；visual shift 集中于背景、照明与物体颜色；随机 token pruning 是评估压力测试而非方法贡献。

7.2 自己分析得到的局限

【Analysis】

离线 mask 的获得仍有成本。仿真可直接渲染，实机依赖 RoboEngine；类别定义变化或标注遗漏会限制扩展。
去外观化存在任务依赖性；材质、文字、液面、可变形物或透明反光物的外观可能正是行动所需信息。
实机对比规模较小且未报告误差条；RLBench 只覆盖六个任务，不能直接外推为开放世界通用能力。
成本较高：论文报告每 suite 需 8×A100 80GB 约五天的两阶段训练。

8. 启发与研究思考

【Analysis】 MWM 把问题指向一个更普适的方向：robot world model 不一定要模拟全部可见细节，更应预测 action-sufficient future representation。下一步可以自动发现而非人工指定这种表征；在任务需要时保留材质/文字等 appearance；并把预测不确定性显式交给规划器，让“看不清、预测不稳”触发更保守的动作。

LingBot-VA 2.0 论文精读：原生视频-动作预训练如何服务通用机器人控制

Wed, 26 Aug 2026 00:00:00 GMT

1. 论文概述

一句话总结

【Paper】 LingBot-VA 2.0 不把通用视频生成器事后“改成”策略，而是原生预训练 video-action foundation model：语义视觉-动作 tokenizer 将状态与动作对齐到共享 latent，因果 DiT 同时预测未来视觉与动作，部署时又用 Foresight Reasoning 将预测计算与真实执行重叠。

核心贡献

【Paper】

提出 native video-action pretraining：因果地从零训练完整 stack，避免双向 video backbone 改成因果控制器时的灾难性遗忘。
用 semantic visual-action tokenizer 同时做视觉语义对齐和无动作标注视频的 latent-action 学习。
在 video stream 使用 sparse MoE，并用 Multi-Chunk Prediction（MCP）迫使表示预测更远未来的动力学。
以人类视频作 in-context demonstration，以 human-robot co-training 增加可扩展的 embodiment 数据。
结合 Foresight Reasoning、consistency distillation 与部署优化，把异步控制频率由 35 Hz 提升至 225 Hz。

2. 背景与相关工作

【Paper】 VLA 往往直接学 $o_t,c\mapsto a_t$；video-action model 则联合学习“未来会看见什么”及“什么动作导致这个未来”。前者从图文预训练继承语义，后者能把连续时间、几何和接触的视觉动力学变成密集监督。

现有 video-action 方法常从面向数字内容生成的 VAE 和双向 video diffusion backbone 出发，再加动作分支。论文指出三种错配：重建 VAE 优化外观而非物理语义；高维 latent 和多步 diffusion 推理难以高频闭环；web video 的通用生成目标没有显式编码动作导致的状态变化。

【Analysis】 本文的主张不只是“视频先验有用”，而是要求表示、时间因果性、计算容量和运行时调度都与控制一致。因此 tokenizer 与异步执行并非外围工程，而被纳入 policy 的设计边界。

3. 问题定义

【Paper】 将时间压缩后的视觉表示记为 $z_{0:N}$，低层控制按相邻 visual latent 的转移聚成 action chunk：

$$ a_t=u_{tf_t:(t+1)f_t-1},\qquad t=0,\ldots,N-1, $$

其中 $f_t$ 是 tokenizer 时间下采样率。模型的因果分解是：

$$ p_\theta(z_{1:N},a_{0:N-1}\mid z_0)=\prod_{t=0}^{N-1} p_\theta(z_{t+1}\mid z_{\le t},a_{<t}) p_\theta(a_t\mid z_{\le t},a_{<t},z_{t+1}). $$

前一项以历史和过去动作预测下一状态；后一项是 inverse dynamics，在给定状态转移后解码本 chunk 动作。$a_t$ 不是单个电机命令，而是一段与一个 visual transition 对齐的动作块。

4. 方法

4.1 Overall Architecture

【Paper】 高层 VLM planner 把长目标变为结构化子任务；semantic tokenizer 将图像、机器人视频和 human-video prompt 映射为 visual/action latent；因果 Mixture-of-Transformers（MoT）共享 attention、分别预测视觉与动作。MCP 在训练时增加远期监督，Foresight Reasoning 在部署时将其接入真实闭环。

4.2 核心模块

Semantic visual-action tokenizer

【Paper】 ViT autoencoder 对视频 $o_{1:T}$ 将首帧按 $16\times16$ patch、后续帧按 $4\times16\times16$ tubelet 编码；帧内是 full attention，跨帧是 causal attention。除重建外，冻结的 Perception Encoder $G$ 提供 clip-level semantic alignment。

冻结 visual tokenizer 后，inverse dynamics model（IDM）从连续 $z_t,z_{t+1}$ 压缩出 latent action $\ell_t$；forward dynamics model（FDM）以 transport map 与 residual 重建下一 latent。因此没有动作标签的 web video 也会成为 action-relevant 表示学习数据。

Causal MoT、MoE 和层次上下文

【Paper】 video 与 action 分别有前馈 expert，却共享 causal self-attention；video expert 使用 sparse MoE，action expert 保持 dense。主模型有 30 个 blocks、2048 维 video hidden state、768 维 action hidden state、128 个 routed SwiGLU experts 和 top-8 routing；二者在 3072 维 joint attention space 交互。

planner 约以 2 Hz 后台运行，将 done、instruction、generation_instruction、local_scene_description 写入共享 buffer。低层 policy 在 action-chunk 边界读取后三个字段，故 planner 的低频和 latency 不会阻塞控制。

【Analysis】 容量被非对称地分配给承载复杂动力学的 video stream，而共享 attention 保留“动作是视觉转移解释”的耦合；这样比把两个完全独立的预测器拼接更易共同受益于长视频表征。

MCP、ICL 和 human-robot co-training

【Paper】 MCP 从 main DiT 的特征同时预测后面 1--3 个视觉 chunks，loss 权重为 $(0.5,0.2,0.1)$。它只在训练时使用，通常可在部署时删除。

human-video ICL 将语义一致、但场景/视角/对象实例可不同的演示编码为 $z_{\mathrm{icl}}$，将其作为每个 robot chunk 可见的 task prompt。human-robot co-training 则把手的 6-DoF pose 和从手指关节导出的夹爪开度重定向为统一动作布局；world model 共享，动作 encoder/decoder 由人类或机器人本体分别拥有。

4.3 关键公式

视觉 tokenizer 的联合目标为：

$$ \mathcal L_{\mathrm{vis}}= \underbrace{\lambda_1\lVert o-\hat o\rVert_1+ \lambda_{\mathrm{perc}}\mathcal L_{\mathrm{perc}}+ \lambda_{\mathrm{gan}}\mathcal L_{\mathrm{gan}}}{\mathcal L{\mathrm{rec}}} +\lambda_{\mathrm{align}} \left\lVert\operatorname{avg}(W_{\mathrm{align}}z)-\operatorname{avg}(G(o))\right\rVert_2^2. $$

这里 $W_{\mathrm{align}}$ 将 latent 投影到教师特征空间，$\operatorname{avg}$ 是 temporal average pooling。它在保持视觉细节的同时将 latent 拉向 foundation model 的语义。

latent action 与其前后向一致性为：

$$ \ell_t=q_\phi(z_t,z_{t+1}),\qquad \hat z_{t+1}=f_\psi(z_t,\ell_t)=K_tz_t+\delta_t, $$

$$ \mathcal L_\ell=\sum_t\left\lVert\hat z_{t+1}-z_{t+1}\right\rVert_2^2+ \left\lVert\hat z_t-z_t\right\rVert_2^2. $$

【Paper】 $d_\ell\ll\dim(z_t)$ 的瓶颈避免 $\ell_t$ 复制完整状态；$K_t$ 负责 token 间的信息搬运，$\delta_t$ 解释纯 transport 无法表达的变化。

对 hidden token $h$，MoE 的输出为：

$$ \operatorname{MoE}(h)=E_{\mathrm{shared}}(h)+ \sum_{i\in\mathcal R(h)}\alpha_i(h)E_i(h),\qquad \alpha_i(h)=\gamma\frac{r_i(h)}{\sum_{j\in\mathcal R(h)}r_j(h)}. $$

其中 $r_i(h)=\sigma(g_i^\top h)$ 为 router score，$\mathcal R(h)$ 是 group-limited top-$k$ expert 集合，$\gamma$ 为缩放系数。论文用 auxiliary-loss-free balancing 根据实际 token load 更新 selection bias，而不是给主 diffusion loss 添加额外均衡梯度。

4.4 Training

【Paper】 先训练 tokenizer，后在共享 latent 空间预训练 causal video-action model。后阶段并非严格串行 curriculum：T2I、T2V、TI2VA、ICL、HCT 五个任务持续共同优化，只改变采样比例；早期偏 T2I、中期偏 T2V、后期偏 video-action，保留较小的早期任务比例防止遗忘。

主目标采用 rectified-flow / flow-matching MSE。chunk size 每步在 1--4 latent frames 之间重采样，attention window 在 1--64 chunks 间变化；以 0.5 概率为历史加小噪声，缓解 autoregressive exposure bias。优化器为 Muon（Transformer block 内二维权重，lr $2\times10^{-3}$）和 AdamW（其余参数，lr $10^{-4}$）的混合，warm-up 2000 steps，global gradient norm clip 为 1。

4.5 Inference

【Paper】 Foresight Reasoning 同步维持 execution stream 与 prediction stream。机器人执行 $a_t$ 时，模型从真实观测已校正的 cache $C_t$ 出发，先基于当前动作预测 $\hat z_{t+1}$，再以它预取 $a_{t+1}$；真实 $o_{t+1}$ 到达后会被编码为 $z_{t+1}$ 并覆盖 cache 中的 imagined latent。即在隐藏预测延迟的同时避免持续自回归变为 open loop。

【Paper】 post-training 把 video 5-step、action 10-step 的 PF-ODE sampler distill 到各 2 steps，并结合 FP8 TensorRT、paged/ragged KV cache、FlashInfer attention plugin 和 runtime caching。论文报告异步 chunk latency 从 BF16 PyTorch baseline 的 927 ms 下降至 142 ms；每个 chunk 含 32 个低层控制步。

4.6 代码实现对照

【Code】 官方项目页为 LingBot-VA 2.0。截至本文撰写时，论文 arXiv 页面、论文源码和项目页均未提供 LingBot-VA 2.0 的训练/推理公开仓库。因此不能将文中的 TensorRT、FlashInfer、FSDP、Muon 或 planner 写成可核验的具体文件和配置。

【Analysis】 本文对架构和超参数只以论文为据。特别是 225 Hz 依赖专门的 FP8 编译与运行时优化，不能由模型参数规模推断为任意 PyTorch 环境可复现的吞吐。

5. 实验

5.1 Experimental Setup

【Paper】 RoboTwin 2.0 双臂 benchmark 使用 2,500 条 clean demonstrations（50/task）和 25,000 条 domain-randomized demonstrations（500/task）进行多任务训练，比较 X-VLA、$\pi_{0.5}$、Motus 与 LingBot-VA。

real-world benchmark 包括 Fruit Sorting、Pen Collection、Drawer Tidying、Plate Handover；每任务 20 条 teleoperated demonstrations，训练的是一个跨任务 generalist policy。ICL 实验以四个已见盘子放置任务、每任务 15 条 demonstrations 微调，再测试人类 reference video 对未见对象—目标组合的迁移。

5.2 Main Results

【Paper】 RoboTwin success rate（%）为：

| 方法 | Clean | Randomized | Avg. | | -------------- | -------: | ---------: | -------: | | X-VLA | 72.9 | 72.8 | 72.9 | | $\pi_{0.5}$ | 82.7 | 76.8 | 79.8 | | Motus | 88.7 | 87.0 | 87.9 | | LingBot-VA | 92.9 | 91.6 | 92.2 | | LingBot-VA 2.0 | 93.8 | 93.4 | 93.6 |

相对 $\pi_{0.5}$ 的平均提升为 13.8 points，相对上一代 LingBot-VA 为 1.4 points（均按表中四舍五入值计算）。真实机器人柱状图中，LingBot-VA 2.0 在四个任务的 success rate 与 progress rate 都高于图示的 LingBot-VA 1.0、$\pi_{0.5}$；正文未提供柱状图的原始精确数值，故不将视觉读数写成精确百分比。

5.3 Ablation Study

【Paper】 在相同 1.3B video-action architecture 与 token budget 下，语义 tokenizer 相比 WAN2.2 VAE 的 RoboTwin 结果为：

| 指标 | WAN2.2 VAE Easy / Hard | 本文 tokenizer Easy / Hard | | ----------------- | ---------------------: | -------------------------: | | Horizon 1 average | 81.1 / 78.4 | 86.2 / 83.1 | | Horizon 2 average | 75.5 / 73.9 | 85.7 / 84.0 | | Horizon 3 average | 67.2 / 68.0 | 92.0 / 85.4 | | 50 tasks average | 78.0 / 76.0 | 86.6 / 83.1 |

MCP 消融在 12 fps 和 50 fps 都更快收敛、最终更高。在 50 fps randomized setting，MCP 5k steps 时领先 29.7 points，且用 20k steps 达到 baseline 45k steps 的精度，即约 $2.3\times$ 训练加速。

推理优化的累积结果为：927 ms / 35 Hz（BF16 PyTorch），466 ms / 69 Hz（+ consistency distillation），369 ms / 87 Hz（+ compiled low precision），272 ms / 118 Hz（+ long-horizon attention），最终 142 ms / 225 Hz（+ runtime overhead reduction）。

5.4 Generalization

【Paper】 ICL 只训练四个见过的物体—盘子任务后，给定 human reference video 和当前机器人观察，可展示把 calabash 放到 green plate、把 white paper cup 放到 silver plate 等未见组合；论文将其作为定性 rollout 展示，未报告该设置的汇总成功率。

【Analysis】 它泛化的是 procedure 和组合关系，并非无条件解决所有物理差异。human video 给出比语言更细的时序提示，但落地仍要依赖当前 robot observation 及本体专属动作接口。

6. 方法分析

6.1 为什么有效？

【Analysis】 tokenizer 将“可重建”扩展为“语义对齐、可由状态转移解释”；因果训练使 offline pretraining 的依赖结构与 online control 对齐；MCP 使当前表示必须容纳更远的因果后果，而非靠局部外观复制下一帧。Foresight 的价值则不只是并行，而是用真实 observation 周期性切断预测误差链。

6.2 核心创新

【Paper】 语义视觉-动作 tokenizer、从头 causal video-action DiT、sparse MoE video stream、MCP、human-video ICL/human-robot co-training 与 Foresight Reasoning 构成完整的 native stack；作者的贡献在于把这些围绕 embodied control 的需求一起设计。

6.3 与已有方法的本质区别

| 维度 | 通用视频生成器再适配 | LingBot-VA 2.0 | | ---------- | ------------------------------- | ------------------------------------------------ | | tokenizer | 像素/感知重建 | 重建 + 语义对齐 + latent action | | 时间结构 | 常见先双向预训练、再改因果 | 从头因果预训练 | | 可扩展监督 | 主要依赖 robot action data | web image/video、latent action、robot/human data | | 长程信号 | next chunk 易被外观连续性解决 | MCP 监督 1--3 个未来 chunks | | 实时闭环 | 串行生成或持续 imagined rollout | 预测/执行重叠，真实观察重落地 |

6.4 关键假设

【Analysis】 它假设被动视频中由 IDM/FDM 提取的 latent transition 接近控制相关 action，semantic alignment 不会丢失触觉或力控关键信息，手到夹爪的重定向保留跨本体语义，且真实 observation 足够及时地修正 cache。面对强接触、不可观测状态、视觉遮挡或高系统延迟，这些假设会更脆弱。

7. 局限性

7.1 作者明确提出的局限

【Paper】 planner 和 policy 仍是分开训练、通过固定接口耦合；latent action 来自被动视频，交互或 reinforcement signal 可能更贴近控制；还需扩展预训练数据、sparse backbone 与本体种类，当前重点是双臂操作。

7.2 自己分析得到的局限

【Analysis】 15.3B 总参数模型的 225 Hz 来自重型硬件/编译栈，且本版尚无官方公开代码，外部复核较困难。相对上一代 1.4 points 的 RoboTwin 增益也应与新增系统复杂度一同看待。最后，重落地能纠正可见的状态误差，却无法观测抓取滑移、力或被遮挡物体的内部状态。

8. 启发与研究思考

【Analysis】 这篇论文的启发不是单纯“给 policy 加 MoE”，而是将 action representation、world modeling 与运行时调度放进同一训练—部署闭环。值得检验的下一步包括：把 tactile/force 也做成可预测、可重落地的 latent；让 planner boundary 与 MCP horizon 联合优化；在多本体、latency-matched 的公开 benchmark 上同时报告 active parameters、端到端延迟、能耗和成功率。

LingBot-VA 论文精读：用因果世界模型驱动机器人控制

Wed, 26 Aug 2026 00:00:00 GMT

1. 论文概述

论文名称：《Causal World Modeling for Robot Control》

作者：Lin Li、Qihang Zhang、Yiming Luo、Shuai Yang、Ruilin Wang、Fei Han、Mingrui Yu、Zelin Gao、Nan Xue、Xing Zhu、Yujun Shen、Yinghao Xu

会议 / 期刊：arXiv 预印本（v2，2026）

论文链接：arXiv

代码链接：robbyant/lingbot-va

项目主页：LingBot-VA

一句话总结

【Paper】 LingBot-VA 不把策略视为“当前图像直接映射当前动作”的反应式函数。它先在 latent space 预测未来视觉状态，再根据这段视觉转变反推出动作；video token 和 action token 交错进入同一条因果自回归序列，用 autoregressive diffusion 联合生成。

核心贡献

【Paper】

提出 video-action world model：以因果自回归方式联合建模未来视频 latent 与动作，不把长轨迹拆成彼此失忆的独立 chunk。
设计非对称 Mixture-of-Transformers（MoT）：大视频流继承 Wan2.2-5B 的视觉生成先验，小动作流专门处理低维控制，同时用 attention 交互。
用 Noisy History Augmentation 支持视频 latent 的部分去噪，并以 KV cache 和 FDM-grounded asynchronous inference 降低部署延迟、回接真实反馈。
在 RoboTwin 2.0、LIBERO 与六项真实任务上评估长时程、精确、柔性物体操作、低样本适应和新配置泛化。

【Analysis】 创新不只是给 VLA 加一个视频 auxiliary loss，而是把动作定义成“预测视觉转变的 inverse dynamics 输出”。视频预训练获得的物理先验因此是动作生成的条件，而不是训练后可有可无的旁路特征。

2. 背景与相关工作

【Paper】 常规 VLA 往往学习 $a_t\sim\pi_\theta(\cdot\mid o_t)$，让一个网络用机器人示范同时掌握视觉语义、物理动态和控制。论文将这一瓶颈称为 representation entanglement：动作监督相对稀疏，很难独自支撑高维视觉动态的学习。

已有 world-model 路线包括交互式 neural simulator、按 chunk 生成视频—动作片段的 diffusion policy、以及先生成视觉子目标再由 policy 执行的两阶段方法。【Paper】 作者认为前两类在闭环控制中会遭遇 reactivity gap、跨 chunk 的有限记忆，以及 chunk 内双向 attention 的因果不一致。

【Analysis】 这篇工作的主张不是“画面越逼真，机器人越强”，而是需要对 action 有用、可由真实反馈反复修正的 future latent。由此也能理解：推理可让视频仅部分去噪，但动作仍需完整 flow integration。

3. 问题定义

【Paper】 在部分可观测操作中，机器人接收视觉观测 $o_t\in\mathcal O$、执行 $a_t\in\mathcal A$，并得到 $o_{t+1}$。作者将直接策略改写为 visual dynamics 与 inverse dynamics：

$$ o_{t+1}\sim p_\theta(\cdot\mid o_{\le t}),\qquad a_t\sim g_\psi(\cdot\mid o_t,o_{t+1}). $$

模型实际使用带历史的版本：

$$ z_{t+1:t+K}\sim p_\theta(\cdot\mid z_{\le t},a_{<t}),\qquad a_{t:t+K-1}\sim g_\psi(\cdot\mid\hat z_{t+1:t+K},z_{\le t},a_{<t}). $$

其中 $z_t=E(o_t\mid o_{<t})$ 为 causal video VAE latent，$\hat z$ 是想象的未来，$K$ 是一次预测的视觉 chunk。【Paper】 论文将动作历史也作为 world dynamics 的输入，因为绝对 EEF pose 等动作包含 embodiment 过往构型和交互轨迹。

| 输入 / 输出 | 内容 | 用途 | | ------------------ | ------------------------- | -------------------------------- | | $z_t$ | 多视角观测的 video latent | 表达视觉状态与环境动态 | | $a_t$ | 机器人动作 / action token | 表达执行器运动和控制结果 | | $c$ | T5 编码的指令 | 通过 cross-attention 规定任务 | | $\hat z_{t+1:t+K}$ | 预测的未来视觉状态 | 为 inverse dynamics 提供目标转变 |

4. 方法

4.1 Overall Architecture

【Paper】 prompt 经语言编码器进入 transformer；图像经 Wan2.2 causal VAE 变为 video latent，连续动作经轻量 MLP 变为 action embedding。二者按时间交错后进入 MoT：video stream 用 flow matching 预测未来 latent，action stream 则根据该视觉转变、历史和指令生成动作；每轮执行后，真实观测重新进入上下文。

【Paper】 视频以 $\tau=4$ 进行时间稀疏化，每个视频帧关联 $\tau$ 个连续动作，序列是 $[z_t,a_{t,1},\ldots,a_{t,\tau},z_{t+1},\ldots]$。预测 $K$ 个视觉帧因此对应 $\tau K$ 个高频动作，而不等价于用低帧率视频控制机器人。

4.2 核心模块

Causal video latent 与统一动作表示

【Paper】 Wan2.2 causal VAE 使用 $4\times16\times16$ 时空压缩，再经过 patchify；拼接多路视角后，每帧有 $N=192$ 个空间 token。动作统一为每臂的 7 维 EEF pose、最多 7 维 joint 与 1 维 gripper，总计 30 维；缺失关节补零，并按训练集做逐维 quantile normalization。

【Code】 wan_va/dataset/lerobot_latent_dataset.py 读取 LeRobot episode 中预提取的 latents/，将相机 latent 拼接；_action_post_process 对动作按 latent frame 对齐、填充并依据 inverse_used_action_channel_ids 保留当前 embodiment 的有效维度。RoboTwin 配置使用三路相机，LIBERO 使用两路。

非对称 MoT

【Paper】 video stream 从 Wan2.2-5B 初始化，宽度 $d_v=3072$、30 层；action stream 层数相同但宽度 $d_a=768$，总模型约 5.3B。每一层为两种 token 使用不同 QKV 投影；action 表示先投到视频维度参加联合 self-attention，再残差投回动作维度，最后线性映射回低维动作。

【Code】 wan_va/modules/model.py 的 WanTransformer3DModel 默认 action_dim=30，具有 action_embedder、独立 condition_embedder_action 与 action_proj_out。其 forward_train 把 noisy / condition 的 video 和 action token 拼接后共同前向，并返回两种预测。

动作流初始化

【Paper】 随机初始化动作网络时，动作和视频输出分布不匹配，会破坏联合 attention。论文将预训练视频权重插值到动作宽度，再乘以

$$ \alpha=\sqrt{d_v/d_a} $$

以保持输出方差。【Analysis】 该操作没有增加表达能力，却是把大 video backbone 的先验稳定转交给新 action branch 的必要分布对齐。

Causal teacher forcing 与 Noisy History Augmentation

【Paper】 训练时将真实交错 trajectory 用作 teacher-forcing context，每个 token 只能 attend 到时间更早的 token，因此可在一次前向中并行优化所有时间步。以 $p=0.5$，视觉历史还会被扰动为：

$$ \tilde z_{\le t}=(1-s_{\mathrm{aug}})\epsilon+s_{\mathrm{aug}}z_{\le t}, \quad s_{\mathrm{aug}}\sim U[0.5,1],\quad\epsilon\sim\mathcal N(0,I). $$

这使 action decoder 能从部分带噪的视频表示提取控制信息，测试时不必先将 video token 完全去噪。

4.3 关键公式

【Paper】 Flow Matching 对数据 $x_1$ 与噪声 $\epsilon$ 采用路径 $x^{(s)}=(1-s)\epsilon+s x_1$，目标速度是 $\dot x^{(s)}=x_1-\epsilon$：

$$ \mathcal L_{\mathrm{FM}}= \mathbb E_{s,\epsilon,x_1}\left[\left|v_\theta(x^{(s)},s)-\dot x^{(s)}\right|^2\right]. $$

视频 dynamics 与 action inverse dynamics 分别遵循此目标，联合目标为：

$$ \mathcal L=\mathcal L_{\mathrm{dyn}}+\lambda\mathcal L_{\mathrm{inv}}, $$

$$ \mathcal L_{\mathrm{dyn}}=\mathbb E\left[\left|v_\theta(z_{t+1}^{(s)},s,\tilde z_{\le t},a_{<t}\mid c)-\dot z_{t+1}^{(s)}\right|^2\right], $$

$$ \mathcal L_{\mathrm{inv}}=\mathbb E\left[\left|v_\psi(a_t^{(s)},s,\tilde z_{\le t+1},a_{<t}\mid c)-\dot a_t^{(s)}\right|^2\right]. $$

这里 $v_\theta$、$v_\psi$ 为视频 / 动作 vector field；$c$ 是指令；$\tilde z$ 是可带噪的历史；论文取 $\lambda=1$。【Code】 wan_va/train.py 用两套 FlowMatchScheduler 对 latent 与 action 分别加噪，compute_loss 对两项做 SNR-weighted MSE；action loss 额外受有效动作维度 mask 约束，最后直接相加反向传播。

4.4 Training

【Paper】 预训练汇集 Agibot、RoboMind、InternData-A1、OXE 的 OpenVLA 子集、UMI（不含 DexUMI）、RoboCOIN 及内部数据，约 16K 小时；每个来源按 90/10 切分训练 / 验证。设置为 1.4T token、AdamW 峰值学习率 $10^{-4}$、weight decay 0.01、cosine schedule、bf16、gradient clipping 2.0，文字 classifier-free dropout 为 0.1。

【Paper】 训练随机采样 $K\in[1,4]$；报告的部署用 $K=4$，视频以 3 次 Euler step 积分至 $s=0.6$，动作以 10 次 step 积分至 $s=1.0$，video / action CFG 是 5.0 / 1.0。

【Code】 当前公开仓库提供 post-training 与 inference。va_robotwin_train_cfg.py 默认 $10^{-5}$、50K steps、batch size 1；va_libero_train_cfg.py 默认 5K steps、10 次 gradient accumulation。README 要求训练 checkpoint 的 attn_mode 为 flex，推理时改为 torch 或 flashattn。

4.5 Inference

【Paper】 基础推理缓存历史 token 的 key / value。每轮从噪声生成 $K$ 个未来视频 latent（仅部分去噪），再生成对应动作（完整积分）；机器人执行动作、接收真实图像并编码为新 $z$，再更新 cache。KV cache 避免重复计算，也保留了跨 chunk 的历史。

【Paper】 异步控制中，机器人执行 $a_t$ 时后台生成下一 chunk。若直接基于旧视觉预测 $\hat z_t$ 续写 $\hat z_{t+1}$，会放大 stale forecast。FDM-grounded 方案使用最近真实反馈 $z_{t-1}$ 和当前执行动作 $a_t$ 前向预测 $z_t$，以反馈对齐的 latent 替代旧预测后再生成下一段；post-training 还加入 $\mathcal L_{\mathrm{fdm}}$。

【Code】 仓库实现为 server-client inference。RoboTwin 的 eval_polict_client_openpi.py 获取 action、按 action_per_frame 执行，得到关键帧后调用 infer(..., compute_kv_cache=True, imagine=False, state=action) 更新 cache。配置与论文报告不同：RoboTwin 默认 frame_chunk_size=2、video / action steps 25 / 50；LIBERO 为 4、20 / 50。应按模型 checkpoint 的实际 config 部署，不能把论文 3 / 10 step 直接视为仓库默认。

4.6 代码实现对照

| 论文概念 | 官方实现 | 核对结果 | | ----------------------- | ----------------------------------------------------------------------- | ---------------------------------------------------------------------------------------------- | | 统一 video-action MoT | wan_va/modules/model.py 的 WanTransformer3DModel | 【Code】视频和动作有独立 embedding / output head，但在统一 transformer 前向内共同处理。 | | LeRobot latent 管线 | wan_va/dataset/lerobot_latent_dataset.py | 【Code】训练前须离线从视频抽取 latents/，loader 再做多视角拼接、动作对齐、归一化与通道映射。 | | 联合 flow matching | wan_va/train.py 的 _add_noise、compute_loss | 【Code】视频与动作各用 scheduler、SNR 权重 MSE，动作还使用 mask。 | | 分布式训练 / checkpoint | wan_va/train.py、wan_va/distributed/fsdp.py | 【Code】采用 FSDP；rank 0 以 diffusers 格式保存 transformer。 | | 部署 / 评测 | wan_va/wan_va_server.py、evaluation/robotwin/、evaluation/libero/ | 【Code】模型服务器与仿真 client 分离；README 估计 RoboTwin 单卡 offload 评测约需 24GB VRAM。 |

5. 实验

5.1 Experimental Setup

【Paper】 RoboTwin 2.0 覆盖 50 项双臂任务，Easy 使用固定初始状态，Hard 随机化物体姿态与布局。训练使用每任务 50 条 clean 加每任务 500 条随机场景示范，合计 27,500 条；视频从 50 Hz 降至 12.5 Hz，动作维持 50 Hz，训练 50K steps、学习率 $10^{-5}$。

【Paper】 LIBERO 的 Spatial、Object、Goal、Long 四个 suite 各含 10 个任务、每任务训练 50 条示范；每个 suite 以 3 个随机 seed、每 seed 500 次试验评测。真实部署评测 Make Breakfast、Pick Screws、Insert Tubes、Unpack Delivery、Fold Clothes、Fold Pants，每项以 50 条真实示范、500 steps、学习率 $10^{-4}$ 微调。

5.2 Main Results

【Paper】 RoboTwin 50 任务平均成功率为 Easy 92.93%、Hard 91.55%，相对次优 Motus 高 4.2、4.6 个百分点；Horizon=3 时达到 93.22% / 93.28%，增益增至 8.2 / 9.1 个百分点。

| 方法 | RoboTwin Easy | RoboTwin Hard | LIBERO Avg | | ----------- | ------------: | ------------: | ---------: | | $\pi_0$ | 65.9 | 58.4 | 94.1 | | $\pi_{0.5}$ | 82.7 | 76.8 | — | | Motus | 88.7 | 87.0 | — | | X-VLA | 72.9 | 72.8 | 98.1 | | LingBot-VA | 92.93 | 91.55 | 98.5 |

【Paper】 LIBERO 分项是 Spatial $98.5\pm0.3$、Object $99.6\pm0.3$、Goal $97.2\pm0.2$、Long $98.5\pm0.5$。论文的 SOTA 表述应在其选取的基线与协议下理解；其表中 Goal 的最高值实际是 OpenVLA-OFT 的 97.9。

【Analysis】 长 horizon 上的更大增益与“因果 cache + 真实回灌”叙事相一致，但不能仅据主结果断言收益完全来自记忆机制；数据规模、视频预训练和系统实现也共同变化。

5.3 Ablation Study

【Paper】 RoboTwin Easy 的完整模型为 92.9；FDM-grounded async 为 90.4，而 naive async 为 74.3，Horizon=3 更降至 32.9。结论是并行化本身不足，必须用真实反馈对齐异步视觉预测。使用原始 Wan2.2-5B 直接 fine-tune 的基线为 80.6；随机初始化 action stream 的曲线梯度波动更大、收敛更慢，插值加缩放初始化最平稳。

5.4 Generalization

【Paper】 作者在“训练时仅见单一物体、测试换形状与纹理”和“训练时位置局部固定、测试随机特别是 OOD 区域”两个轴评估泛化，报告方法均优于比较对象。低数据分析中，10 条示范时该方法在 Make Breakfast progress score 比 $\pi_{0.5}$ 高 15.6 个百分点，在 RoboTwin Easy 高 10.3 个百分点。

6. 方法分析

6.1 为什么有效？

【Analysis】 它同时解决了三个层次的问题：视频预训练提供物体与接触变化的表示；因果 attention 与 KV cache 让完整执行历史持续可用；部分去噪、异步执行、FDM 回锚共同把昂贵的生成过程变成可闭环使用的控制系统。缺少其中任一项，另两项也难以直接转化为实时机器人能力。

6.2 核心创新

【Analysis】 最重要的组合是“video 先生成、action 由视觉转变反推，但两者不分离”。离线 video planner 会把误差单向传给 controller；普通 auxiliary video loss 则不能保证 action 真正以未来状态为条件。交错 token 和共享因果上下文让两条生成支路有共同的时间责任。

6.3 与已有方法的本质区别

| 路线 | 未来状态的角色 | 历史记忆 | 闭环校正 | | -------------------------- | ------------------------------ | ----------------------- | --------------------------------- | | 反应式 VLA | 通常不显式预测 | 有限 observation window | 读取当前图像 | | chunk diffusion | 生成局部片段 | chunk 边界易丢失 | 多在下一 chunk 回接 | | video subgoal + controller | 外部中间目标 | 两模块各自维护 | 依赖重规划频率 | | LingBot-VA | action inverse dynamics 的条件 | 因果 KV cache | 每轮真实观测回灌，异步时 FDM 对齐 |

6.4 关键假设

【Analysis】 方法假设 video latent 含有足够的 action-relevant information，视觉与动作历史能近似恢复关键隐状态。若力觉、触觉、遮挡物体状态或精确 proprioception 是决定性信息，inverse dynamics 仍会多解；也假设 VAE 压缩和部分去噪不会删掉精密插装所需细节。

7. 局限性

7.1 作者明确提出的局限

【Paper】 论文明确将大规模自回归 video-action 模型的 inference latency 视为部署障碍，即使有 KV cache 与部分去噪也需要异步预测 / 执行。作者还指出新平台需要少量 task-specific post-training 数据，示例是 50 demonstrations。

7.2 自己分析得到的局限

【Analysis】

成本高：5.3B 模型、VAE 与多次 flow integration 仍然昂贵；官方 README 估计 RoboTwin 单卡 offload 评测约需 24GB VRAM。
视觉盲区：触觉、力觉和不可见状态未被显式建模，精细接触任务可能受限。
异步仍依赖模型：FDM 能修正 stale forecast，但面对执行器延迟、环境突变或模型外移动物体时，前向预测本身也可能出错。
可复现边界：官方仓库公开后训练、权重和部署代码，但默认 chunk / sampling steps 与论文报告不同；完整预训练数据与真实实验细节不能只靠当前仓库完全复现。

8. 启发与研究思考

【Analysis】 LingBot-VA 提出一个直接的设计准则：world model 不必独立充当 planner；把预测状态变化作为 action model 的条件，可让 imagination 对控制拥有明确的学习责任。值得继续检验的方向包括：加入 tactile / force / proprioception 来增强 FDM 的反馈锚点；让模型估计未来 latent 的不确定性，并在不确定时动态缩短 chunk；以及探索统一动作接口在灵巧手、移动底盘和更多 embodiment 间的边界。

LeRobot 论文精读：把机器人学习做成端到端开源基础设施

Wed, 26 Aug 2026 00:00:00 GMT

1. 论文概述

【Paper】《LeRobot: An Open-Source Library for End-to-End Robot Learning》发表于 ICLR 2026。论文的对象不是某一个新的 VLA 或控制器，而是一套覆盖“电机通信 → 遥操作采集 → 数据存储/流式读取 → 策略训练 → 推理执行”的开源基础设施。

作者：Remi Cadene、Simon Aliberts、Francesco Capuano、Michel Aractingi、Adil Zouitine、Pepijn Kooijmans、Jade Choghari、Martino Russi、Caroline Pascal、Steven Palma、Mustafa Shukor、Jess Moss、Alexander Soare、Dana Aubakirova、Quentin Lhoest、Quentin Gallouédec、Thomas Wolf（Hugging Face 及合作机构）

【Paper】核心贡献：

用 Python-native、可组合的 middleware 统一低成本机械臂、移动操作平台和 humanoid 的控制接口。
提出可存储多路相机、状态、动作、任务文本和元数据的 LeRobotDataset，并支持远程 streaming。
提供覆盖 imitation learning、reinforcement learning 与 VLA 的 PyTorch 策略实现，以及可在远程机器运行的 asynchronous inference。
通过 Hugging Face Hub 的公开数据和模型生态，形成“采集—训练—分享—复用”的闭环。

一句话总结

【Analysis】 LeRobot 的真正创新点是把机器人学习中经常被各实验室重复实现的“胶水代码”提升为公共抽象：研究者可以替换 robot、dataset 或 policy，而不必重写整条 pipeline。

2. 背景与相关工作

【Paper】 经典机器人系统依赖显式模型（kinematics、contact model、planner 与 controller）的模块化流水线；它在结构化工厂环境中可靠，却难以覆盖家庭等非结构化场景。Robot learning 通过隐式模型直接学习 observation-to-action 映射，性能随数据和算力扩展，但引入了新的基础设施问题：不同机器人有不同 SDK，不同数据集使用 ROS bag、TFDS 或私有 JSON，策略实现和评测脚本也彼此割裂。

【Paper】 低成本 teleoperation 硬件让分布式采集成为可能。SO-10X、ALOHA 等平台的成本远低于工业机械臂，社区可以贡献大量 demonstration；问题转而变成如何让这些异构数据可发现、可组合、可流式读取。

【Analysis】 因此 LeRobot 不是要取代 ACT、Diffusion Policy 或 Pi0，而是为它们提供共同的 data contract、robot contract 和 runtime contract。

3. 问题定义

【Paper】 给定一个真实机器人及其传感器，系统需要支持以下闭环：

| 环节 | 输入 | 输出 | | --- | --- | --- | | Control / middleware | 机器人配置、低层 SDK | 统一的 observation 与 action 接口 | | Teleoperation | leader 状态、follower 状态、相机 | 专家轨迹 episode | | Dataset | 多模态时间序列 | 可检索、可分享、可 streaming 的 LeRobotDataset | | Policy training | episode、任务文本、策略配置 | checkpoint 与 normalization stats | | Inference | 实时 observation、策略 checkpoint | action chunk 及逐步执行的 action |

机器人状态和动作的维度由 embodiment 决定；论文不假设统一的 action space。【Code】 当前仓库通过 Robot/RobotConfig 注册不同硬件，并由 policy 的 PolicyFeature 声明输入输出形状；因此扩展机器人主要是实现接口和特征映射，而不是修改训练器核心。

4. 方法

4.1 Overall Architecture

【Paper】 LeRobot 的垂直集成由五层组成：硬件 middleware、数据采集与 LeRobotDataset、策略模型、训练/评测脚本、推理 runtime。数据流可以概括为：Robot/Teleoperator → processed observation-action → LeRobotDataset → Policy → action chunk → Robot。

【Code】 当前仓库将这些层分别组织在 src/lerobot/robots、src/lerobot/teleoperators、src/lerobot/datasets、src/lerobot/policies、src/lerobot/scripts 与 src/lerobot/async_inference 中。

4.2 核心模块

统一 Robot middleware

输入：硬件配置、串口/网络地址、相机配置。
输出：标准化 observation；接收标准化 action 并发送给 follower。
作用：屏蔽 FeeTech、Dynamixel 等执行器 SDK 的差异。
【Code】 Robot 抽象提供 connect、get_observation、send_action、disconnect 等生命周期；RobotConfig 通过 choice registry 注册具体平台。leader/follower 组合可直接用于 teleoperation。

论文列举 SO-100/101、Koch-v1.1、ALOHA-2、Hope-JR、Stretch-3、LeKiwi 和 Reachy-2；【Code】 截至当前 main 分支，README 还列出 OMX、EarthRover、OpenArm、Unitree G1、reBot B601 等，说明代码覆盖已超过论文统计快照。

LeRobotDataset

输入：同步的 state/action、RGB/depth 相机帧、任务文本、FPS 和 embodiment 元数据。
输出：PyTorch Dataset 或 IterableDataset 样本。
存储：data/**/*.parquet 保存表格状态，videos/**/*.mp4 保存视频，meta/info.json、stats.json、tasks.parquet 保存 schema、归一化统计与任务索引。
为什么需要：把“不同机器人、不同相机、不同采样率”的数据变成可组合的统一 contract。

【Code】 LeRobotDataset 从本地目录或 Hugging Face Hub 加载数据；StreamingLeRobotDataset 使用 IterableDataset、有限长度 backtrack buffer 和 torchcodec 按需解码远程视频，内存占用不再随 episode 总数线性增长。

策略与可复用 recipe

【Paper】 论文覆盖 ACT、Diffusion Policy、VQ-BET、HIL-SERL、TD-MPC、Pi0 与 SmolVLA 等范式，策略均以 PyTorch 实现，可从示教数据训练，也可直接加载 Hub 上的 checkpoint。

【Code】 PreTrainedPolicy 约定 forward、predict_action_chunk 和 select_action。ACT、Diffusion、VQ-BeT、Pi0、SmolVLA 等策略用相同的 action-chunk 消费接口，训练器不需要知道每个模型的内部网络。

Asynchronous inference

物理解耦：policy server 可以运行在有 GPU 的远程机器，robot client 只运行低层控制。
逻辑解耦：producer 预测未来 action chunk，consumer 以固定控制频率消费队列。
重叠 chunk：对相同 timestep 的动作调用可插拔聚合函数 f；默认实现取最新动作，也可使用 weighted average。
【Code】 policy_server.py 负责 observation 到 chunk 的推理，robot_client.py 的 _aggregate_action_queues 合并时间戳重叠的 chunk，并通过 gRPC 传输。

4.3 关键公式

数据样本与时间对齐

【Paper】 每一帧可以表示为

$$ x_t = {o_t^{state},\ o_t^{image_1},\ldots,o_t^{image_m},\ a_t,\ task_t}, $$

其中 state、多路图像和 action 共享时间戳，task 是可用于 language-conditioned policy 的文本元数据。对 action-chunk policy，模型输出

$$ \hat a_{t:t+H-1}=\pi_\theta(o_{\le t}, task_t), $$

H 是 look-ahead horizon，控制器再以固定频率执行其中的单步动作。

重叠 action 的聚合

【Paper】 对同一未来时刻收到的多个预测，系统计算

$$ a_t=f\left(\hat a_t^{(1)},\hat a_t^{(2)},\ldots\right). $$

f 可以是 latest、均值或任务定制的鲁棒聚合器。【Analysis】 该抽象把“策略多久查询一次”和“机器人多久执行一次”解耦，是 LeRobot 面向慢速 VLA 的关键 runtime 设计。

Streaming 的内存边界

【Code】 StreamingLeRobotDataset 只保留元数据、有限 backtrack/look-ahead 缓冲和当前视频解码帧；若缓冲上限为 B，运行时缓存近似为 O(B)，而不是完整数据集的 O(N)。论文未给出统一的 B 数值，因为它取决于 delta timestamp 和采样配置。

4.4 Training

【Paper】 训练器以 dataset、policy config 和 optimizer config 为输入，统一完成 batch 读取、预处理、loss 聚合、checkpoint 与评测。论文强调 recipe 可组合，而非规定单一损失：ACT 使用 L1+KL，Diffusion Policy 使用扩散目标，RL 策略使用各自的 critic/actor 目标。

【Code】 lerobot_train.py 创建 policy、dataloader 和 optimizer；dataset 的 stats.json 用于 normalization，验证指标和 checkpoint 由统一 trainer 管理。当前仓库支持多 GPU/FSDP 配置，并在训练阶段区分 forward（返回 loss）和推理阶段的 select_action。

4.5 Inference

【Paper】 在线阶段，robot client 以控制频率读取 observation；policy server 预测长度为 H 的 action chunk，并把带 timestep 的 chunk 送回 client。client 将 chunk 放入队列，聚合重叠预测后逐步发送给 follower。

【Code】 本地策略也遵循同一约定：predict_action_chunk 产生 [batch, horizon, action_dim]，select_action 负责 action queue；ACT 在开启 temporal ensemble 时在线维护加权平均，Pi0/SmolVLA 等策略则按配置缓存 chunk。

4.6 代码实现对照

| 论文描述 | 官方代码位置 | 对照结论 | | --- | --- | --- | | 统一 middleware | src/lerobot/robots/robot.py、各平台目录 | Robot 生命周期接口与注册机制落地，硬件细节被隔离。 | | 多模态数据格式 | datasets/lerobot_dataset.py、dataset_metadata.py | Parquet/MP4/JSON 元数据结构与论文一致。 | | Streaming | datasets/streaming_dataset.py | 通过 IterableDataset 和 backtrack buffer 实现按需读取。 | | 可复用 policy | policies/pretrained.py、各 policy 子目录 | forward/predict_action_chunk/select_action 形成统一策略 API。 | | 异步推理 | async_inference/policy_server.py、robot_client.py | gRPC producer-consumer 与可插拔 chunk 聚合已实现。 |

【Analysis】 论文统计的是 2025 年 9 月的生态状态，而当前 main 分支（代码提交时间 2026-08-25）已经新增更多 robot、policy 和仿真环境。因此代码适合说明架构演进，不应把 README 的最新清单当作论文实验结果。

5. 实验

5.1 Experimental Setup

【Paper】 论文以真实机器人和社区 Hub 数据作为主要证据，统计 dataset、episode、下载量、模型上传/下载趋势，并在 MacBook M1、RTX 4090、A100 等平台测量策略显存和推理延迟。仿真侧提供 LIBERO 与 Meta-World 的统一评测接口；仿真主要用于系统化 benchmark，真实数据仍是核心训练来源。

5.2 Main Results

【Paper】 截至 2025 年 9 月，LeRobotDataset 已有 16K+ 个公开数据集、2.2K+ 位贡献者。数据不仅来自原生支持的平台，Franka Panda、xArm、R1Pro 等机器人也被社区转换到统一格式，说明 schema 的价值超出硬件支持范围。

【Paper】 在策略生态中，轻量的单任务 ACT 因体积小、推理快、约 50 条轨迹即可起效而拥有最高上传/使用热度；SmolVLA 则通过语言条件获得更广的任务适用性。ACT 在 RTX 4090/A100 上约可达到 100–200 Hz，而较大的 π_0 在低端设备上可能超过 5 秒超时。

5.3 Ablation Study

【Paper】 这篇工作没有针对单一模型的结构 ablation；主要对比的是系统设计的可扩展性：预加载 dataset 与 streaming dataset 的读取耗时、同步推理与异步 action-chunk 推理的 cycle time，以及不同 policy 的显存/延迟。

【Paper】 streaming 在初始化后保持接近预加载格式的 steady-state 读取性能，同时把视频按需解码；异步推理的加速来自“计算下一段 chunk 与执行当前 chunk 重叠”，而非简单提高控制线程频率。

5.4 Generalization

【Paper】 generalization 体现在三个维度：

Embodiment：同一 middleware 把低成本 arm、mobile manipulator 与 humanoid 接入共同 API。
Data：schema 可以承载原生支持和社区转换的机器人配置，允许跨数据集混合。
Policy/runtime：从单任务 ACT 到多任务 VLA，从本地 CPU/GPU 到远程 server，调用方只依赖统一的 action 接口。

【Analysis】 这种 generalization 更像“接口层的可迁移性”，不是论文宣称某个策略在未见机器人上零样本成功；具体控制质量仍由 embodiment、数据和 policy 决定。

6. 方法分析

6.1 为什么有效？

【Analysis】 机器人学习的瓶颈往往不是单个模型的表达能力，而是数据无法复用、控制循环被推理延迟阻塞、硬件接入成本过高。LeRobot 同时消除三类摩擦：统一 schema 让数据规模化，异步 runtime 让慢模型可部署，middleware 让同一训练代码跨机器人复用。三者叠加后，更多数据和更多算力才真正能转化为可重复实验。

6.2 核心创新

垂直整合而非单点算法：把硬件、数据、policy 和部署放在同一个可组合抽象内。
Streaming-first 数据设计：面向百万 episode 规模，避免“先下载完整数据集”成为实验门槛。
Runtime decoupling：把 action prediction 与 control execution 在物理和逻辑上都解耦。
开放生态作为系统组件：Hub 上的数据集、checkpoint 和 dataset card 不是附属物，而是可复现训练闭环的一部分。

6.3 与已有方法的本质区别

【Analysis】 与 ACT、Diffusion Policy 等“提出一个策略”不同，LeRobot 的评价对象是研究工作流：它不规定模型如何产生动作，而是规定模型如何被加载、训练、切换和执行。与 ROS 这类通用机器人 middleware 相比，LeRobot 更靠近 PyTorch training loop、dataset hosting 和 foundation-model inference，目标是减少 ML/robotics 之间的边界代码。

6.4 关键假设

【Paper】 社区愿意采用统一的 LeRobotDataset 并上传公开数据。
【Paper】 低成本硬件的可获得性足以支持分布式 teleoperation 采集。
【Analysis】 网络、时间同步和 action 聚合的质量足以让远程 inference 不破坏闭环稳定性。
【Analysis】 统一 API 能覆盖不同 embodiment 的关键差异；对于触觉、力控或高频实时控制，这一假设仍需额外验证。

7. 局限性

7.1 作者明确提出的局限

【Paper】 (1) 支持的机器人、gripper、sensor 和 controller 仍不完整；(2) robot learning algorithm 覆盖不全面；(3) 实际 inference 性能还缺少 quantization、graph compilation 等低层优化。作者把这些缺口视为适合社区贡献的路线图。

7.2 自己分析得到的局限

【Analysis】 首先，统一 schema 解决了“能否读取”，但不自动解决跨机器人 action semantics、坐标系和安全约束；混合数据前仍需 embodiment-aware processor。其次，streaming 把存储压力转成网络带宽和随机访问延迟，断网或高抖动环境下需要缓存策略。最后，异步 chunk 聚合可能平滑掉突发修正，安全关键任务仍需要 watchdog、限幅和低层 fallback。论文也没有给出在同一数据/硬件预算下各 policy 的严格端到端成功率对照。

8. 启发与研究思考

【Analysis】 LeRobot 提示一个容易被忽略的研究方向：机器人学习的“scaling law”不仅属于模型和数据，也属于基础设施。只有数据格式、采集工具、训练 recipe 和部署 runtime 同时标准化，新增数据和算力才会产生可累积的收益。

对实践者而言，较稳妥的路线是先用 SO-10X 等低成本平台采集少量高质量 episode，借助 LeRobotDataset 做可视化和统计，再从 ACT 等轻量策略开始；当任务需要语言条件或跨任务迁移时，再切换到 SmolVLA/Pi0，并用 asynchronous inference 把大模型放到远程 GPU。【Analysis】 这不是“一个库解决所有机器人问题”，而是把最常见的工程分歧收敛成可替换的接口，让研究时间更多花在数据、目标和控制策略本身。

Learning while Deploying 论文精读：让机器人群在部署中持续学习

Wed, 26 Aug 2026 00:00:00 GMT

1. 论文概述

【Paper】《Learning while Deploying: Fleet-Scale Reinforcement Learning for Generalist Robot Policies》提出 Learning While Deploying（LWD）。它研究的不是“如何把一个 specialist 任务做得更好”，而是：一个已经预训练好的 generalist VLA 在真实世界部署后，如何利用整个机器人 fleet 产生的异质经验继续变强，同时保留跨任务能力。

论文的核心闭环是：

离线数据初始化 → 16 台机器人部署 → 自动 rollout / 人工干预
       ↑                                      ↓
       └──── 混合 replay、DIVL + QAM 更新、周期性下发 ────┘

一句话总结

【Analysis】 LWD 最重要的转变是把 deployment 从评测终点改成持续产生训练信号的 data flywheel：离线 replay 负责稳定起步，在线 fleet replay 负责暴露分布偏移，而 DIVL 与 QAM 负责把稀疏结果转成对 flow-based VLA 可用的策略改进。

核心贡献

【Paper】

提出面向 generalist VLA 的 fleet-scale offline-to-online RL 系统，在一套共享策略上同时训练八项真实操作任务。
提出 Distributional Implicit Value Learning（DIVL）：学习 replay action-value 的分布，用 quantile 做 in-distribution TD bootstrap，并用分布熵自适应调节乐观程度。
将 Q-learning with Adjoint Matching（QAM）用于 flow-based VLA 的 policy extraction，用 critic 的 action gradient 生成局部 flow 回归目标，避免穿过完整采样链路反传。
在 16 台 Agibot G1 双臂机器人、8 项任务上验证；LWD Online 的整体平均分为 0.95，长时程任务平均 step-wise score 为 0.91。

2. 背景与相关工作

【Paper】 大规模 offline pretraining 让 VLA 获得了广泛先验，但部署环境不是固定测试集：物体实例、货架布局、用户指令、光照、接触状态和失败恢复都会发生变化。单次收集的 demonstration 很难覆盖这些 long-tail 情况。

已有路线各自只解决了一部分问题：

| 路线 | 能利用的数据 | 主要缺口 | | --- | --- | --- | | SFT / Behavior Cloning | 成功示教 | 失败、部分进度和稀有恢复通常被丢掉；长时程误差累积严重 | | Interactive imitation / HG-DAgger | 人工纠正片段 | deployment 被当作动作标签来源，不能系统利用 autonomous failure 的结果 | | Offline RL / RECAP | 固定 replay 与结果信号 | 更新后仍要重新收集一轮数据，难以快速适应 deployment distribution | | Specialist online RL | 在线交互 | 多数针对单任务策略，无法证明共享 generalist VLA 的持续改进 |

【Analysis】 LWD 的定位因此不是“更大的 DAgger”，而是把 autonomous rollout 当作 RL transition：一次失败也可以告诉 critic 哪些早期 action chunk 没有把任务推进下去；人工 intervention 则和普通在线 transition 一样进入 replay，而不是唯一的正例来源。

3. 问题定义

【Paper】 机器人控制被写成带语言条件的 MDP：

$$ \mathcal M=(\mathcal S,\mathcal A,\mathcal T,r,\gamma),\qquad s_t=(o_t,\ell_k) $$

其中 $o_t$ 是视觉与本体观测，$\ell_k$ 是任务指令。策略不是输出单步动作，而是输出长度为 $H$ 的 action chunk：

$$ \mathbf a_t=\mathbf a_{t:t+H-1}\sim\pi_\theta(\cdot\mid s_t),\qquad \mathbf r_t=\sum_{i=0}^{H-1}\gamma^i r_{t+i}. $$

论文使用稀疏二值终止奖励：只有 episode 成功结束时 $r=1$，否则为 $0$。训练样本统一表示为 $(s_t,\mathbf a_t,\mathbf r_t,s_{t+H})$。

【Paper】 实验平台是 Agibot G1：两条 7-DoF 机械臂、平行夹爪、一个 head-view 与两个 wrist-view RGB 相机，joint-position control 频率为 30 Hz。任务分为四个 grocery restocking 任务和四个 3–5 分钟的 long-horizon 任务（功夫茶、果汁、鸡尾酒、鞋盒装箱）。

4. 方法

4.1 Overall Architecture

【Paper】 上半部分是两阶段 pipeline：Stage 1 在静态 offline buffer 上初始化 policy、critic 和 distributional value；Stage 2 将 offline buffer 与不断增长的 online buffer 混合训练，并周期性地把共享 generalist policy 下发给 fleet。下半部分把 learner 拆成 DIVL value learning 和 QAM policy extraction 两条支路。

【Analysis】 这种拆分把“判断 action 好不好”和“让 flow policy 更偏向好 action”解耦。value/critic 保留在中心 learner，只有 policy checkpoint 需要同步到边缘机器人，降低了 fleet 端部署复杂度。

4.2 核心模块

Distributional Value Model $V_\psi$

输入：带视觉与语言的状态 $s_t$，由 Gemma3–SigLIP VLM 编码。
输出：固定 categorical support 上的 action-value 分布 $p_\psi(v\mid s_t)$，不是一个标量。
作用：保留同一状态下 replay actions 的多峰、重尾结果，供后续 quantile bootstrap 和 uncertainty estimation 使用。
实现细节：VLM 的 readout token 进入 value head；EMA critic 的标量输出被裁剪到 support，并按 C51 方式投影到相邻 atoms。

Critic $Q_\phi$

输入：状态表示 $z_t$ 与 action chunk $\mathbf a_t$。
中间模块：action chunk 先经 learned temporal attention pooling，再与 $z_t$ 拼接。
输出：两个 scalar critic head，采用 clipped double-Q 的最小值构造 DIVL target，以缓解过估计。
为什么需要：$Q_\phi(s,\mathbf a)$ 的 action gradient 是 QAM 改进 flow vector field 的直接信号。

Flow-based VLA Policy

输入：图像、语言指令、本体信息与高斯噪声。
骨干：论文实例化为 $\pi_{0.5}$ 风格的 PaliGemma VLM（Gemma-2B + SigLIP）和 Gemma-300M action expert。
输出：action chunk 的生成分布，由 flow-matching action head 逐步生成。
训练状态：offline 阶段 policy 与 value/critic 全量 fine-tune；online QAM 阶段冻结 policy VLM backbone，只更新 action expert，value/critic 继续全量更新。

Fleet Replay 与奖励

【Paper】 offline buffer 包含 demonstration、历史 policy rollout（成功和失败）以及围绕失败模式的人类 play data。online buffer 收集当前 policy transition，并在需要时加入 human intervention segment；两者在 online learner 中约以 1:1 比例混合。

4.3 关键公式

DIVL：从 value distribution 取 quantile

$$ p_\psi(v\mid s_t)=P\left(v=Q_\phi(s_t,\mathbf a_t)\mid \mathbf a_t\sim\mathcal D(\cdot\mid s_t)\right) $$

【Paper】 $\mathcal D(\cdot\mid s_t)$ 是 replay 中与状态相符的 action 分布。模型先用 EMA critic 的标量值拟合这个分布：

$$ \mathcal L_V=-\mathbb E_{(s_t,\mathbf a_t)\sim\mathcal D} \log p_\psi\big(Q_{\bar\phi}(s_t,\mathbf a_t)\mid s_t\big). $$

从累积分布 $F_\psi$ 中取 $\tau$-quantile：

$$ \operatorname{Quant}\tau(V\psi(s))=\inf{v:F_\psi(v\mid s)\ge\tau}, $$

并形成 chunk-level TD target：

$$ y_Q=\mathbf r_t+\gamma^H\operatorname{Quant}\tau(V\psi(s_{t+H})), \qquad \mathcal L_Q=\mathbb E[(Q_\phi(s_t,\mathbf a_t)-y_Q)^2]. $$

较大的 $\tau$ 更乐观，较小的 $\tau$ 更保守；与直接在整个 action space 上取 $\max_a Q$ 不同，它仍然局限于 replay 的 in-support action。

自适应 $\tau$

【Paper】 令 categorical value distribution 的归一化熵为：

$$ \mathcal H(s)=-\frac{1}{\log C}\sum_{c=1}^{C}p_{\psi,c}(s)\log p_{\psi,c}(s). $$

然后按不确定性调节 bootstrap 乐观度：

$$ \tau(s)=\operatorname{clip}(\tau_{base}-\alpha\mathcal H(s),\tau_{min},\tau_{max}). $$

分布越分散，熵越高，$\tau$ 越低，从而减少不确定状态上的过估计；分布集中时保留更乐观的 target。论文的 constant-$\tau$ 对照使用经验平均值 $\tau=0.52$。

QAM：用 critic gradient 改进 flow

【Paper】 flow matching 从 $\mathbf a^0\sim\mathcal N(0,I)$ 和 replay action $\mathbf a^1$ 构造：

$$ \mathbf a^w=(1-w)\mathbf a^0+w\mathbf a^1,\quad f_\theta(s,\mathbf a^w,w)\approx\mathbf a^1-\mathbf a^0. $$

QAM 保留一个固定 reference flow $f_\beta$，并把 critic gradient 放在终点 adjoint condition：

$$ \tilde g_1=-\nabla_{\mathbf a}[Q_\phi(s,\mathbf a^1)/\lambda]. $$

再沿 reference flow 解 adjoint dynamics，训练当前 flow 与 reference flow 的局部差异：

$$ \mathcal L_{QAM}=\mathbb E\left[\int_0^1\left| \frac{2(f_\theta-f_\beta)}{\sigma_w}+\sigma_w\tilde g_w\right|_2^2dw\right], \quad \sigma_w=\sqrt{2(1-w)w}. $$

【Analysis】 QAM 的关键不是再设计一个 action decoder，而是把“终点 action 应该沿 $\nabla_aQ$ 移动多少”变成 flow 时间轴上的局部监督，避开对完整 multi-step generation 做高成本、易不稳定的反向传播。

4.4 Training

【Paper】 离线阶段先以 demonstration 对预训练 $\pi_{0.5}$ 做 flow-matching SFT，得到 reference policy；随后在 offline buffer 上联合训练 policy、$Q_\phi$ 和 $V_\psi$。短任务使用 1-step chunk TD，长任务使用 10-step chunk TD，以更快传播稀疏终止奖励。online 阶段使用 1-step TD，因为 human intervention 与 autonomous transition 混合后，长 backup 可能跨越不同执行来源。

在线 learner 每步从 $\mathcal B_{off}\cup\mathcal B_{on}$ 采样，更新 DIVL 和 QAM；每 50 个 training steps 向所有 actor 广播新 policy。每个 online experiment 的 wall-clock budget 为 4 小时，跨 16 台机器人约收集 60 robot-hours。

4.5 Inference

【Paper】 推理端只需要 generalist policy：输入当前多视角观测和语言指令，由 flow action expert 生成 action chunk，在 G1 上以 joint-position control 执行；value、critic 和 replay coordinator 留在中心 learner。由于论文的 policy 是 chunk-level，执行过程中会按 action horizon 重规划，而不是每个底层控制周期重新运行完整 RL 更新。

4.6 代码实现对照

【Code】 论文 arXiv 源码和官方项目页（learning-while-deploying.github.io）公开了方法、实验图和系统说明，但截至本文写作没有可供复现的官方 GitHub 代码仓库。因此以下是“论文算法 ↔ 公开材料”的对照，而不是逐文件代码审计：

| 论文组件 | 公开材料中可确认的行为 | 代码状态 | | --- | --- | --- | | Fleet actor / learner | 16 台 G1，actor 上传 episode，中心 learner 混合 replay，策略每 50 steps 广播 | 论文与项目页有系统描述；未公开实现 | | DIVL | categorical value distribution、quantile TD target、entropy-adaptive $\tau$ | 公式与消融公开；未公开实现 | | QAM | 用 $\nabla_aQ$ 初始化 adjoint，再沿 reference flow 做局部回归 | 公式与算法公开；未公开实现 | | Policy | $\pi_{0.5}$ 风格 PaliGemma + Gemma-300M action expert | 架构在论文中公开；未公开 checkpoint / training script |

因此，不能把论文中的 Gemma、JAX、replay snapshot 或同步频率扩写成未经官方代码验证的 API 行为；需要复现时应以作者后续发布为准。

5. 实验

5.1 Experimental Setup

【Paper】 四项 grocery 任务是 Restocking、Correction、Freezer Restocking 和 Open-Cooler Restocking，测试语言指令理解、物体选择、货架/容器变化与摆放修正。四项 long-horizon 任务是 Brew Gongfu Tea、Make Fruit Juice、Make Cocktail 和 Pack Shoes；每个 episode 通常持续 3–5 分钟，包含 5–8 个标注子步骤。

grocery 以 episode binary success rate 评分；long-horizon 以子步骤平均分评分，完全成功为 1、轻微瑕疵或单次 retrial 为 0.5、多次失败为 0，并额外报告 cycle time。对比方法包括 SFT reference、RECAP、HG-DAgger、LWD Offline 与 LWD Online。

5.2 Main Results

【Paper】 主结果如下，数值为论文 Table 1 的任务分数：

| 方法 | Grocery 平均 | Long-horizon 平均 | 八任务平均 | | --- | ---: | ---: | ---: | | SFT | 0.84 | 0.68 | 0.76 | | RECAP | 0.95 | 0.77 | 0.85 | | HG-DAgger | 0.96 | 0.73 | 0.85 | | LWD Offline | 0.97 | 0.79 | 0.88 | | LWD Online | 0.99 | 0.91 | 0.95 |

逐任务看，LWD Online 在四项 long-horizon 任务上分别达到：功夫茶 0.89、果汁 0.90、鸡尾酒 0.93、鞋盒 0.92；grocery 四项为 1.00、1.00、0.97、0.98。论文还报告 long-horizon 平均 cycle time 相比 SFT 减少 23.75 秒。

【Analysis】 提升并不是单纯来自成功示教变多：long-horizon 的优势远大于 grocery，说明 TD backup 对“早期动作影响数分钟后结果”的 credit assignment 更有帮助；同时较短 cycle time 暗示 critic 学到的不只是终点成功，还偏好更少犹豫和 retrial 的 action chunk。

5.3 Ablation Study

DIVL 对比 scalar expectile

【Paper】 将 DIVL 替换为 scalar expectile value regression，其余组件保持不变。long-horizon 平均分在 offline 阶段由 0.72 提升到 0.79（+9.7%），online 阶段由 0.78 提升到 0.91（+16.7%）；short-horizon 也由 0.96/0.97 提升到 0.97/0.99。

成功轨迹的 value 通常随关键子步骤完成而上升，失败轨迹在碰撞后停留在较低水平。【Analysis】 这支持“分布化 value 可以提供进度信号”的解释，但图是代表性 qualitative diagnostic，不等同于形式化的因果证明。

Adaptive $\tau$ 对比 constant $\tau$

【Paper】 offline 平均分从 constant $\tau=0.52$ 的 0.84 提升到 adaptive $\tau$ 的 0.88；改进在 Restocking、Correction 和 Cocktail 更明显。该结果隔离了 uncertainty-aware optimism calibration 的作用。

5.4 Generalization

【Paper】 所有任务共享一套 generalist policy，而不是每个任务一个 specialist。grocery 任务接近饱和时，LWD Online 仍保持最佳或接近最佳；long-horizon 任务则从 fleet experience 中获得最大收益。论文没有报告跨机器人硬件、未见过的任务类别或更长时间部署的独立泛化曲线，不能据此宣称开放世界泛化已经解决。

6. 方法分析

6.1 为什么有效？

【Analysis】 可以把效果拆成三个互补因素：

数据覆盖：fleet 同时看到多任务、多场景、失败和人工恢复，online replay 更接近真正 deployment distribution。
信用分配：chunk-level Q 与 long-horizon multi-step TD 把终止结果向更早的决策传播，缓解单步 BC 的 compounding error。
更新匹配生成策略：DIVL 不强迫异质回报变成一个均值，QAM 又避免直接穿过 flow sampler 做不稳定 policy gradient。

6.2 核心创新

【Paper】 论文的实际创新是系统与算法的组合：DIVL 解决“fleet replay 中 value 怎么稳”，QAM 解决“flow VLA 怎么按 value 改”，offline 与 online 使用同一套目标解决阶段切换，fleet 基础设施则把这些更新变成持续 data flywheel。

6.3 与已有方法的本质区别

【Analysis】 与 SFT/HG-DAgger 的区别是“使用结果”而不只是“模仿动作”；与 RECAP 的区别是持续混合 online replay，而不是 collect–train–deploy 的离散轮次；与 specialist RL 的区别是始终优化一套跨任务共享 policy。LWD 因而把规模化部署本身纳入算法闭环。

6.4 关键假设

【Paper】 方法依赖以下假设：任务可由稀疏终止成功标签评价；action chunk 的状态转移足以构造稳定 TD target；replay 中的 heterogeneous trajectories 可以由统一的 language-conditioned VLA 表示；human intervention 虽非 policy action，但仍可作为 reward-labeled transition 学习。

【Analysis】 这些假设在当前八项任务上成立，并不保证在安全约束强、奖励不可观测、需要高层 task decomposition 或 intervention 频率极高的环境中成立。

7. 局限性

7.1 作者明确提出的局限

【Paper】 作者明确指出：

online 更新使用相对直接的实时 schedule，未必适合更大规模或长期 continual learning；
long-horizon 实验多使用单条短语言指令，复杂任务仍需要更强的 task decomposition、细粒度 prompt 和闭环恢复；
当前 policy learning 没有显式建模 execution safety，安全感知学习与控制仍是必要方向。

7.2 自己分析得到的局限

【Analysis】

成本与吞吐：4 小时、16 台机器人约 60 robot-hours，说明 fleet RL 的数据效率仍依赖昂贵的真实硬件；论文没有给出与单机相同 wall-clock 或相同 interaction budget 的完整 scaling law。
分布滞后：异步 actor 可能执行旧 checkpoint，online buffer 混有不同 policy 版本；DIVL 能缓解 value 不确定性，但不能消除 off-policy lag。
稀疏奖励的可诊断性：value 曲线是代表性可视化，不能单独证明每个子步骤都得到正确 credit；失败原因、碰撞和安全代价仍未进入显式 reward model。
复现门槛：官方尚未公开训练代码、checkpoint 与完整 fleet backend，外部研究者只能复现论文级算法描述，难以核对工程细节。

8. 启发与研究思考

【Analysis】 LWD 给出的研究路线不是“把机器人部署得更多”这么简单，而是把部署系统设计成可学习的闭环：

对 VLA post-training，应该优先设计能吸收失败与部分进度的 replay schema，而不是只筛选成功视频；
distributional value 的不确定性可以同时用于 bootstrap、数据重采样和人工接管触发；
QAM 说明 flow/diffusion policy 的 RL 适配不必依赖显式 action likelihood，局部生成动力学也可以成为监督对象；
fleet scale 的关键指标除了 success rate，还应包括数据到 learner 的延迟、checkpoint 到 actor 的延迟、版本一致性和安全事件率。

更值得继续追问的是：当 fleet 扩展到更多任务和更长时间后，如何自动发现 reward hacking、避免旧经验压制新分布，以及怎样让高层语言规划与低层 QAM 更新形成分层闭环。LWD 把这些问题从“未来设想”推进到了可以在真实机器人系统上测量的工程问题。

LaWAM 论文精读：用潜空间世界模型预测机器人动作的视觉子目标

Wed, 26 Aug 2026 00:00:00 GMT

1. 论文概述

论文名称：《LaWAM: Latent World Action Models for Efficient Dynamics-Aware Robot Policies》
作者：Jialei Chen 等 12 位作者
时间：arXiv 预印本，2026 年 6 月
论文链接：arXiv

一句话总结

【Paper】 LaWAM 不生成未来像素视频，而是在冻结的 DINOv3 特征空间中，把策略预测的 latent action 解码成与当前场景和机器人 embodiment 对齐的 latent visual subgoal，再用这个子目标指导动作 chunk 生成。

核心贡献

【Paper】

提出 Latent World Model（LaWM）：把 Latent Action Model 的 forward decoder 保留下来，直接预测未来 observation feature。
提出 Latent World Action Model（LaWAM）：将预测的 latent visual subgoal 接入 VLA 的 Alternate-DiT action expert。
用 latent-action distillation 训练策略先验，并用 Knowledge Insulation 防止动作专家破坏已经学到的动力学。
在 LIBERO、RoboTwin 和真实机器人任务上同时取得高成功率与低延迟：LIBERO 平均成功率 98.6%，单个 action chunk 预测约 187 ms。

【Analysis】 论文的真正转折点不是“再加一个 world model”，而是改变了 policy-facing future 的接口：未来只保留对下一个动作 chunk 有用的结构化特征，不承担像素重建的负担。

2. 背景与相关工作

【Paper】 传统 VLA 主要学习 $p(a_{1:T}\mid o,l)$：根据当前 observation $o$ 和语言指令 $l$ 直接输出动作序列。它能利用大规模 vision-language pretraining 理解“要做什么”，但没有显式建模“执行动作之后场景会怎样变化”。

World-Action Model（WAM）通过预测未来 observation 或 video，让 policy 在动作生成时获得动力学预见。问题在于：

像素空间视频包含大量与控制无关的纹理和外观冗余；
迭代式视频生成带来很高的推理延迟，论文对比的 LingBot-VA 为 4482 ms，而普通 VLA $\pi_{0.5}$ 为 220 ms；
manipulation 往往只需要“下一段动作会把机械臂和物体带到哪里”的紧凑描述。

【Paper】 既有 Latent Action Model 通常用 inverse dynamics 从视觉转移中抽取 embodiment-agnostic 的 latent action，但预训练后会丢弃 forward decoder。LaWAM 的观察是：这个 decoder 本身已经是一个 action-conditioned world model，只是过去没有被当作 policy 的输入接口。

3. 问题定义

【Paper】 给定当前观测 $o$、指令 $l$ 和固定物理时间跨度 $\tau$ 内的动作 chunk $a_{1:T}$，标准 VLA 直接建模：

$$ p(a_{1:T}\mid o,l) $$

LaWAM 先用冻结视觉编码器 $f_{\psi}$ 得到当前和未来特征：$u=f_{\psi}(o)$、$u_T=f_{\psi}(o_T)$。第一阶段学习 posterior $q_{\phi}(z\mid u,u_T)$ 和 forward decoder；部署时未来特征不可见，因此策略要从 $(o,l)$ 预测 latent action $\hat z$，再得到未来子目标 $\hat u_T$。

输入：RGB observation、自然语言任务指令；论文实验使用 256×256 RGB 图像，不输入 proprioception。
输出：固定物理时间跨度对应的 end-effector action chunk。
中间变量：latent action $z$、当前 latent feature $u$、预测子目标 $\hat u_T$。
数据：约 3000 小时机器人视频和 1500 小时 egocentric human 视频用于 LaWM；第二阶段 policy integration 只使用带语言指令的机器人轨迹。
机器人：LIBERO、RoboTwin，以及 Franka Emika Panda 和 Quanta X1 双臂平台。

4. 方法

4.1 Overall Architecture

【Paper】 LaWAM 有两个阶段。Stage 1 从视觉转移中训练 latent action posterior 与 forward decoder，并将 decoder 命名为 LaWM；Stage 2 让 VLA 从当前 observation 和指令预测 latent action，经 LaWM 得到 latent visual subgoal，最后由 Alternate-DiT action expert 生成动作 chunk。

数据流可概括为：(o, l) → policy prior → ẑ → LaWM(u, ẑ) → ûT → action expert → a1:T。

4.2 核心模块

冻结视觉编码器与 latent action posterior

输入：当前特征 $u$ 与物理时间间隔 $\tau$ 后的未来特征 $u_T$。
输出：连续 latent action $z$ 的后验分布 $q_{\phi}(z\mid u,u_T)$。
模块：DINOv3 ViT-B/16 提供空间结构化 dense feature；24 层 Transformer inverse-dynamics encoder 联合处理当前和 horizon observation。
作用：将“从当前状态到未来状态的变化”压缩成低维、可跨 embodiment 迁移的动作变量。

【Analysis】 $z$ 不是最终要执行的关节动作，而是“需要发生哪类转移”的中间坐标。它本身缺少当前场景的空间落点，所以不能直接替代视觉子目标。

LaWM forward decoder

输入：当前 latent feature $u$ 和 latent action $z$。
输出：未来特征预测 $\tilde u_T=\mathrm{LaWM}_{\omega}(u,z)$。
实现：24 层 Transformer decoder，通过 adaptive layer normalization 注入 $z$；论文指出这种方式比 additive token injection 在 cross-embodiment 训练中更稳定。
辅助信号：轻量 MLP 以当前 end-effector state $s$ 与 $z$ 预测 $s_T$，鼓励 $z$ 编码真实运动而非纯外观变化；预训练后丢弃该 head。

Policy prior 与 Alternate-DiT action expert

策略先验 $p_{\theta}(\hat z\mid o,l)$ 从当前视觉和指令预测部署时的 latent action。LaWM 将其展开为 $\hat u_T$。动作专家采用 Alternate-DiT：一条流承载 VLM 的语义上下文，另一条流承载 $(u,\hat u_T)$ 的动力学上下文，两条流交替交互后对 action chunk 做 flow matching 去噪。

【Code】 论文没有给出可核验的官方代码仓库或项目页面，因此这里不推断具体文件、DataLoader 或 checkpoint 行为；本节只记录论文明确的架构。

4.3 关键公式

LaWM 接口

$$ z\sim q_{\phi}(z\mid u,u_T),\qquad \tilde u_T=\mathrm{LaWM}_{\omega}(u,z) $$

$q_{\phi}$ 是只在训练阶段可用的 latent inverse-dynamics posterior；$\tilde u_T$ 是 decoder 重建的 horizon feature。$u_T$ 与 $s_T$ 都对应固定物理时间 $\tau$，因此子目标表示的是一致的实际运动时长，而不是某个数据集的固定帧偏移。

LaWAM 分解

$$ p(a_{1:T},\hat u_T,\hat z\mid o,l) =p_{\theta}(\hat z\mid o,l) p_{\omega}(\hat u_T\mid u,\hat z) p_{\eta}(a_{1:T}\mid o,l,u,\hat u_T) $$

$p_{\theta}$：policy prior，预测 latent action；
$p_{\omega}$：LaWM，单次前向得到 latent visual subgoal；
$p_{\eta}$：action expert，在语义和动力学上下文下生成 action chunk。

两阶段损失

第一阶段：

$$ \mathcal L_{\mathrm{LAM}} =\underbrace{\lVert\tilde u_T-u_T\rVert_2^2}{\mathcal L{\mathrm{wm}}} +\underbrace{\lVert g(s,z)-s_T\rVert_2^2}{\mathcal L{\mathrm{aux}}} +\beta D_{\mathrm{KL}}(q_{\phi}(z\mid u,u_T)|\mathcal N(0,I)) $$

第二阶段：

$$ \mathcal L_{\mathrm{LaWAM}} =\lambda_{\mathrm{distill}}\mathbb E[\lVert\hat z-z\rVert_2^2] +\lambda_{\mathrm{wm}}\lVert\hat u_T-u_T\rVert_2^2 +\mathcal L_{\mathrm{act}} $$

$\mathcal L_{\mathrm{act}}$ 是以 $(o,l,u,\hat u_T)$ 为条件的 action flow-matching loss；论文在所有实验中设置 $\lambda_{\mathrm{distill}}=\lambda_{\mathrm{wm}}=0.1$。

4.4 Training

【Paper】 LaWM 训练使用连续 latent action、AdamW、16 张 H100、100k steps、全局 batch size 1024、学习率 $3\times10^{-4}$、weight decay $10^{-2}$，KL 权重 $\beta=10^{-5}$。机器人 teleoperation 的物理 horizon 为 1.2 s，egocentric human 视频为 0.4 s。第二阶段在 64 张 H100 上进行 200k steps 的 policy-integration pretraining，action expert 学习率 $10^{-4}$，其他模块为 $3\times10^{-5}$。

混合控制频率数据不按 token index 粗暴对齐，而是固定物理时间 $\tau$。频率为 $h_b$ 的分支使用：

$$H_b=\mathrm{round}(\tau h_b),\qquad t_{b,i}=i/h_b$$

并把正弦时间编码 $\phi(t_{b,i})$ 加到 action-query embedding，使 5/10/20 Hz 的同一物理时刻拥有一致坐标。

4.5 Inference

推理时不再使用需要未来帧的 posterior encoder。LaWAM 只需一次 LaWM forward，就可以把策略的 latent action 变成视觉子目标；action expert 在 10 个 denoising steps 下输出一段 end-effector action chunk，执行后重新观测并滚动闭环。

5. 实验

5.1 Experimental Setup

【Paper】 实验覆盖四个 LIBERO suite、RoboTwin 2.0 的 50 个双臂任务，以及真实世界的 pick-and-place、drawer opening 和 towel folding。LIBERO 报告 40 个任务、每任务 50 次试验；RoboTwin 每任务 100 次；真实任务各 30 次。延迟在 A100 上重复 1000 次 action-chunk prediction 后取平均。

5.2 Main Results

【Paper】 LIBERO 的 LaWAM 平均成功率为 98.6%，Long / Goal / Object / Spatial 分别为 97.0 / 98.4 / 99.6 / 99.4；模型规模 2.3B，单 chunk 延迟 187 ms。相比像素空间 WAM，LaWAM 的 world-modeling 模块仅 230M 参数，论文称比 5B WAN backbone 少约 95%，墙钟延迟最高可降低 24×。

| 方法 | 模型规模 | 延迟 | LIBERO 平均 | | ------------- | -------: | ---------: | ----------: | | π0.5 | 3.5B | 220 ms | 96.9% | | Cosmos-Policy | 2.1B | 1413 ms | 98.5% | | LingBot-VA | 5.5B | 4482 ms | 98.5% | | Fast-WAM | 6B | 486 ms | 97.6% | | LaWAM | 2.3B | 187 ms | 98.6% |

RoboTwin 的 clean-scene / randomized-scene 平均成功率为 92.64% / 89.80%，两者平均为 91.22%。真实世界 LaWAM 在 pick-and-place、drawer opening、towel folding 上分别达到 93.3%、86.7%、90.0%，平均 90.0%，高于对比方法的平均 83.3%（π0.5）。

5.3 Ablation Study

【Paper】 LIBERO 消融显示，移除 LaWM 的性能下降最大，尤其是 LIBERO-Long；移除 latent-action distillation 也会明显变差；同时移除 KI 与 distillation 进一步退化。说明最终收益来自一条完整接口：策略要能稳定驱动 LaWM，且动作专家不能反向改写其动力学。

混合频率实验还表明，不加 physical-time encoding 时联合训练 5/10/20 Hz 数据会明显下降；加入时间编码后，性能大幅恢复到 20 Hz reference 附近。

5.4 Generalization

【Paper】 LaWM 的 open-loop rollout 在未见环境和未见 embodiment 上使用同一 latent-action trajectory 时，仍产生上下文相关且连贯的 latent 变化。真实测试还包含超出部分示教空间的物体、碗和抽屉初始位置；LaWAM 在这些配置下保持较高成功率。

6. 方法分析

6.1 为什么有效？

【Analysis】 LaWAM 同时解决了两个互补问题：latent action 提供“要发生哪种变化”的抽象，当前 DINOv3 feature 提供“变化应该落在当前场景哪里”的空间锚点。LaWM 把两者组合成 embodiment-grounded subgoal，action expert 因而不必从零猜测中间状态。

此外，预测一个 feature map 比生成多帧 RGB 视频更接近控制所需的信息瓶颈；单次 forward 又避免了视频扩散的迭代延迟。

6.2 核心创新

接口创新：将 LAM decoder 从训练辅助组件变成 policy-facing world model。
表示创新：未来由 action-conditioned latent visual subgoal 表示，而不是单个 latent token 或像素视频。
训练创新：latent-action distillation 让 policy prior 学会驱动 LaWM，KI 保持动力学模块稳定。
时间创新：用 physical-time encoding 对齐不同控制频率的 action chunk。

6.3 与已有方法的本质区别

| 路线 | 未来表示 | 推理方式 | 主要代价 | | ----------------- | ---------------------------------------- | ------------------- | ---------------------------- | | 普通 VLA | 无显式未来 | 直接生成动作 | 缺少动力学预见 | | 像素空间 WAM | 未来图像 / 视频 | 迭代生成 | 延迟和像素冗余高 | | Latent Action VLA | latent action | 直接用 action token | 空间落点不显式 | | LaWAM | action-conditioned latent visual subgoal | 单次 latent forward | 依赖视觉 latent 的动力学质量 |

6.4 关键假设

【Analysis】 方法隐含三个假设：DINOv3 特征保留了对控制有用的空间结构；固定物理时间 $\tau$ 足以定义稳定的 chunk-level subgoal；连续 latent action 可以被当前 observation 与 language 预测。若相机剧烈运动、特征空间对细粒度接触不敏感，或任务需要比一个 chunk 更长的多步规划，这些假设都会变弱。

7. 局限性

7.1 作者明确提出的局限

【Paper】 LaWAM 目前更适合相机相对稳定的 manipulation。当 egocentric 视频存在剧烈抖动或大幅视角变化时，latent action space 可能无法学习一致转移，因此对 humanoid 或 mobile robot 的自运动场景仍有限制。另一个问题是训练混合数据中细粒度 deformable-object dynamics 较少，细微布料形变仍难以可靠建模。

7.2 自己分析得到的局限

【Analysis】 论文把未来压缩到单个 horizon feature，效率很高，但也牺牲了多模态未来的显式表达：同一 $(u,z)$ 只给出一个确定性子目标。对于需要分支规划、碰撞规避或长时域反事实比较的任务，单次解码可能不足。其次，DINOv3 feature 的语义和空间相似度并不等同于接触力、摩擦和可执行性；高成功率主要在当前 benchmark 与任务分布内得到验证。

8. 启发与研究思考

【Analysis】 LaWAM 给出的更一般结论是：world model 不一定要成为“可观看的视频生成器”，也可以成为连接 semantic policy 与 low-level control 的中间接口。值得继续追问：

能否让 LaWM 预测一组多模态 subgoals，再由 action expert 或 value model 选择？
能否把 contact state、力觉或几何约束加入 latent feature，使子目标不仅“看起来正确”，还更可执行？
对移动机器人和 humanoid，是否需要把 camera ego-motion 单独因子化，而不是让 latent action 同时解释物体运动和相机运动？
物理时间对齐或许可以推广到 variable-horizon policy，把动作 chunk 的长度也作为可学习接口。

LA4VLA 论文精读：Learning to Act without Seeing

Wed, 26 Aug 2026 00:00:00 GMT

1. 论文概述

【Paper】 传统 Vision-Language-Action（VLA）把图像、任务指令和动作一起喂给策略。一个长轨迹可能包含数百个 image-action pair，却通常只有一个高层 instruction；同时，一张图像会被编码成远多于语言的视觉 token。作者认为，这种 data-level 和 input-level asymmetry 让模型很容易依赖“这张图像通常对应这个动作”的视觉 shortcut，而没有真正学会“这句语言应该怎样约束动作”。

一句话总结

【Paper】 LA4VLA 只在数据构造阶段使用视觉：它把 DROID 专家轨迹拆成 move / grasp / lift / transport / place / press / rotate 等短 atomic segment，并为每段生成 vision-agnostic low-level instruction；预训练时屏蔽视觉，只用 language、proprioceptive state 和 action 学习可复用的动作先验，之后再用完整 VLA 数据恢复场景 grounding。

核心贡献

【Paper】

提出 Language-Action（LA）pretraining，把语言条件动作学习从视觉主导的 VLA 学习中解耦出来。
设计从已有演示自动产生 LA 数据的流程：keyframe detection、VLM temporal segmentation、atomic-action taxonomy 和 human verification。
从 9,560 条 DROID VLA episode 得到 33,116 条 LA episode（LA-33K），没有额外采集机器人数据。
系统比较 LA-only、LA→VLA sequential 和 mixed LA-VLA（MixPT），并在 LA4VLA-1B、StarVLA、MetaWorld、LIBERO、xArm6 上验证。
证明 LA 预训练不仅提高平均成功率，也提高视觉扰动鲁棒性和 instruction-conditioned direction following。

【Analysis】 这篇论文的关键变量不是更大的 backbone，而是“给动作什么监督”。它把原本隐含在长轨迹里的语言—局部动作对应关系显式化，再让视觉只负责定位、选择目标和处理场景差异。

2. 背景与相关工作

【Paper】 OpenVLA、$pi_0$、GR00T N1、SmolVLA、StarVLA 等模型大多采用联合的 $(V,L,A)$ 监督：视觉观察 $V$、语言指令 $L$ 和动作轨迹 $A$ 同时出现。该范式能学到视觉 grounding，却无法区分语言本身贡献了多少信息。

作者的诊断实验固定语言和 robot state，只替换视觉，比较四种条件：原始配对图像、去掉图像、同场景但不匹配的图像、与指令方向冲突的图像。标准输入下 DAR 为 0.98、DCS 为 0.95；冲突视觉下 DAR 降到 0.35、DCS 降到 0.03。【Analysis】 这不是简单的“看不清”问题：视觉换成相反方向的轨迹后，预测也被拉向相反方向，说明配对视觉可能覆盖了语言条件。

LA4VLA 与已有 language-action 方法的区别是：它不把语言动作仅作为高层规划或 reasoning scaffold，也不要求把动作 token 化成文字供推理；它将短 segment 的语言描述作为一种独立的预训练监督，最终控制仍由连续 flow-matching action head 完成。

3. 问题定义

给定一条专家演示：

$$ \tau = {(V_t, s_t, a_t, L_{task})}_{t=1}^{T}, $$

其中 $V_t$ 是多视角图像，$s_t$ 是 proprioceptive state，$a_t$ 是连续动作，$L_{task}$ 是整条轨迹的高层任务描述。LA4VLA 要构造若干短 episode：

$$ e_k=(L_k, s_{t_k:t_k+h}, a_{t_k:t_k+h}), $$

并且在 LA pretraining 中令视觉输入为空：

$$ \pi_\theta(a_{t:t+h}\mid L_t,s_t,V=\varnothing). $$

| Embodied AI 要素 | LA4VLA 设定 | | --- | --- | | Observation | LA 阶段是语言 + proprioceptive state；VLA 阶段重新加入多视角 RGB | | Vision encoder | InternVL3-1B（LA4VLA-1B 官方实现） | | Language model | InternVL3-1B 的 language model，代码中截取前 14 层 | | Action representation | 连续 Cartesian/action chunk；官方配置默认 horizon=50、每步 24 维 padding | | Action head | Flow matching Transformer | | Dataset | LA-33K，源自 DROID，33,116 个 episode、1,524,990 帧 | | Robot / benchmark | MetaWorld、LIBERO、xArm6；另测 StarVLA 架构迁移 | | Goal | 先学与视觉无关的 language-conditioned action prior，再恢复视觉 grounding |

4. 方法

4.1 Overall Architecture

【Paper】 数据流是 VLA demonstration → keyframe hints + atomic vocabulary → VLM proposals → human verification → LA episode；训练时 LA episode 屏蔽视觉，VLA episode 保留视觉，二者可分别预训练、串联或混合。

4.2 核心模块

Atomic action segmentation

【Paper】 每条长轨迹首先由 robot state 提供时间线索：低运动幅度区间作为 static keyframe，夹爪开闭变化作为 gripper-transition keyframe。它们只是 soft hints，不是强制边界。论文定义了三类 primitive：object manipulation（grasp、lift、transport、place）、contact interaction（push、pull、press）和 free-space motion（move、rotate、reorient）。

【Code】 官方仓库不包含 VLM 标注脚本，但 README 对 LA-33K 的最终格式有明确说明：LeRobot v2.1，3 个相机视角，state/action 为 6D Cartesian + 1D gripper，并提供 9,532 条 unique instruction。

VLM proposal 与人工质检

【Paper】 Qwen3-VL-Plus 以 2 FPS、$224\times224$ 视频帧为输入，接收原始 task instruction、multi-view frame、keyframe event、primitive definitions 和 JSON schema，输出 subaction / instruction / start / end。描述必须包含动作类型、方向和可选的 object status，但不能依赖颜色、外观、背景或场景中的具体位置。人工标注员按 0–3 评分，保留分数至少为 2 的 segment。

LA-33K 的粒度变化

| 阶段 | Episode | 总帧数 | 平均帧数/episode | | --- | ---: | ---: | ---: | | Original VLA | 9,560 | 2,751,615 | 287.83 | | VLM candidates | 56,899 | 2,551,102 | 44.84 | | Human-verified LA | 33,116 | 1,524,990 | 46.05 |

【Paper】 最终保留率为 58.2%，每个原始 episode 平均产生 3.46 个最终 LA episode；双人标注子集的 Krippendorff’s $\alpha=0.7794$。【Analysis】 数据规模的主要增益来自重新组织监督，而非新增机器人小时数：同一段运动从“整条任务都叫 place cup”变成“lift upward”“transport left”“place down”等局部条件。

LA4VLA-1B backbone 与 action head

【Code】 scripts/LA4VLA_1B.py 将 InternVL3Embedder 与 FlowmatchingActionHead 组合。embedder 把多视角图像和 prompt 融合成 hidden tokens；action head 另外编码 state，并将 action chunk 投影成 action tokens，通过 8 层 BasicTransformerBlock cross-attend 到 context tokens。官方 README 将 LA 阶段分为：Stage 1 只训练 action head，Stage 2 同时训练 language model 与 action head，视觉 encoder 始终 masked。

4.3 关键公式

视觉无关的条件策略

$$ \mathcal{L}{LA}(\theta)= \mathbb{E}{(L,s,a)\sim\mathcal{D}{LA}} \left[-\log p\theta(a\mid L,s,V=\varnothing)\right]. $$

这里 $L$ 是 atomic instruction，$s$ 是状态，$a$ 是连续动作 chunk。该式的要点不是把视觉永久删除，而是让模型在没有视觉 shortcut 时先拟合语言—动作关系。

Flow-matching training target

官方 action head 从随机噪声 $z\sim U(-1,1)$ 与真实动作 $a$ 构造插值：

$$ x_t=(1-t)z+t a,\qquad u=a-z,\qquad t\sim\mathrm{Beta}(2,2), $$

并预测速度场 $v_\theta(x_t,t,c)$：

$$ \mathcal{L}{FM}=\left|v\theta(x_t,t,c)-u\right|_2^2, $$

其中 $c$ 是由 language/image tokens 与 state embedding 拼成的 context。action_mask 将 padding 维度置零，避免不同 embodiment 的补齐维度进入损失。【Code】 flow_matching.py 在训练前对 action 采样噪声、按 horizon reshape，并在推理中用固定步长 Euler 积分从噪声走到动作。

4.4 Training

【Paper】 LA-only 直接用 LA-33K 做预训练；VLA 使用恢复视觉后的 LA-33K-V；LA-VLA 先 LA 再 VLA；MixPT 在一个阶段内混合两种 batch。下游 finetuning 数据和优化预算保持一致，因此比较的是监督形式而非额外训练量。

【Code】 README 给出的示例中，Stage 1 使用 --finetune_action_head --vision_masked、max_steps 10000；Stage 2 使用 --finetune_language_model --finetune_action_head --vision_masked、max_steps 80000。这是官方复现实验路径，不应与论文所有 benchmark 的训练细节混为一谈。

4.5 Inference

【Paper】 下游运行时重新提供视觉，视觉负责识别目标和场景，LA prior 负责让语言改变动作方向与局部运动模式。模型不需要生成文字动作描述；连续 action head 直接输出 action chunk，执行一部分后再 receding-horizon 重规划。

【Code】 LA4VLA_1B.run_inference 先调用 get_vl_embeddings，再调用 action_head.get_action；官方配置默认 num_inference_timesteps=50。因此“没有视觉”是训练阶段的输入条件，不代表实际机器人部署时永远不看图像。

4.6 代码实现对照

| 论文概念 | 官方代码位置 | 实际行为 | | --- | --- | --- | | LA/VLA dataset | dataset/lerobot_dataset_pretrain_mp.py | 读取 LeRobot record，返回 images、prompt、state、action、mask | | Vision masking | dataset 的 vision_masked_policy + model 的 image mask | 被 mask 的 view 用零 tensor，attention mask 关闭对应 image token | | VLA backbone | model/internvl3/internvl3_embedder.py | InternVL3-1B，图像 resize 到 448，语言模型层截取前 14 层 | | Action head | model/action_head/flow_matching.py | 8 层 Transformer、state encoder、MLP velocity head、Euler ODE | | Training | scripts/train.py | Accelerate/DeepSpeed、AdamW、cosine decay、checkpoint 与 wandb/swanlab 日志 | | Inference | scripts/LA4VLA_1B.py / LA4VLA_1B_server.py | 生成 action chunk；需要提供 action mask |

【Analysis】 论文的数据构造器（Qwen3-VL-Plus proposal 与人工审核）没有随这个轻量训练仓库完整开源；仓库主要覆盖 LA-33K 的读取、模型、训练和推理。因此可以核对“如何训练”，但不能仅凭仓库复现全部自动标注过程。

5. 实验

5.1 Experimental Setup

【Paper】 LA4VLA-1B 以 InternVL3-1B 为 backbone，配 flow-matching action head；所有对照固定模型、下游数据和 finetuning protocol。评测包括 MetaWorld、LIBERO、StarVLA transfer、xArm6 三项真实任务，以及 Gaussian image noise 鲁棒性。

真实任务每个 policy 每项 20 次试验：按语言按下四个按钮之一，把书放入三个货架位置之一，把饮料放入九宫格之一。初始场景相同，所以目标选择不能只靠视觉。

5.2 Main Results

【Paper】 主要结果如下，数字为平均成功率（%）：

| Model / pretrain | MetaWorld Avg. | LIBERO Avg. | Real Avg. | | --- | ---: | ---: | ---: | | LA4VLA-1B / No | 69.73 | 92.85 | 38.3 | | LA4VLA-1B / VLA | 79.78 | 94.40 | 48.3 | | LA4VLA-1B / LA | 83.00 | 95.30 | 81.7 | | LA4VLA-1B / LA-VLA | 86.75 | 96.28 | — | | LA4VLA-1B / MixPT | 87.53 | 95.75 | 83.3 |

LA 相比 no-pretraining 在 MetaWorld 提升 13.27 个百分点；MixPT 提升 17.80 个百分点。在真实任务中，LA 和 MixPT 分别提升 43.4 和 45.0 个百分点。【Analysis】 LIBERO 已接近饱和，因此绝对增益较小；MetaWorld 的 hard/very hard 和真实多目标任务更能暴露语言 grounding 的差异。

5.3 Ablation Study

论文的核心消融是预训练调度，而不是删掉某一层网络：

| 方案 | MetaWorld | LIBERO | 解释 | | --- | ---: | ---: | --- | | LA | 83.00 | 95.30 | 先隔离 language-action | | LA→VLA | 86.75 | 96.28 | 先学 prior，再恢复视觉 | | MixPT | 87.53 | 95.75 | 同阶段混合 LA 与 VLA |

【Paper】 另一个关键对照是同一套 LA protocol 迁移到 StarVLA：MetaWorld 从 58.39% 提升到 69.91%，LIBERO 从 93.70% 提升到 94.85%。这说明收益不是 LA4VLA-1B 架构的偶然特性。

5.4 Generalization

跨 architecture： StarVLA 的 hard 与 very hard bucket 分别提升 14.4 和 30.0 个百分点，说明 LA prior 可以被不同 VLA backbone 使用。

跨视觉条件： 在真实图像加入 Gaussian noise 后，no-pretraining、VLA、LA、MixPT 的平均成功率分别为 27.5%、42.5%、67.5%、70.0%。【Analysis】 LA 不是让模型变成 blind policy，而是让视觉降质时仍有更强的 instruction-conditioned motion prior。

instruction following： LA-pretrained policy 在 masked visual 下 DAR=0.99、DCS=0.85；把 state 换成相反方向样本后仍有 DAR=0.95、DCS=0.80，而标准 VLA 在冲突视觉输入下会被拉向相反方向。

6. 方法分析

6.1 为什么有效？

【Analysis】 LA4VLA 同时改变了三个监督统计量：

时间密度：一个高层 instruction 被改成多个局部 instruction，语言与动作的对齐更密。
输入竞争：去掉视觉后，模型不能用背景、物体位置等 shortcut 完成训练，只能从 language + state 预测 motion pattern。
跨场景复用：move left、lift upward、grasp 等 primitive 在不同物体和场景中重复出现，形成比整任务名称更可迁移的 prior。

下游再加入视觉后，视觉负责“where/which object”，LA prior 负责“how to move”。这是一种功能分工，而不是把视觉能力永久牺牲掉。

6.2 核心创新

【Paper】 创新点是把“去视觉预训练”与“原有 VLA 数据”放进同一套可比较的设计空间，并用 LA-only、LA-VLA、MixPT 分离回答：语言动作信号是否有效，以及何时加入视觉最合适。

【Analysis】 数据重组本身也是创新：33K episode 并非新采集，而是把已有 demonstration 的隐式 supervision 变成可训练的显式接口。

6.3 与已有方法的本质区别

| 方法 | 语言的角色 | 视觉是否在动作预训练中必需 | 动作输出 | | --- | --- | --- | --- | | 标准 VLA | 高层 task instruction | 是 | 连续/离散动作 | | LAP | 低层动作的自然语言描述 | 通常仍与 VLM 联合 | language-action + flow | | FAST | 主要是 action tokenization | 是 | 压缩 action token | | LA4VLA | atomic instruction 的独立 pretraining signal | LA 阶段否 | flow-matching continuous chunk |

6.4 关键假设

【Paper】 论文隐含并明确依赖以下假设：

atomic action 可以由短时间段和低层语言稳定描述；
robot state 足以支撑动作动力学先验，但不承担目标定位；
VLM 生成的 segment 经人工过滤后，噪声不会压过收益；
DROID 中的 primitive 分布能迁移到 MetaWorld、LIBERO 和 xArm6。

【Analysis】 第一个假设决定了 taxonomy 设计的重要性：如果 segment 太长，语言又退化成高层 task；如果太短，动作方向和物理效果会被噪声淹没。

7. 局限性

7.1 作者明确提出的局限

论文没有给出一个单独的 limitations section，且没有声称 LA pretraining 能替代视觉 grounding。作者明确强调 object localization、scene-specific target selection 仍需要视觉；LA 数据构造也依赖 VLM proposal 和人工审核。

7.2 自己分析得到的局限

标注成本仍然存在。 33K episode 的最终质量依赖人工过滤，论文报告了协议和一致性，但没有提供完全自动、无人工版本。
primitive vocabulary 有偏置。 move / grasp / lift / transport / place 覆盖常见桌面操作，却未必覆盖柔性物体、双臂协同、工具使用或接触丰富的 manipulation。
实验规模与任务分布有限。 真实实验是 xArm6、三类任务、每项 20 trials；不能直接推导到长时域 mobile manipulation 或 humanoid whole-body control。
代码与论文并非完全等价。 官方仓库重点是 LA4VLA-1B 训练/推理，论文中的完整 segmentation、人工审核和所有 benchmark 脚本未全部公开，因此复现需要额外数据处理工作。
state shortcut 仍可能存在。 论文的 conflicting-state 测试显示 prior 对替换 state 有韧性，但 LA 阶段仍输入 proprioception；在真实动力学或 embodiment 大幅变化时，state-action mapping 可能再次成为 shortcut。

8. 启发与研究思考

【Analysis】 LA4VLA 给出的研究方向不是简单地“训练时永远不看图”，而是把 VLA 预训练拆成可组合的能力：

先用无视觉的 LA 数据学习语言如何改变运动方向、时序和 gripper phase；
再用带视觉的 VLA 数据学习目标选择与场景 grounding；
根据任务选择 sequential、mixed 或按 dataset key 做 per-sample masking。

对后续工作，我认为最值得验证的是三点：

自动化质量控制：用 trajectory consistency、逆运动学和 action-language entailment 替代部分人工审核。
更结构化的 action vocabulary：把接触状态、物体状态、skill phase 和不确定性纳入 instruction，而不是只有方向和 primitive。
自适应视觉门控：让策略在目标已确定时依赖 LA prior，在需要重新定位时再请求视觉，从而同时降低 shortcut 和推理成本。

LA4VLA 的价值在于提出一个清晰的因果问题：当语言、视觉和状态都能预测动作时，模型到底学会了哪条路径？通过把视觉拿走一段时间，论文让这条路径变得可测量、可训练，也为 VLA 的 robustness 研究提供了一个相对干净的 intervention。

InternVLA-A1 论文精读：把理解、想象与动作统一起来

Wed, 26 Aug 2026 00:00:00 GMT

1. 论文概述

论文名称：《InternVLA-A1: Unifying Understanding, Generation and Action for Robotic Manipulation》
作者：InternVLA-A1 Team（第一作者 Junhao Cai、Zetao Cai 等）
机构：上海人工智能实验室等
年份：2026（arXiv:2601.02456）
论文链接：arXiv
代码：InternVLA-A1
项目主页：InternVLA-A1

一句话总结

【Paper】 传统 VLA 擅长“看懂并执行”，却不擅长推断动作会如何改变世界；视频世界模型能预测变化，却容易缺少语义锚点。InternVLA-A1 以 Mixture-of-Transformers（MoT）把 Understanding、Generation 和 Action 三个专家接成统一模型，让语义上下文与未来视觉动态共同决定动作。

核心贡献

【Paper】

用统一的 masked self-attention 串联三个专家：Understanding Expert 编码多视角图像和语言，Generation Expert 预测未来视觉状态，Action Expert 以 Flow Matching 生成动作 chunk。
采用轻量、非自回归的 Generation Expert：三视角、两个时间点共 6 张图像先经 COSMOS VAE，再压缩为 96 个 token，一次前向预测未来帧，目标运行频率约 13 Hz。
设计混合预训练配方：InternData-A1、RoboTwin 仿真数据，AgiBot-World、RoboMind 真实机器人数据，以及 EgoDex 人类第一视角视频，共约 692M 帧。
在 10 个静态、2 个动态真实任务和 RoboTwin 2.0 上验证。3B 模型静态任务平均成功率 75.1%，动态任务平均 86.7%，RoboTwin Easy/Hard 为 89.4%/89.6%。

2. 背景与相关工作

【Paper】 以 $pi_0$、$pi_{0.5}$ 和 GR00T 为代表的 VLA 通常从 MLLM 的视觉—语言特征直接回归动作。文本 token 对物理规律、接触和惯性的表达并不自然，因此策略多是反应式的：看到当前画面后立刻选动作，却很少显式考虑“执行后场景会变成什么”。在传送带分拣、运动中取食材等任务中，这种缺少 foresight 的策略容易错过时机。

另一条路线是 World Model：根据当前观察和动作预测未来视频，再据此规划。它能表达动态，但预测误差会逐步累积，而且视频生成模型未必理解“哪个物体与指令相关”。InternVLA-A1 的出发点是让语义和动力学共享上下文，而不是把两个独立模型串联。

【Analysis】 论文的关键取舍是：未来图像不需要达到可供人欣赏的像素级保真度，只要 latent 中保留足够的运动趋势和接触线索，就能为动作专家提供有用的条件，同时保持控制频率。

3. 问题定义

【Paper】 将机器人操作建模为从多视角观察 $o_t$、语言指令 $l$、本体状态 $q_t$ 到动作 chunk $a_{t:t+k}$ 的策略学习问题。输入包括头部相机和左右腕部相机图像、历史帧、语言以及关节/末端执行器状态；输出是连续动作序列。模型还要预测时间间隔 $m=15$ 后的视觉状态，以学习局部动力学。

| 项目 | 论文设定 | | --- | --- | | Robot / Embodiment | Agibot Genie-1、ARX Lift-2、ARX AC One，均为双臂平台 | | Observation | 头部 + 左右腕部多视角图像，当前与 $t-15$ 历史帧，本体状态 | | Action | 连续动作 chunk，使用 Flow Matching 从噪声积分到目标动作 | | Horizon | 未来视觉间隔 $m=15$；动作 chunk 长度由配置 chunk_size 决定 | | 数据 | 396M InternData-A1、17M RoboTwin、206M AgiBot-World、5M RoboMind、68M EgoDex 帧 | | 评测 | 10 个静态真实任务、Express Sorting、In-motion Ingredient Picking、RoboTwin 2.0 |

4. 方法

4.1 Overall Architecture

【Paper】 信息按 Understanding → Generation → Action 的方向流动：理解专家产生语义上下文，生成专家基于上下文和历史图像预测未来视觉 latent，动作专家再结合本体状态输出动作。三个 token 流通过 blockwise masked self-attention 连接，后面的 block 可以看见前面的 block，前面的 block 不能反向读取后面的输出。

4.2 核心模块

Understanding Expert

输入：多视角图像 $o_t$ 与语言指令 $l$。
处理：2B 版本采用 InternVL3-1B，3B 版本采用 Qwen3-VL-2B；视觉编码器将图像变成视觉 token，文本 tokenizer 产生语言 token。
输出：语义上下文 $h_{und}=f_{und}(l,o_t)$，作为后两个专家的共享 KV 上下文。
作用：把“要做什么”和“场景中有什么”对齐，给动态预测和动作生成提供任务相关语义。

Generation Expert

输入：头部、左腕、右腕三个视角在 $t-15$ 和 $t$ 的 6 张 $256\times256$ 图像。
Tokenization：COSMOS CI8×8 VAE 把每张图像编码为 $32\times32$ latent grid（1024 token）。
压缩：$8\times8$ 卷积把每张图压到 $4\times4$（16 token），6 张图总计 96 token，再投影到 Transformer hidden size。
上下文交互：Generation token 可双向注意自身，并通过统一注意力读取 Understanding token；实现上使用前一专家的 KV cache。
输出：沿时间轴平均池化 96 token 得到 48 token，经上采样和 COSMOS VAE decoder 并行重建 $t+15$ 的三视角图像。
为什么需要：用一个前向 pass 获得粗粒度未来状态，避免自回归视频生成的高延迟；论文 Figure 10 显示虽然细节被牺牲，但主要运动趋势仍被保留。

Action Expert

输入：$h_{und}$、$h_{gen}$、本体状态 $q_t$，以及 Flow Matching 中的带噪动作 $a_\tau$ 和时间 $τ$。
结构：由 Qwen2.5（2B 版本）或 Qwen3（3B 版本）的 Transformer block 构成，前接状态投影和动作/时间嵌入，后接线性 action head。
输出：动作 chunk 的速度场 $v_\theta$；推理时通过 ODE 积分得到连续动作。
注意力：Action block 的 state token 只能看自己和前面 block；action token 可看 state token、前序 block 及同一 action block 的 token。

4.3 关键公式

视觉前瞻损失

设 COSMOS VAE 编码器为 $\phi_{cosmos}$，$z_t=\phi_{cosmos}(o_t)$，生成专家为 $f_{gen}$：

$$ \mathcal L_{gen}=\mathbb E_{\xi_1}\left[\left|f_{gen}(z_{t-m},z_t;h_{und})-\operatorname{sg}[z_{t+m}]\right|_2^2\right] $$

$\xi_1=(o_{t-m},o_t,o_{t+m},l)$；$\operatorname{sg}$ 表示 stop-gradient。该项让模型在 latent 空间学习“当前状态向未来如何演化”，而不是只记住静态外观。

Flow Matching 动作损失

从高斯噪声 $\epsilon\sim\mathcal N(0,I)$ 和示教动作 chunk $a_{t:t+k}$ 构造：

$$ a^\tau_{t:t+k}=(1-\tau)\epsilon+\tau a_{t:t+k},\quad \tau\sim\operatorname{Beta}(1.5,1.0) $$

动作专家学习把噪声搬运到示教动作的速度场：

$$ \mathcal L_{act}=\mathbb E_{\xi_2}\left[\left|v_\theta(q_t,a^\tau_{t:t+k};h_{und},h_{gen})-(a_{t:t+k}-\epsilon)\right|_2^2\right] $$

其中 $\xi_2=(a_{t:t+k},o_{t-m},o_t,q_t,l)$。总目标为：

$$ \mathcal L_{total}=\lambda\mathcal L_{gen}+\mathcal L_{act},\qquad \lambda=0.01 $$

4.4 Training

【Paper】 训练分为预训练和任务后训练两阶段，但两阶段使用相同的视觉前瞻 + 动作联合目标。预训练混合三类数据；后训练针对目标任务降低学习率。预训练 700K steps、batch size 512、AdamW、$5\times10^{-5}$ 恒定学习率；后训练 60K steps、batch size 128，学习率从 $5\times10^{-5}$ 衰减到 $5\times10^{-6}$，warmup 2000 steps，均使用 bfloat16 和 1.0 梯度裁剪。

【Paper】 训练数据的采样权重为 InternData-A1 0.64、RoboTwin 0.08、AgiBot-World 0.18、RoboMind 0.02、EgoDex 0.08。作者还提出 Load-balanced Parallel Training（LPT）：按数据集规模降序，将下一个数据集分配给当前负载最小的 worker；数据集少于 worker 时允许受控复制，以减少 I/O 竞争和隐式重加权。

【Code】 官方 A1 分支通过 launch/internvla_a1_3b_pretrain.sh 和 launch/internvla_a1_3b_finetune.sh 进入 LeRobot 训练入口；策略实现位于 src/lerobot/policies/InternVLA_A1_3B/modeling_internvla_a1.py。代码冻结 COSMOS tokenizer 参数，可按配置冻结视觉编码器或仅训练专家；默认以 bfloat16 运行，并支持 gradient checkpointing 与 torch.compile。

4.5 Inference

【Code】 推理时先缓存 Understanding Expert 的 KV，再处理当前/历史图像的 Generation Expert 输出；随后从高斯噪声开始，以固定步数 Euler ODE 反向积分动作速度场。视觉未来帧只在需要可视化时解码，低延迟部署可跳过 COSMOS decoder。

4.6 代码实现对照

| 论文概念 | 官方代码位置 / 行为 | | --- | --- | | 三专家 MoT | Qwen3VLWithExpertModel 将 Understanding、Generation、Action 三个 Transformer 的同层 Q/K/V 拼接后统一注意力计算 | | Understanding 输入 | embed_prefix 调用 Qwen3-VL vision encoder，并将 image token 替换为视觉 embedding | | Generation token 压缩 | get_cosmos_features → cosmos_in_proj → downsample_conv；embed_middle 展平为中间 token | | 未来图像解码 | decode_cosmos 做时间平均、upsample_conv 和线性投影；COSMOS tokenizer 全程冻结 | | Flow Matching | forward 用噪声与动作插值构造 x_t，监督速度 u_t=noise-actions；sample_actions 用 Euler 步进 | | 注意力 mask | make_att_2d_masks 以累计 segment mask 实现 prefix → middle → suffix 的信息流 | | 工程优化 | 配置支持 gradient_checkpointing、compile_model，并可冻结视觉编码器或只训练专家 |

5. 实验

5.1 Experimental Setup

【Paper】 真实评测覆盖 Genie-1、ARX Lift-2 和 ARX AC One。静态任务包括 Zip Bag、Unscrew Cap、Make Sandwich、Operate Oven、Sort Parts、Sort Rubbish、Sweep Trash、Wipe Stain、Place Markpen、Place Flower；动态任务为 Express Sorting 和 In-motion Ingredient Picking。每个任务在 30 个预定义设置上各执行一次。

RoboTwin 2.0 覆盖 50 个双臂任务，Easy 使用干净场景，Hard 使用域随机化；微调共 27,500 条示范，评估结果平均 100 次试验。

5.2 Main Results

【Paper】 静态任务平均成功率如下：

| 方法 | 平均成功率 | | --- | ---: | | GR00T N1.5 | 33.0% | | π₀ (3.3B) | 60.6% | | π₀.₅ | 70.7% | | InternVLA-A1 (2B) | 64.7% | | InternVLA-A1 (3B) | 75.1% |

3B 模型在 Make Sandwich 达到 93.3%，Operate Oven 86.7%，Zip Bag 73.3%。它比 π₀.₅ 的静态平均值高 4.4%，说明视觉前瞻不仅改善高层任务选择，也能帮助接触丰富的低层控制。

动态任务结果更能体现方法动机：

| 方法 | Express Sorting | In-motion Ingredient Picking | 平均 | | --- | ---: | ---: | ---: | | GR00T N1.5 | 40.0% | 20.0% | 30.0% | | π₀ | 36.7% | 20.0% | 28.4% | | π₀.₅ | 53.3% | 66.7% | 60.0% | | InternVLA-A1 (2B) | 70.0% | 20.0% | 45.0% | | InternVLA-A1 (3B) | 80.0% | 93.3% | 86.7% |

RoboTwin 2.0 上，InternVLA-A1 (3B) 的 Easy/Hard 平均成功率为 89.4%/89.6%，分别比 π₀.₅ 高 2.6 个百分点。

5.3 Ablation Study

【Paper】 去掉预训练后，12 个真实任务平均成功率从 77.0% 降到 25.4%，下降 51.6 个百分点。仅仿真数据在 RoboTwin 上已达 88.3%/88.5%，但真实 Place Flower 只有 53.3%、Sort Parts 只有 33.3%；加入人类视频后，Sort Parts 升至 40.0%；再加入真实机器人数据，Place Flower/Sort Parts 达到 60.0%/53.3%。

去掉 Generation Expert 后平均成功率由 77.0% 降到 57.6%，12 个任务中有 11 个变差，动态任务降幅尤其明显。这直接支持“预测未来状态是动作生成的有效条件”这一设计。

5.4 Generalization

【Paper】 三种数据源承担互补角色：仿真提供大规模场景和轨迹多样性，真实机器人数据提供接触动力学与 sim-to-real 锚点，人类视频提供手—物交互和第一视角运动先验。三者联合训练在仿真和真实任务上同时最好，而不是只优化某一个 benchmark。

【Analysis】 动态任务的提升（相对 π₀.₅ 平均 +26.7 个百分点）比静态任务更大，说明 Generation Expert 学到的不是单纯的物体识别，而是与时间相关的决策线索，例如传送带速度、目标即将出现的位置和双臂协同的时机。

6. 方法分析

6.1 为什么有效？

【Analysis】 反应式 VLA 只需拟合 $p(a_t|o_t,l)$；InternVLA-A1 先构造一个近似的 $p(o_{t+m}|o_{t-m},o_t,l)$，再让动作专家读取这个动态表征。即使未来图像不够清晰，latent 中的运动方向也能把动作从“看到再追”变成“预测后拦截”。同时，三个专家共享 attention 层，避免独立 world model 与 policy 之间的表示错位。

6.2 核心创新

架构创新：MoT 不是简单并排堆模型，而是用累积 attention mask 明确信息流，让理解、生成、动作在同一 Transformer 深度内交互。
效率创新：Generation Expert 采用 VAE token 压缩、时间平均池化和并行解码，避免昂贵的自回归视频生成。
训练创新：同一个联合目标同时接纳有动作标签的机器人轨迹和只有视频标签的人类数据，扩大可用数据范围。
工程创新：官方实现提供 KV cache、gradient checkpointing、torch.compile 和 action-only 后端，能把 3B 模型推到约 13 Hz。

6.3 与已有方法的本质区别

| 路线 | 语义理解 | 动态预测 | 动作生成 | 主要问题 | | --- | --- | --- | --- | --- | | 传统 VLA | 强 | 隐式 | 直接/Flow Matching | 对快速变化场景缺少 foresight | | 视频策略 + 独立动作头 | 中等 | 强 | 独立模块 | 多阶段训练、模块接口脆弱 | | 独立 World Model + Planner | 取决于模型 | 强 | 规划器 | 误差累积、语义和控制分离 | | InternVLA-A1 | MLLM | Generation Expert | Action Expert | 统一训练，仍需更强语义与更高保真预测 |

6.4 关键假设

$t-15$ 与 $t$ 的短时间窗口足以提供当前任务所需的局部动力学线索。
低频、低保真的未来图像 latent 对动作比像素级重建更重要。
仿真、真实机器人和人类视频的视觉/运动先验可以在共享表示中互补，而不会产生不可控的负迁移。
Flow Matching 能以有限 Euler 步数覆盖示教动作的多模态分布。

7. 局限性

7.1 作者明确提出的局限

【Paper】

Understanding Expert 没有与大规模多模态 VQA 数据联合训练，因此复杂语义推理和长指令跟随能力仍有限。
为满足实时推理，Generation Expert 牺牲了图像预测的高频细节，未来帧的像素级保真度不足。

7.2 自己分析得到的局限

【Analysis】

预测间隔固定为 15 帧，面对不同速度的传送带或长时延接触，单一时间尺度可能不够；多尺度 foresight 尚未验证。
论文主要报告成功率，缺少控制频率、ODE 步数、视觉解码开关对能耗和端到端延迟的完整消融，因此“13 Hz”不等于所有机器人部署条件下都能达到 13 Hz。
混合数据的采样权重由经验设定，数据集之间的动作空间和相机分布差异可能导致隐性偏置；LPT 解决负载问题，但不自动解决语义/动力学域偏移。
未来视觉预测目前作为动作条件使用，论文没有证明生成图像本身能支持可解释的显式规划或失败恢复。

8. 启发与研究思考

把“想象”做成可训练的中间监督：未来状态预测不必追求视频生成的观感，只需保留会改变动作选择的因素，这为低延迟 world model 提供了实际目标。
统一架构的价值在接口而非参数共享：MoT 的关键是 attention mask 定义了语义→动态→动作的因果接口；未来可以把触觉、力矩或语言计划作为新的 block 插入同一信息流。
数据互补应与任务难度对齐：仿真扩大覆盖面，真实数据校准接触，人类视频补充运动先验。对动态任务，后两者可能比继续增加静态仿真轨迹更有价值。
下一步可研究自适应时间尺度：让模型同时预测短期和长期 latent，并让动作专家按不确定性选择观察/规划频率，可能比固定 15 帧更适合跨平台部署。
评测应加入预测质量与控制质量的因果联系：除了成功率，还应报告未来 latent 的校准度、动作对预测误差的敏感性，以及关闭 foresight 后的能耗和延迟变化。

Hume 论文精读：让 VLA 先思考，再流畅行动

Wed, 26 Aug 2026 00:00:00 GMT

1. 论文概述

【Paper】《Hume: Introducing System-2 Thinking in Visual-Language-Action Model》把 VLA 控制拆成两个异步系统：System 2 是较慢但能反复采样、用 state-action value 选择动作的规划器；System 1 是轻量、快速的 visuomotor policy，负责把尚未完全去噪的动作片段变成流畅控制信号。论文在 3 个仿真环境、3 种真实机器人平台和 21 个真实任务上评估这一设计。

一句话总结

【Analysis】 Hume 把“是否值得执行”的判断从动作生成中分离出来：System 2 用多次采样换取候选多样性，System 1 用级联去噪换取实时性与精度。

核心贡献

【Paper】

在预训练 VLA 上增加 value-query head，估计 observation 与候选 action chunk 的 state-action value，并用 Best-of-N 选择。
提出 cascaded dual-system action denoising：System 2 输出长时域、带残余噪声的 chunk，System 1 接力完成局部去噪。
设计低频 System 2 / 高频 System 1 的异步部署机制，使慢思考不会直接牺牲控制频率。
在 LIBERO、SimplerEnv、WidowX、Franka 与 AgiBot G-1 上验证，并报告消融收益。

2. 背景与相关工作

【Paper】 现有 VLA 往往直接预测动作或 action chunk。Diffusion/flow-matching policy 能表达多模态动作，但采样成本高；单次采样又可能把偶然的坏轨迹交给机器人。纯粹增加采样次数则会降低闭环控制频率。

Hume 借用了 LLM 中 System 1/System 2 的分工：System 2 进行低频、计算密集的候选评估，System 1 进行高频、反应式执行。【Analysis】 Hume 用学习到的 Q 函数排序候选，并显式保留长时域动作选择。

3. 问题定义

【Paper】 在时刻 $t$，给定多视角 RGB 图像、自然语言指令和机器人状态：

Observation：$\mathbf{o}_t=(\mathbf{i}_t,\ell_t,\mathbf{s}_t)$。
Action：长度为 $H$ 的连续 action chunk，$\mathbf A_t=[\mathbf a_t,\ldots,\mathbf a_{t+H-1}]$。
目标：从同一观测生成多个候选，选出价值最高者，再以高控制频率输出平滑动作。
Embodiment：仿真中的 WidowX/Google robot，以及真实 WidowX、Franka、AgiBot G-1。
奖励：离线 RL 中每条 episode 的最后 3 个 transition 奖励为 $+1$，其余为 $0$。

【Code】 官方仓库提供 LIBERO 评估与训练代码，同时发布 Hume-System2 权重；README 标注真实世界和 SimplerEnv 评估代码仍未发布。

4. 方法

4.1 Overall Architecture

【Paper】 System 2 读取 observation，经 VLM、flow-matching action head 和 value-query head 得到 $N$ 个不同噪声水平的候选；最高 Q 值的长 chunk 被切成短片段，送入 System 1 的 DINOv2-small + lightweight transformer 做连续去噪。数据流见 Figure 1。

4.2 核心模块

System 2：候选动作生成

【Paper】 action denoising head 学习 $p(\mathbf A_t\mid\mathbf o_t)$。从高斯噪声 $\mathbf A_t^0$ 出发，用 flow vector field $\mathbf v_\theta$ 积分到不同终点 $1-(n-1)\xi$，得到既有完全去噪动作、也有残余噪声的候选。

Value-query head

【Paper】 VLM 输入序列末尾附加可学习 query token $\mathbf q_t$。它与候选 action chunk 一起输入两个 critic 网络和一个 actor 网络组成的 Cal-QL 结构，输出 $Q_\theta(\mathbf q_t,\mathbf A_t)$：

$$ \mathbf A_t^{\tau^*}=\arg\max_{n\in{1,\ldots,N}}Q_\theta(\mathbf q_t,\mathbf A_t^{\tau_n}). $$

【Analysis】 这个 head 把当前 observation、语言条件和整段 action chunk 联合编码，因此能偏好更可能完成长时域任务的候选，而不是只判断单步动作。

System 1：级联动作去噪

【Paper】 System 2 的 chunk 被切成 $K=H/h$ 个子 chunk。System 1 输入当前视觉、机器人状态和带残余噪声的子 chunk，从 $\omega=0$ 积分到 $\omega=1$，输出最终动作。

【Code】 FastVisuoExpertModel 使用 DINOv2-small 和轻量 transformer；HumePolicy.select_action 先调用 s2_model.sample_actions，再由 value_query_head.select_q_actions 选中，最后调用 s1_model.sample_actions。HumePolicy.infer 维护 action_plan 队列和 history_state。

4.3 关键公式

Flow matching

【Paper】 构造 $\mathbf A_t^\tau=\tau\mathbf A_t+(1-\tau)\epsilon$，其中 $\epsilon\sim\mathcal N(0,I)$，最小化：

$$ \mathcal L_{FM}=\mathbb E\left[|\mathbf v_\theta(\mathbf A_t^\tau,\mathbf o_t)-(\epsilon-\mathbf A_t)|_2^2\right]. $$

$\tau$ 表示噪声插值位置；推理使用 forward Euler，论文设置 10 个去噪步。

Cal-QL value objective

$$ \min_\theta;\alpha\mathcal R(\theta)+\frac12\mathbb E\left[(Q_\theta(\mathbf q_t,\mathbf A_t)-\mathcal B^\pi\bar Q(\mathbf q_t,\mathbf A_t))^2\right]. $$

【Paper】 $\mathcal R$ 是 calibrated conservative regularizer，用于抑制分布外动作的 Q 值过估计；$\bar Q$ 是延迟 target network。

Cascaded denoising

$$ \widetilde{\mathbf A}{t+kh}^{\omega}=\widetilde{\mathbf A}{t+kh}^{\tau^*}+\int_0^\omega\mathbf v_\theta(\widetilde{\mathbf A}{t+kh}^{\omega},\widetilde{\mathbf o}{t+kh})d\omega. $$

【Analysis】 System 1 的初值是被选中的“半成品”动作，因此级联阶段更像 refinement，而不是重新规划。

4.4 Training

【Paper】 训练分两阶段：第一阶段训练 VLM backbone 与 System 2 action head；第二阶段冻结这两部分，从头训练 System 1 和 value-query head。Q head 使用离线 demonstrations、稀疏终点奖励和 Cal-QL；System 1 使用 flow-matching loss。

【Code】 train_s2.py 对应阶段一；train_vqh_s1.py 管理 trunk、actor、critic、temperature 四个 optimizer，并按 soft_target_critic_update_rate=5e-3 更新 target critics。代码默认 s1_chunk_size=8、s2_chunk_size=8、vqh_chunk_size=10，与论文正文的 $H=30,h=15$ 不完全相同。

4.5 Inference

【Paper】 示例中 System 2 以 4 Hz 生成 $N=5$ 个长度 $H=30$ 的候选，System 1 以 6 Hz 处理长度 $h=15$ 的子 chunk，执行频率可达到 90 Hz。两个系统通过共享队列异步协作。

【Code】 README 示例使用 s2_candidates_num=5、replan_steps=8、s2_replan_steps=16。select_action 缓存 noise_action，用 stamp 计算滑动窗口，说明代码不必每个控制周期重新运行 System 2。

4.6 代码实现对照

| 论文概念 | 官方代码位置 | 实际行为 | | ---------------- | ------------------------------------- | ------------------------------------------------- | | System 2 VLA | src/hume/models/modeling_hume.py | PaliGemma-with-expert 的 action flow matching | | Value-query head | src/hume/models/value_query.py | VQH backbone + CalQL actor/双 critic | | System 1 | src/hume/models/fast_visuo_expert.py | DINOv2-small + lightweight transformer | | 异步/缓存 | HumePolicy.infer、select_action | action_plan 队列、stamp 滑窗、候选 action/Q cache | | 训练 | training/train_s2.py、train_vqh_s1.py | 分阶段训练与 target critic 更新 |

【Code】 README 的 TODO 仍把真实世界与 SimplerEnv 评估标为未发布，因此本文不把未公开脚本行为当作代码事实。

5. 实验

5.1 Experimental Setup

【Paper】 实验覆盖 SimplerEnv 和 LIBERO 仿真，以及 WidowX、Franka、AgiBot G-1 三个平台；真实测试共 21 个 manipulation tasks，包含视角/纹理/光照变化、未见物体、可变形物体、工具使用和 humanoid 控制。

5.2 Main Results

【Paper】 LIBERO 平均成功率为 98.6%，四个 suite 均排名第一；LIBERO-Long 为 96.7%，高于 $\pi_0$ 的 85.2%。SimplerEnv WidowX 平均 72.6%，Google robot 的 variant aggregation 平均 74.1%、visual matching 平均 78.7%。

【Paper】 WidowX 真实任务平均成功率为 91%，相对 $\pi_0$ 提升 12 个百分点；Franka 平均 87%，相对 $\pi_0$ 提升 14.75 个百分点。AgiBot 的 Fold Shorts 成功率 88%，Pour Water 为 82%。

5.3 Ablation Study

【Paper】 LIBERO 平均成功率从完整模型的 98.6% 降至：去掉 cascaded denoising 为 95.9%，去掉 repeat sampling 为 93.8%，去掉 System 1 为 89.8%，去掉 value-query head 为 84.9%。SimplerEnv WidowX 对应平均值为 72.6%、68.7%、65.6%、61.6%、56.3%。

【Analysis】 value head 决定“选谁”，repeat sampling 决定“有没有可选项”，System 1 决定“选中的半成品能否被精确执行”。

5.4 Generalization

【Paper】 泛化测试覆盖环境外观、相机位姿、语言描述、物体与布局变化，以及跨 embodiment 的真实部署。【Analysis】 目前证据主要是任务内训练、跨外观/平台测试；论文没有证明完全未见任务语义上的 zero-shot planning。

6. 方法分析

6.1 为什么有效？

【Analysis】 flow-matching policy 的单次输出包含采样噪声。Hume 先保留多样性，再用 Q head 把它转化为候选间的可选择性；System 1 避免把全部去噪步骤堆到慢速 VLA 上。System 2 解决选择问题，System 1 解决执行问题。

6.2 核心创新

Value-guided repeat sampling：Q 值对 action chunk 排序。
Cascaded action denoising：把未完成的 flow trajectory 作为快策略输入。
Asynchronous dual frequency：慢模块只在重规划时运行，快模块持续消费动作队列。

6.3 与已有方法的本质区别

【Analysis】 相比普通 Best-of-N，候选来自不同 flow 时间终点；相比 diffusion policy refinement，Hume 额外学习离线 RL value function；相比单体 VLA，规划频率和执行频率可以独立设置。

6.4 关键假设

【Paper】 Q head 能从离线 demonstration 学到可靠的 state-action value。
【Analysis】 候选 action 的 Q 排序在分布外状态仍然有效。
【Analysis】 System 1 能在下一个 System 2 chunk 到来前完成去噪。

7. 局限性

7.1 作者明确提出的局限

【Paper】 论文正文没有单独的 limitations 小节，也没有报告完整的推理显存、功耗或端到端延迟分解；论文未明确说明这些部署成本。

7.2 自己分析得到的局限

Q head 依赖稀疏终点奖励，可能难以细致估计中间状态的可恢复性。
$N$ 次 System 2 采样带来近似 $N$ 倍的 backbone/action-head 计算。
critic 偏差可能反过来影响候选选择，Cal-QL 只能缓解而不能消除耦合风险。
论文的 $H=30,h=15$ 与公开代码默认 chunk 配置不同，复现必须锁定 config、checkpoint 和数据处理流程。

8. 启发与研究思考

【Analysis】 Hume 给出的可迁移范式是“粗粒度候选 + 细粒度执行”。后续值得追问：能否用 uncertainty-aware value 让 $N$ 自适应？能否让 System 1 预测执行风险并主动请求 System 2？能否把高层 subgoal 或 world model rollout 接入 value-query head，减少对稀疏终点奖励的依赖？

Helix 技术发布精读：快慢双系统 VLA

Wed, 26 Aug 2026 00:00:00 GMT

1. 论文概述

阅读范围。【Paper】本文的唯一一手资料是 Figure AI 于 2025 年 2 月 20 日发布的技术说明《Helix: A Vision-Language-Action Model for Generalist Humanoid Control》。它不是 arXiv 论文：未公开论文 PDF、作者列表、代码仓库、训练配置或可复现实验表。为与本栏目组件兼容，顶部卡片保留了 ArxivRating，但其中的 “Figure AI Helix” 是来源标识，不是 arXiv 编号。下文的【Paper】均指该官方技术发布；【Code】部分只报告“未公开”，不会用第三方复现冒充官方代码。

一句话总结

【Paper】 Helix 是面向 Figure 人形机器人上半身控制的 Vision-Language-Action（VLA）系统：System 2（S2）用一个 7B 的开放权重 VLM 以 7–9Hz 理解图像、机器人状态和自然语言，压缩出单个连续 latent；System 1（S1）以 200Hz 把该 latent 与最新视觉/状态结合，输出连续的全上半身控制。

核心贡献

【Paper】

以不同时间尺度拆分“语义理解”和“反应式控制”：S2 慢、通用；S1 快、闭环。
用一个连续 latent 连接两个系统，而非把高维人形动作离散成 Action Token。
在约 500 小时、多机器人、多操作者的遥操作数据上，端到端训练同一组模型权重；训练物品会从评测中排除。
把 S2 与 S1 部署在机器人上的两块低功耗嵌入式 GPU 上，分别异步运行。

2. 背景与相关工作

【Paper】 家庭环境包含形状、材质和摆放都不稳定的物体。传统手工脚本的技能数量受专家工程时间限制；单任务模仿学习虽然能随数据扩张，却需要为新任务采集示教。Helix 的目标是把互联网预训练 VLM 的物体/语言先验转换为即时的机器人行为，从而让自然语言成为新增行为的接口。

【Analysis】 这里的“缩放”是 Figure 给出的产品/研究主张，而不是可用于拟合的定量 scaling law：图中没有坐标数值、置信区间或统一评测协议。它准确表达了 Helix 想改变的瓶颈，但不能单独证明相对于其他路线的样本效率。

【Paper】 此前 VLA 常遇到一项工程张力：VLM 的开放世界语义能力强，却难以直接承担高频闭环控制；专用 visuomotor policy 响应快，却通常依赖任务内数据、泛化范围有限。Helix 以 S2/S1 的异步分工处理该张力，而不是让一个网络以同一频率同时解决两件事。

3. 问题定义

【Paper】 给定单目机载图像 $I_t$、机器人状态 $s_t$ 与语言指令 $l$，Helix 要持续输出人形上半身的连续目标控制。官方列出的状态包含手腕位姿和手指位置；动作包含目标手腕位姿、手指屈曲/外展、躯干与头部朝向，以及一个人工加入的“任务完成百分比”动作。官方同时称系统在 200Hz 下协调 35-DoF action space；各 DoF 与上述控制量的一一对应、坐标系、限幅和底层控制器细节均未公开。

可将发布中描述的策略抽象为：

$$ z_t = g_{\phi}(I_t, s_t, l), \qquad \hat a_t = f_{\theta}(I_t, s_t, z_t). $$

其中 $g_{\phi}$ 是 S2，$z_t$ 是它输出的连续语义 latent，$f_{\theta}$ 是 S1，$\hat a_t$ 是一个高频连续动作。【Analysis】 这不是官方给出的原始公式，而是对其文字架构的记号化；它的价值在于把“任务意图”和“瞬时运动控制”之间唯一的显式通信接口标出来。

| 要素 | 发布中可确认的信息 | 未公开的信息 | | --- | --- | --- | | 观测 | 单目机载图像、手腕位姿、手指位置、语言指令 | 图像分辨率、历史长度、标定和归一化 | | 动作 | 上半身连续控制；官方称 35 DoF、200Hz | 每一维定义、控制增益、执行器接口 | | 机器人 | Figure humanoid，双机器人可同时运行相同权重 | 硬件型号的完整规格与安全约束 | | 数据 | 约 500 小时、多机器人多操作者遥操作 | 任务分布、样本数、采样率与数据划分 |

4. 方法

4.1 Overall Architecture

【Paper】 数据流可压缩为一句：S2 将图像、机器人状态和语言压缩成连续 latent，S1 将该 latent 投影到自己的 token 空间、与其视觉特征沿序列维拼接，再生成连续控制；两者端到端训练，但部署时异步运行。

【Analysis】 该结构的关键并非“两个模型”本身，而是把低带宽、慢更新的 $z_t$ 设为高层语义接口。S1 仍读取最新图像和状态，因此当伙伴机器人或被抓物体发生小尺度变化时，不必等待下一次 S2 更新才纠正动作。

4.2 核心模块

System 2：慢速语义 VLM

【Paper】 S2 是一个在互联网规模数据上预训练的 7B 开放权重 VLM，运行频率为 7–9Hz。它把单目图像和机器人状态投影到 vision-language embedding space，并与自然语言命令一起处理，输出单个连续 latent vector，承载与当前任务相关的语义信息。

System 1：高速 latent-conditional policy

【Paper】 S1 是一个 80M 参数的 cross-attention encoder-decoder Transformer。其视觉支路是 fully convolutional、multi-scale backbone，并由纯仿真预训练初始化。S1 接收与 S2 相同类型的图像/状态输入，但以更高频率运行；它把 S2 latent 投影为 token，并与视觉特征按 sequence dimension 拼接，以条件化自己的动作输出。

【Analysis】 这让 S1 的条件变量不是离散技能 ID，也不是逐步生成的文字推理，而是可端到端反传的连续向量。代价是 $z_t$ 的语义可解释性、维数与失效模式未披露；外部读者无法验证它是否真的只编码“高层意图”。

完成度动作与多机器人场景

【Paper】 官方在动作空间中附加“percentage task completion”，并说明它可作为预测终止条件，便于串联多个已学行为。在双机器人杂货收纳演示中，两台机器人使用相同的 Helix 权重，根据诸如“把饼干袋递给右边的机器人”的指令协作；发布称未为不同机器人分配专门角色或专门权重。

4.3 关键公式

【Paper】 官方只说明使用“standard regression loss”从原始像素和文本映射到连续动作，未给出 L1/MSE 的具体形式、损失权重、优化器或训练步数。因此可确认的训练目标只能写成抽象形式：

$$ \min_{\theta,\phi}; \sum_t D!\left( f_{\theta}(I_t, s_t, g_{\phi}(I_{t-\Delta}, s_{t-\Delta}, l)), a_t \right). $$

$a_t$：遥操作示教中的连续目标动作；
$D$：官方所称的 regression loss，具体定义未公开；
$\Delta$：S2 与 S1 输入之间的 temporal offset；
$I_{t-\Delta}, s_{t-\Delta}$：S2 使用的较早观测，$I_t, s_t$ 则供高速 S1 使用。

【Paper】 发布明确说会校准 $Δ$，使其匹配部署时 S1/S2 推理延迟的差距，并让来自 S1 的梯度经 latent 回传至 S2。【Analysis】 因而 offset 不是数据增强细节，而是异步系统的训练—推理对齐机制：若训练时两支路“同步”、部署时却使用陈旧 latent，S1 学到的条件分布会改变。

4.4 Training

【Paper】 训练数据是约 500 小时的高质量遥操作行为，覆盖多个机器人和操作者。Figure 先把机载相机视频切成片段，再用 auto-labeling VLM 生成 hindsight instruction；其提示语是“为了得到视频中看到的动作，你会给机器人什么指令？”。官方称评测物品均从训练物品中排除。

【Paper】 发布还说明训练只有单一阶段、所有行为共用一组权重，没有每任务 fine-tuning 或独立 action head。batch size、学习率、数据增强、仿真预训练的任务和冻结策略均未公开。

4.5 Inference

【Paper】 每台机器人配备两块低功耗嵌入式 GPU：S2 在一块 GPU 上作为异步后台进程，持续读取最新观测和语言指令，并将 latent 写入共享内存；S1 在另一块 GPU 上维持 200Hz 实时循环，每一步读取最新观测和最近一次 S2 latent。

【Analysis】 这是典型的 fast/slow control interface：S2 提供低频目标，S1 保留高频视觉反馈。它不会消除 S2 的语义误判，却能避免慢 VLM 的单次延迟直接决定 200Hz 执行环的时延。

4.6 代码实现对照

【Code】 截至本文发布日，Figure 的 Helix 官方页面未链接代码仓库，页面 HTML 中也没有 GitHub 链接；Figure AI 的 GitHub 组织 API 地址并不存在。检索到的公开仓库均由第三方标明为 implementation/reimplementation，不能当作官方实现。因此没有可核对的 model、dataset、loss、checkpoint 或 evaluation 代码路径，本节不进行虚构的逐文件对照。

5. 实验

5.1 Experimental Setup

【Paper】 公开材料展示了 Figure humanoid 的上半身控制：手腕、手指、躯干和头部在 200Hz 下联动；发布称 35-DoF action space，并强调头/躯干运动会同时改变可达空间与相机视野。数据来自多机器人、多操作者遥操作，约 500 小时。

【Paper】 该技术发布没有公开标准 benchmark 名称、训练/测试轨迹数、机械人重复次数、成功判据或随机种子。演示视频可以说明系统曾完成过展示的行为，不能替代可复现的实验设置。

5.2 Main Results

【Paper】 Figure 报告三类定性结果：

单机器人以 200Hz 进行细粒度全上半身控制；
两台机器人以同一权重完成零样本杂货收纳与交接；
对“Pick up the [X]”等指令，在杂乱场景中抓取数千种训练中未出现的小型家居物品，并能把抽象描述（如 desert item）对应到目标物。

【Analysis】 这些结果支持“语义条件 + 高频控制可以共同工作”的可行性，但发布没有给出成功率、失败率、对象集合、遮挡程度或和强基线的统一对比。因而“数千种”“零样本”和“匹配最快单任务 BC”的性能主张应视为厂商报告，不能换算为跨论文的排名。

5.3 Ablation Study

【Paper】 未公开 ablation table、消融视频对照或 S1/S2 频率、latent、视觉 backbone、时间偏移的单因素实验。

【Analysis】 最关键而尚未被公开回答的问题包括：去掉 S2 latent 后，S1 的对象/语言泛化下降多少；降低 S1 频率时，接触操作和双机交接会如何退化；去掉 temporal offset 后，异步部署的错误是否显著增加。没有这些对照，就难以分离“互联网 VLM 先验”“500 小时遥操作数据”和“快慢架构”各自的贡献。

5.4 Generalization

【Paper】 官方称训练中处理过的物品都从评测中剔除，且同一组权重可在两台机器人上运行，不要求机器人专属训练或显式角色分配。其展示覆盖新物体抓取、抽屉/冰箱操作及协作交接。

【Analysis】 这证明的主要是 object-level generalization 与相同 embodiment 的多实例协作，不等同于 cross-embodiment transfer。两台 Figure 机器人共享形态、传感器和动作空间；换成另一种手、相机或动力学平台时是否仍有效，官方资料没有证据。

6. 方法分析

6.1 为什么有效？

【Analysis】 S2 把稀疏的高层语言、物体类别与场景关系压入 $z_t$，让 S1 不必在每个 5ms 控制周期重跑 7B VLM；S1 则保留对最新视觉与本体状态的读取，能在接触、运动伙伴和视角变化中快速修正。端到端梯度使 $z_t$ 可以针对“让 S1 更好控制”而非只针对文字描述优化。

6.2 核心创新

【Analysis】 Helix 的新意更准确地说是异步连续接口：不是将慢 VLM 的离散结论直接下发给传统控制器，也不是强迫单个大模型在高频输出动作，而是以一个可学习 latent 作为慢语义与快控制之间的桥。这与它选择直接回归高维连续动作、避开 action tokenization 共同构成设计核心。

6.3 与已有方法的本质区别

| 路线 | 高层语义 | 低层动作 | Helix 的区别 | | --- | --- | --- | --- | | 单任务 BC | 通常隐含在任务内数据 | 高频连续控制 | Helix 额外从 VLM 引入语言/物体先验 | | 单速 VLA | 同一模型处理理解和动作 | 频率受大模型推理限制 | Helix 让 S2 与 S1 各以自己的时钟运行 | | Action Token VLA | 离散动作 token | 逐 token 解码 | Helix 直接回归 35-DoF 级连续目标（官方描述） |

6.4 关键假设

【Analysis】 该方案至少依赖四个假设：VLM 先验可映射到机器人相机视角；低频 latent 在两次更新之间足以保持任务意图；S1 可从 500 小时左右数据中掌握高维接触控制；共享内存与双 GPU 的延迟足够稳定，使训练时校准的 offset 在部署中仍成立。任一假设失效，都可能使“慢语义 + 快执行”的接口变成信息过期或不可靠的瓶颈。

7. 局限性

7.1 作者明确提出的局限

【Paper】 官方发布强调优势，但没有单列 limitations 部分，也未报告失败案例、边界条件或安全约束。因此作者明确提出的局限为：论文未明确说明。

7.2 自己分析得到的局限

【Analysis】

证据不完整。 没有任务成功率、统计误差、基线细节和 ablation，无法独立判断所称泛化幅度。
可复现性有限。 7B VLM 的具体型号、latent 维度、数据、损失、控制器与代码均未公开；第三方无法做严格复验。
安全与恢复未知。 高维人形控制还涉及碰撞、夹持力、关节限位和失败恢复，但公开材料未描述 safety filter 或 fallback policy。
latent 过期风险。 S1 虽有新观测，却仍受最近一次 S2 latent 条件化；语义目标突变或遮挡消失时，慢通道更新可能成为限制。

8. 启发与研究思考

【Analysis】 Helix 的价值在于把“VLM 太慢、控制策略太窄”这个常见二选一改写为接口设计问题。后续研究最值得公开和检验的，反而不是继续增大 S2，而是：如何量化 latent 更新率与控制质量的关系；如何让 S1 在高风险接触时拒绝过期语义条件；如何在不同相机、手部和机器人形态之间定义稳定的快慢接口；以及如何用标准 benchmark 与失败分布验证零样本抓取的真实边界。

HALO 论文精读：让 VLA 先思考、再想象、后行动

Wed, 26 Aug 2026 00:00:00 GMT

1. 论文概述

【Paper】 HALO（Embodied Multimodal Chain-of-Thought）针对长时程、分布外的机器人操作任务，提出“思考（文本计划）—想象（视觉子目标）—行动（动作 chunk）”的统一 VLA。模型由三个 MoT 专家组成：Multimodal Understanding、Visual Generation 和 Action Prediction；专家参数彼此独立，却通过共享 self-attention 协作。

一句话总结

【Analysis】 HALO 的关键不是让语言模型“多说几句”，而是把可解释的文本计划和可检验的未来画面变成动作策略的条件变量，从而把反应式 policy 改造成带中间状态的 deliberative policy。

核心贡献

【Paper】

以 MoT 将语义推理、视觉生成和动作预测解耦，同时保留跨模态共享注意力。
提出 EM-CoT 数据合成流水线：从原始轨迹提取动作 primitive，再用 VLM 生成任务叙事、subtask 和逐帧 reasoning，最后以 subtask 终止帧作为 visual subgoal。
采用 VQA、视觉生成和动作模仿的 versatile pre-training，再进行 EM-CoT fine-tuning。
在 RoboTwin 2.0 和 Cobot Mobile ALOHA 上验证了 OOD 与真实环境泛化。

2. 背景与相关工作

【Paper】 传统 VLA 往往直接学习 $\pi_\theta(\mathbf a_{t:t+m}\mid\mathbf l,\mathbf o_{t-k:t})$。当任务包含多个依赖步骤或场景发生变化时，单纯从当前图像反应容易累积误差，也难以显式预测“执行后世界会变成什么”。Textual CoT 能提供高层计划，visual subgoal 能提供空间锚点，但两者通常没有与动作在同一 policy 内联合建模。

【Analysis】 HALO 与 OpenVLA/FAST 的离散动作 token、$\pi_0$ 的 action expert、ManualVLA 的共享规划器相比，真正改变的是中间监督的组合方式：文本回答“下一步为什么做”，子目标图像回答“下一步应看到什么”，动作 chunk 才回答“具体怎么做”。

3. 问题定义

【Paper】 给定语言指令 $\mathbf l$ 与最近 $k$ 帧观测 $\mathbf o_{t-k:t}$，HALO 学习三条条件分布：

$$ \mathbf r\sim P_\theta(\cdot\mid\mathbf l,\mathbf o_{t-k:t}),\qquad \hat{\mathbf o}{t+h}\sim P\theta(\cdot\mid\mathbf l,\mathbf o_{t-k:t},\mathbf r), $$ $$ \mathbf a_{t:t+m}\sim\pi_\theta(\cdot\mid\mathbf l,\mathbf o_{t-k:t},\mathbf r,\hat{\mathbf o}_{t+h}). $$

其中 $\mathbf r$ 是 textual chain-of-thought，$\hat{\mathbf o}{t+h}$ 是未来子目标图像，$\mathbf a{t:t+m}$ 是要执行的连续动作 chunk。实验推理时使用 $c=3$ 帧观测，仿真动作 chunk $K=16$，真实实验 $K=50$。

4. 方法

4.1 Overall Architecture

【Paper】 输入端将指令、当前图像和机器人状态分别编码；special token（如 <think_start>、<vision_start>、<action_start>）控制 hidden state 路由到三个专家。共享 self-attention 让专家读取彼此的上下文，最终依次产生文本 reasoning、visual subgoal 和 action chunk。

【Paper】 文本 token 使用 causal mask；同一帧的视觉 token 双向注意，跨帧和跨模态仍保持因果约束；noise token 之间可双向注意，但非 noise token 不能读取 noise，避免目标泄漏。

4.2 核心模块

Multimodal Understanding Expert

【Paper】 Qwen2.5 tokenizer 处理语言；SigLIP2 初始化的 ViT 加 NaViT 处理原始长宽比图像；两层 MLP projector 将视觉特征映射到 LLM hidden space。该专家负责 VQA、指令理解和 textual CoT。

Visual Generation Expert

【Paper】 FLUX VAE 将图像压缩为 latent，按 $2\times2$ 空间 patch 展平后投影为 token。Visual Generation Expert 预测未来帧的 flow velocity，再由 VAE decoder 重建 visual subgoal；VAE 参数保持冻结。

Action Prediction Expert

【Paper】 连续动作通过线性 encoder 进入统一 hidden space，action head 再映射回原始动作维度。该专家使用 flow matching 预测动作速度，输出一段动作而不是单步反应。

EM-CoT 数据合成

【Paper】 流水线分三步：规则匹配根据位姿和夹爪变化把轨迹转成 move/grasp/release primitive；Qwen3-VL 生成全局 task narrative、subtask 列表和逐帧第一人称 reasoning；每个 subtask 的终止帧被广播给该段所有帧，作为稀疏 visual subgoal 标签。

【Analysis】 终止帧广播是一种“低带宽”未来监督：它不要求模型重建每个中间像素，而只要求模型知道当前子任务完成后应到达的视觉状态，降低了长视频预测的学习难度。

4.3 关键公式

【Paper】 versatile pre-training 的联合损失为：

$$ \mathcal L_{\mathrm{pt}}=0.25\mathcal L_{\mathrm{CE}}+0.5\mathcal L_{\mathrm{MSE}}+\mathcal L_{\mathrm{L1}}. $$

其中 $\mathcal L_{\mathrm{CE}}$ 是 VQA 的 token cross-entropy，$\mathcal L_{\mathrm{MSE}}$ 是视觉 flow matching 的均方误差，$\mathcal L_{\mathrm{L1}}$ 是动作 flow matching 的 L1 损失。权重体现了作者对 manipulation 目标的偏置。

EM-CoT fine-tuning 使用：

$$ \mathcal L_{\mathrm{ft}}=\mathcal L_{\mathbf r}+\mathcal L_{\hat{\mathbf o}}+\mathcal L_{\mathbf a}, $$

分别监督文本 reasoning、子目标图像和动作预测；论文未给出三项在 fine-tuning 中的额外不等权系数（附录表给出 CE:MSE:L1 = 1:1:1）。

4.4 Training

【Paper】 Stage 1 在 LLaVA-NeXT-779k（VQA）、OXE 与 Something-Something v2（视觉生成）以及 OXE 动作轨迹上预训练 90k steps；Stage 2 用 RoboTwin 2.0 的 2,500 条仿真示教和 320 条真实示教进行 EM-CoT fine-tuning，分别训练 110k 与 80k steps，并混入通用 VQA 以缓解 catastrophic forgetting。基础模型是 3 个 Qwen2.5-1.5B 专家，总参数约 4.5B；训练使用 32 张 H100、AdamW、常数学习率。

4.5 Inference

【Paper】 推理时给出指令和三帧观测，模型先自回归生成计划与当前 subtask reasoning，再切换到视觉专家生成目标图像，最后把文本和图像 token 作为上下文交给 action expert，输出 $K$ 步连续动作并执行。下一次观测到来后重复该闭环。

4.6 代码实现对照

【Code】 论文给出的代码链接是 MikaStars39/PeRL。截至本文撰写时，仓库 README 将 PeRL 定义为基于 TRL、verl 和 slime 的 Parameter-Efficient Reinforcement Learning 框架，示例围绕 Qwen 数学推理、LoRA/DoRA 等 PEFT 方法展开。

【Code】 仓库中未找到 HALO、EM-CoT、RoboTwin、MoT 专家、视觉 VAE 或动作 expert 的模型定义、数据集类和训练脚本。因此本文不能把 PeRL 的 RL 代码当作 HALO 实现；HALO 的实现细节只能依据论文与附录复现。论文代码链接与仓库内容之间的版本/项目对应关系，论文未明确说明。

5. 实验

5.1 Experimental Setup

【Paper】 仿真使用 RoboTwin 2.0 的 50 个操作任务，每个任务 Easy（clean）和 Hard（domain-randomized）各评估 100 次；对比 $\pi_0$、RDT-1B、Diffusion Policy 和 HALO-w/o EM-CoT。真实实验在 Cobot Mobile ALOHA 上评估 tool-use sweeping、双臂套杯、跨臂螺丝刀交接和把物体放入抽屉四项长时程任务，每项 50 次。

5.2 Main Results

| 方法 | Easy 平均成功率 | Hard 平均成功率 | | --- | ---: | ---: | | $\pi_0$ | 46.4% | 16.3% | | RDT-1B | 34.5% | 13.7% | | Diffusion Policy | 28.0% | 0.6% | | HALO-w/o EM-CoT | 75.3% | 21.2% | | HALO | 80.5% | 26.4% |

【Paper】 HALO 相比 $\pi_0$ 在 Easy/Hard 上分别提升 34.1 和 10.1 个百分点；Hard 环境中的相对差距更大，说明结构化 reasoning 对未见随机化有帮助。即使去掉 EM-CoT，versatile pre-training 得到的 HALO-w/o EM-CoT 也已经比 $\pi_0$ 高 28.9 个百分点（Easy）。

5.3 Ablation Study

【Paper】 训练配方消融（Easy/Hard）：完整 V+T+A 为 75.3/21.2；去掉视觉生成 V 为 58.2/10.5；再去掉文本 V+T 为 42.9/3.9；不做预训练 V+T+A 为 32.4/0.0。EM-CoT 消融中，完整 HALO 为 80.5/26.4；去掉文本 reasoning 为 77.8/18.3；去掉 visual subgoal 为 76.1/22.5；两者都去掉退化到 75.3/21.2。

【Analysis】 视觉生成数据对 Hard 任务的跌幅最大，暗示“预测可达的未来视觉状态”比单纯增加语言 token 更接近 OOD 操作所需的归纳偏置；文本和视觉各自可部分替代，但联合时收益最高。

5.4 Generalization

【Paper】 真实泛化设置加入 Coke 瓶、杯子等视觉干扰，改变光照与桌布背景，并用海绵替换扫帚等新物体。论文报告 HALO 在 basic 与 generalization 两种设置下都超过 $\pi_0$ 和 $\pi_{0.5}$；定性结果显示模型仍能定位目标并生成合理子目标。论文未在正文给出跨任务平均的单一汇总数字，因此这里不额外推算。

6. 方法分析

6.1 为什么有效？

【Analysis】 HALO 同时缩短了决策难度和感知跨度：文本把长任务分解成可解释 subtask，视觉子目标把动作结果变成中期监督，action chunk 则把局部控制交给连续 expert。三者通过共享 attention 交换信息，减少了“语言计划与低层动作各说各话”的问题。

6.2 核心创新

【Paper】 创新组合包括 MoT 专家解耦、EM-CoT 的文本/视觉联合条件、自动化轨迹标注和 VQA+VG+AP 的两阶段训练。【Analysis】 单独看每个部件都并非全新，贡献更像是把 multimodal reasoning 变成可训练、可执行的统一接口。

6.3 与已有方法的本质区别

【Analysis】 Text-CoT 只改变语义上下文，visual foresight 只预测画面，传统 VLA 只回归动作；HALO 要求三种中间表示按固定 token 协议串联，并让不同专家拥有匹配各自统计结构的注意力和输出头。

6.4 关键假设

【Paper】 方案依赖三个假设：VLM 能从 primitive 和视频中生成可信 reasoning；subtask 终止帧足以代表该子任务目标；预训练得到的视觉、语言和动作能力可以在共享 attention 中协作。

7. 局限性

7.1 作者明确提出的局限

【Paper】 正文没有单列局限性章节，也没有报告失败率分解、推理延迟、显存占用或 EM-CoT 标注噪声的系统分析。代码仓库也未提供可复现实验脚本。

7.2 自己分析得到的局限

【Analysis】

三个 1.5B 专家总计约 4.5B 参数，训练需要 32 张 H100，部署成本明显高于单体 VLA。
VLM 生成的 narrative、subtask 和第一人称 reasoning 可能出现幻觉；错误的子目标会把动作 expert 引向错误状态。
终止帧广播提供稀疏目标，无法表达碰撞、力控或中间安全约束。
论文主要证明成功率提升，尚未证明生成的文本 reasoning 是真实因果依据，而不是事后解释。
当前公开的 PeRL 仓库与 HALO 模型不对应，研究者无法仅凭该仓库复现实验。

8. 启发与研究思考

【Analysis】 HALO 给出的可迁移设计原则是：把“可解释计划”和“可验证未来状态”都放进 policy 的训练目标，而不是只在推理时外挂一个 LLM。后续工作可以沿三个方向推进：用不确定性估计筛掉错误的 VLM 标注；让 visual subgoal 从单帧扩展为带接触事件的短视频；在较小 backbone 上蒸馏三专家协作，以降低真实机器人部署延迟。

What Do VLAs Actually Inherit from VLMs? 论文精读

Wed, 26 Aug 2026 00:00:00 GMT

1. 论文概述

论文名称：《What Do VLAs Actually Inherit from VLMs?》

作者：Chuheng Zhang、Rushuai Yang、Xiaoyu Chen、Kaixin Wang、Li Zhao、Yi Chen、Jiang Bian

机构：Microsoft Research、香港科技大学、清华大学

会议 / 期刊：arXiv 预印本（2025）

论文链接：arXiv

代码链接：GrinningFace

一句话总结

【Paper】 本文提出 GrinningFace，一个执行动作很简单、但视觉语义泛化很难的 emoji 桌面操作基准：机器人要从三张卡片中找出语言指令对应的 emoji，并把方块放上去。它用来诊断 VLA 是否继承了 VLM 的开放世界知识，而不是只记住机器人训练数据。

核心贡献

【Paper】

提出一个最小、可复现的 VLA 知识迁移探针，把执行（能否完成 pick-and-place）与识别（是否选对 emoji）分离。
在 ManiSkill3 仿真和 Realman RM75 真实机器人上，统一比较多种 VLA 预训练和微调策略。
发现“从 VLM 初始化”并不自动等于知识迁移；全参数微调会遗忘先验，单调 action head 又会欠拟合。
协同训练（co-training）、联合预测 latent action，以及更丰富的机器人预训练数据，能更好地保留或激活 VLM 先验。

2. 背景与相关工作

【Paper】 VLA 的主流做法是把预训练 VLM 接上 action expert，再用机器人轨迹训练低层控制。VLM 带来开放词汇识别和语言语义，机器人数据带来关节控制与接触动力学；问题在于，后续训练可能让 VLM 忘掉原有知识（catastrophic forgetting）。

已有路线大致分为四类：

Co-training：把 VQA、caption、检测等视觉语言任务和机器人数据混合训练，持续提供语义梯度。
Parameter-efficient fine-tuning：用 LoRA 或只训练 action expert，限制对 VLM backbone 的改动。
结构化 action target：把连续动作离散化，或额外预测 latent action，使视觉语言模块面对更高层的监督。
扩大预训练数据：用 OXE 等多数据集混合物学习更通用的 tabletop 视觉与动作模式。

【Analysis】 这些方法在不同论文、不同机器人和不同 benchmark 上报告，分数很难横向解释。GrinningFace 的价值在于把“会动”和“看懂指令”变成两个可测量的因子。

3. 问题定义

3.1 GrinningFace 仿真任务

【Paper】 场景中放置一个蓝色方块和三张 emoji 卡片。指令模板是 Pick the cube and place it on [desc.]，其中 [desc.] 是由 VLM 重新标注并过滤后的 emoji 描述。emoji 被划分为 100 个训练符号和 100 个验证符号，微调数据包含 500 条规则策略轨迹。

每次评估从三种协议中选一种，每种 100 条试验：

| 协议 | emoji 来源 | 测量重点 | | --- | --- | --- | | ID | 训练轨迹中出现过的组合 | 组合记忆与执行 | | Train | 训练 emoji，但组合可未出现 | 训练词汇内组合泛化 | | Val | 完全未参与微调的验证 emoji | VLM 先验迁移 |

3.2 两个成功率

【Paper】 记录总体成功率和执行成功率，再计算识别成功率：

$$ \mathrm{overall\ SR}=\mathrm{execution\ SR}\times\mathrm{recognition\ SR}. $$

执行成功表示方块被抓起并放到任意卡片上；识别成功表示选择了正确卡片。因为动作本身只是简单搬运，Val 上的识别率主要反映 VLM 视觉语义知识是否存活。

3.3 真实机器人

【Paper】 真实实验把任务进一步简化为 Touch [desc.]：末端移动到目标 emoji 上方并闭合夹爪。使用同一训练/验证 emoji 集合，在 Realman RM75 机械臂和 Inspire gripper 上进行 30 次验证试验。

4. 方法

4.1 Overall Architecture

【Paper】 所有变体都建立在 π₀-style VLA 上：PaliGemma 负责视觉语言表征，SigLIP 负责图像编码，action expert 输出连续的机器人动作。训练时输入场景图像、本体感知和文本指令，输出末端位姿/夹爪动作；推理时只保留动作预测路径。

4.2 核心模块

VLM backbone 与视觉输入

输入：224×224 RGB 主视角图像、7 维 proprioception、文本指令。
输出：供 action expert 使用的多模态 token。
作用：PaliGemma/SigLIP 提供 emoji 识别、语言理解与场景视觉特征。

【Code】 inference_widowx_v8.py 将渲染图从 H×W×3 转为 B×C×H×W，resize 到 224×224，并把 proprio reshape 成 [B,T,7]；环境默认注册为 PickCubeWidowX-v8。

Action expert

输入：融合后的视觉语言 token 与 proprioception。
输出：连续低维动作，控制 pd_ee_target_delta_pose。
作用：学习抓取、抬升、移动到卡片和释放四个运动阶段。

【Paper】 论文统一使用 π₀-style 代码库和 OXE magic-soup 预训练，默认预训练 80k steps、微调 30k steps，batch size 为 1024，使用 8 张 Nvidia A100。

训练策略变体

Full fine-tuning：更新全部 VLA 参数，适应最快，但最容易遗忘 VLM 先验。
LoRA fine-tuning：只在 backbone 插入低秩适配器，限制参数漂移。
Action expert only：冻结视觉语言部分，只训练动作头，作为先验保留的强探针。
Freezing VLM：直接从 VLM 或 LoRA 预训练 VLA 微调，最大限度保留语义能力。
Co-training：在机器人任务外加入 emoji 问答；论文比较原始 emoji 问答和桌面场景内识别两种版本。
Discretized action：把每个连续动作维度量化为 256 个 bin，并复用 VLM 的最后 256 个 token。
Latent action：在机器人动作之外增加 latent action 预测目标，给模型一个高层运动监督。

4.3 关键公式

成功率分解

$$ S_{\mathrm{overall}}=S_{\mathrm{exe}}\cdot S_{\mathrm{rec}}. $$

其中 $S_{\mathrm{exe}}$ 是方块是否被成功搬运到某张卡片，$S_{\mathrm{rec}}$ 是三选一是否命中目标。该分解假设二者近似独立；论文用实验记录的总体率和执行率反推识别率。

连续与离散动作目标

连续策略直接回归 $a_t\in\mathbb{R}^d$；离散变体把每个维度映射到 $b_t\in{1,\ldots,256}$。量化误差会影响末端位姿精度，因此离散化并不必然带来更好的知识保留。

Latent action 多任务目标

可将训练目标写作：

$$ \mathcal{L}=\mathcal{L}{\mathrm{robot}}+\lambda\mathcal{L}{\mathrm{latent}}, $$

其中 $\mathcal{L}{\mathrm{robot}}$ 监督低层机器人动作，$\mathcal{L}{\mathrm{latent}}$ 监督由轨迹抽取的高层 latent action，$\lambda$ 控制两者权重。论文未公开所有实现超参数，但实验证明附加高层目标有助于识别泛化。

4.4 Training

【Paper】 默认在 OXE magic-soup 的 913k 条轨迹上预训练，再用 500 条 GrinningFace 轨迹微调。检查点在 5k、10k、20k、30k steps 比较，并选择 Val 总体成功率最高者。基线采用连续动作；离散、co-training、latent action 是替代训练目标或数据配方。

4.5 Inference

【Code】 仿真推理器每一步读取渲染图、proprio 和任务描述，通过 agent.inference 得到动作，再调用 env.step。episode 结束后记录 success、is_obj_placed、is_grasped、三张卡片描述和目标 id。

4.6 代码实现对照

【Code】 官方仓库当前 README 明确说明代码发布仍是 placeholder，但已包含可运行骨架：

| 论文概念 | 代码位置 | 实现观察 | | --- | --- | --- | | ManiSkill3 环境 | GrinningFace/env_widowx_v8.py | 注册 PickCubeWidowX-v8，三张卡、蓝色方块、WidowX250S | | WidowX 控制器 | GrinningFace/widowx_v1.py | 6 个 arm joints + 2 个 gripper joints，PD EE pose controller | | 规则数据采集 | generate_touchsim_dataset_widowx_v8.py | 50/5/20/50 步分阶段抓取、抬升、移动、释放，目标为 500 条轨迹 | | 推理评估 | inference_widowx_v8.py | 224×224 图像、proprio 与 instruction 输入，保存每 episode 指标 | | 训练主干 | 未提供 | 论文中的 π₀-style 训练代码尚未在此仓库完整公开 |

【Analysis】 因此，论文中的 80k/30k steps、各策略损失和实验数字应视为论文事实，不能误写成已在该 GitHub 仓库中逐行复现的行为。

5. 实验

5.1 Experimental Setup

【Paper】 仿真使用 ManiSkill3，视角尽量对齐 Bridge-v2；默认机器人是 WidowX250S。每种协议 100 次试验，重复种子实验显示 Val execution SR 的标准差约 1.0 个百分点、recognition SR 约 1.5 个百分点。

真实机器人使用 RM75 + Inspire gripper，验证集上每个变体 30 次试验；除直接微调 VLM 使用 20k steps 外，其余使用 5k steps。

5.2 Main Results

【Paper】 主要趋势如下：

基线 VLA 在 Val 上执行率高、识别率低，说明它会搬运但不一定读懂新 emoji。
LoRA 比 full fine-tuning 略能保留识别率，但提升有限；只训练 action expert 在 ID 场景也会欠拟合。
冻结 VLM 或从 LoRA 预训练 VLA 出发，识别率可超过 90%，但需要约 20k steps 才学会简单搬运，适应速度慢。
co-training 只有在“桌面场景中识别 emoji”的任务设计下明显有效；只问原始 emoji what's in the image 并没有带来同等收益。
离散动作同时损害执行率和识别率，量化误差并未换来更好的先验保留。
latent action 联合目标带来更好的识别率，是最有希望的结构化监督之一。

5.3 Ablation Study

数据集消融表明，预训练数据既影响动作适应，也影响先验激活：Bridge-v2 与目标视角一致时优于 OXE-Bridge，而完整 OXE 的多样性又优于单一 Bridge。只训练 action expert 对不同预训练数据最敏感，因此可作为比较预训练质量的探针。

【Paper】 真实机器人结果（30 次）为：

| 方法 | Exe. SR | Rec. SR | | --- | ---: | ---: | | Baseline | 30/30 | 11/30 | | Freezing VLM | 28/30 | 20/28 | | Co-training | 30/30 | 26/30 | | Discretized action | 30/30 | 10/30 | | Latent action | 30/30 | 24/30 |

5.4 Generalization

【Paper】 论文先验证 VLM 确实能识别 emoji：对 Train、Val、Hard 的描述匹配准确率分别为 90%、89%、85%；OXE 任务描述中出现的 emoji 概念少于 5%。因此 Val 识别率可以合理地视为 VLM 先验迁移的代理，而不是机器人数据记忆。

注意力可视化显示：VLM 能关注目标 emoji 但较分散；VLA 预训练后更关注夹爪、方块和卡片等操作相关物体；微调后对正确 emoji 的注意力更集中、对干扰卡片更少。

6. 方法分析

6.1 为什么有效？

【Analysis】 GrinningFace 把视觉语义和运动控制放在同一条因果链上：VLM 提供“这张卡是什么”，VLA 预训练把视觉特征变成 tabletop 可用的表示，微调再学习“如何抓和放”。如果只做最后一步，全参数更新会覆盖前两步；如果完全冻结，又缺少把语义落到机械臂动作的适配能力。co-training 和 latent action 的共同点，是在低层动作梯度之外持续提供结构化语义/运动约束。

6.2 核心创新

诊断性而非竞赛性 benchmark：用简单执行隔离复杂识别，避免总成功率掩盖先验遗忘。
统一控制变量：同一 π₀-style backbone、同一微调数据和评估协议比较策略。
把“继承多少”变成可测量量：Val recognition SR 直接刻画未见 emoji 的语义迁移。
横向比较训练目标：LoRA、冻结、co-training、离散 action、latent action 和数据多样性被放进同一实验框架。

6.3 与已有方法的本质区别

【Analysis】 传统 LIBERO、CALVIN 等 benchmark 的分数同时受物体识别、轨迹规划、接触控制和场景记忆影响，很难知道失败来自哪里。GrinningFace 故意把动作设计成几乎所有现代 VLA 都能学会的 pick-and-place，把主要难点移到“看懂一个机器人数据里没出现过的 emoji”。

6.4 关键假设

emoji 图像在 VLM 互联网预训练中常见、在机器人轨迹中稀少。
执行与识别可以用乘法近似分解。
训练和验证 emoji 的描述与 VLM 的语义理解一致。
100 次仿真试验足以稳定估计每种协议的成功率。

【Analysis】 这些假设让 benchmark 很干净，但也意味着它更像“先验保留探针”，不能覆盖三维几何、长时序规划或真实接触失败的全部问题。

7. 局限性

7.1 作者明确提出的局限

【Paper】 当前任务只要求简单 pick-and-place，不能证明某种策略能扩展到复杂 motor skills；co-training 只覆盖与 emoji 识别相关的简化视觉语言任务；latent action 的具体构造与尺度仍有进一步研究空间。官方代码仓库也仍处于 placeholder 发布阶段。

7.2 自己分析得到的局限

【Analysis】

识别率是由总体率和执行率反推的，乘法分解的独立性并未被严格检验。
只使用 100 个验证 emoji，且描述经过 VLM 重标注与过滤，可能高估了模型熟悉度。
真实机器人只有 30 次试验，足以看趋势但不适合精细比较小幅差异。
论文没有公开完整训练实现，读者难以复现实验中所有策略和超参数。
注意力图是相关性证据，不等价于因果解释；更集中不一定意味着真正的语义推理。

8. 启发与研究思考

【Analysis】 这篇论文最重要的启发不是“某个技巧赢了”，而是 VLA 评测应该问两个不同问题：模型是否保留了世界知识，以及模型是否能把知识转成动作。未来可以沿着三条线推进：

更系统的语义探针：从 emoji 扩展到品牌、符号、文化对象和组合概念，并控制图像出现频率。
显式的层级监督：把 latent action、语言解释、目标定位和动作 chunk 联合起来，减少低层梯度对 VLM 的覆盖。
持续学习式 VLA：在扩大机器人数据规模的同时加入 representation retention、VLM replay 或冻结/解冻策略，监控先验随训练的变化。

如果一个 VLA 在简单的三选一 emoji 任务上都无法识别未见符号，那么在开放世界家庭环境中声称“继承了 VLM 知识”就需要更加谨慎。GrinningFace 提供了一个成本很低、解释性很强的 sanity check。

GR-RL：面向长时域灵巧精密操作的强化学习专精化

Wed, 26 Aug 2026 00:00:00 GMT

1. 论文概述

一句话总结

【Paper】 GR-RL 从 GR-3 这一通用 VLA 出发，不再假设人类遥操作轨迹都是最优的，而是用 sparse-reward offline RL 学到一个有界的任务进度函数，删除会让进度下降的动作片段；随后利用双臂机器人的左右形态对称扩充数据，最后在 flow-policy 的初始噪声空间做 online RL。最终 ByteMini-v2 在多眼孔鞋带穿线任务上达到 83.3% 成功率。

核心贡献

【Paper】

提出三阶段 reinforcement-augmented recipe：filtered behavior cloning、morphological symmetry augmentation、online steering RL。
证明 sparse reward 下的 distributional critic 可以作为视觉-语言条件的 task progress evaluator，并用于自动数据清洗。
将探索从末端位姿/关节空间移到 action diffusion 的 latent noise 空间，减小毫米级任务中“加一点噪声就彻底失败”的问题。
在真实双臂移动操作机器人上完成鞋带穿过多个 eyelet，并展示掉落重抓、错位重试、重定向鞋子等恢复行为。

2. 背景与相关工作

【Paper】 现有 VLA 在开放场景泛化方面很强，但在 deformable object 的毫米级控制和长时域错误恢复上仍不可靠。鞋带穿线同时要求双臂协调、柔性物体接触、精确插入和多步规划。经典方法依赖预定义动作 primitive，难以覆盖未见构型；直接对全部人类示范做 behavior cloning（BC）则会把犹豫、误插和失败尝试一起学进去。

论文指出还有第二个隐患：训练时模仿的是固定长度的 raw action chunk，部署时却会做 temporal ensembling、receding-horizon 和 jerk/continuity trajectory optimization。于是模型优化的动作分布与机器人真正执行的动作分布不同。GR-RL 的基本观点是，专精化不仅要清洗数据，还要让策略在部署闭环中继续适应。

【Analysis】 这使 GR-RL 更像一个“通用策略编译器”：保留基础 VLA 的语义能力，把任务相关的精度、恢复和控制稳定性交给 RL 阶段逐步塑形。

3. 问题定义

【Paper】 在时间步 $t$，策略接收语言指令 $l$、三路 RGB 观测 $\mathbf{o}_t$ 和 proprioception 状态 $\mathbf{s}_t$，输出长度为 $k$ 的双臂动作 chunk：

$$ \mathbf{a}t = \pi\theta(l,\mathbf{o}_t,\mathbf{s}_t),\qquad \mathbf{a}t=a{t:t+k}. $$

训练奖励是 episode 末端的 binary sparse reward：只有鞋带穿入正确 eyelet 并完全放到桌面上时才得到 1。【Paper】 机器人是 7-DoF 双臂、带移动底盘的 ByteMini-v2；其肘部峰值扭矩从 17 Nm 提升到 35 Nm，单臂峰值负载从 1.4 kg 提升到 3.15 kg，底盘投影面积缩小到 450 mm × 650 mm。

Embodied AI checklist

| 项目 | 论文设定 | | --- | --- | | Vision / Language | Qwen2.5-VL-3B-Instruct 作为 VLM backbone；仅使用后半层 KV cache 加速推理 | | Policy | Flow-matching action DiT 生成动作 chunk | | Critic | causal transformer，采用 Q-chunking 与 distributional RL | | Action representation | 双臂动作 chunk（论文未给出完整维度表） | | Reward | 末端 binary sparse reward | | Embodiment | ByteMini-v2，7-DoF 双臂 + 移动底盘 | | Deployment | 轨迹优化约束 jerk 和时间连续性 |

4. 方法

4.1 Overall Architecture

GR-RL 由 VLA policy $\pi_\theta$ 和 multi-task critic $Q_\phi$ 组成，总参数量约 5B。VLA 读取视觉、语言和机器人状态，flow-matching DiT 输出动作 chunk；critic 对同一条件下的每个动作评估一段 Q 值。训练先用 critic 计算进度并筛选数据，再 BC 和镜像增强，最后冻结大部分 VLA、只在 latent noise 上做在线探索。

4.2 核心模块

Distributional task-progress evaluator

输入：$(\mathbf{o}_t,l,\mathbf{s}_t,\mathbf{a}_t)$。
输出：每个动作的有界 categorical Q-value 分布及其均值进度 $\rho_t$。
做什么：TD3+BC 在成功轨迹和失败轨迹上训练 critic。对成功轨迹中标记的 retry keyframe 截断，可构造 hindsight 失败轨迹，使 critic 同时看到“最终成功”和“在这里失败”。
为什么需要：人工逐帧标注错误片段主观且昂贵；Q 值的突然下降可以自动定位误插、松手等负贡献动作。

【Paper】 distributional critic 将值限制在 $[0,1]$，相比无界回归更能抵抗长时域 sparse reward 的过估计。

Filtered behavior cloning

对每个 chunk 计算 $\rho_{t:t+k}$。若序列中的下降超过阈值 $\delta$，就把样本视为 suboptimal 并从 BC 数据集中剔除；剩余高质量 transitions 用来初始化策略。这里的关键不是重新设计 BC loss，而是改变 BC 看到的示范分布。

Morphological symmetry augmentation

对图像做水平翻转，并交换左右腕部相机；将状态和动作在 world frame 做镜像变换，再转换回各自 wrist frame；同时把语言中的空间词（如 “left hole”）改成 “right hole”。【Analysis】 这是几乎不增加采集成本的等变性先验，尤其适合双臂鞋带这种左右结构近似对称、但动作细节高度敏感的任务。

Latent-space online steering

直接在腕部位姿上加噪声几乎无法完成毫米级插入。GR-RL 在共享 VLM backbone 后增加 51.5M 参数的 noise predictor $\pi_{\theta'}$，预测 action DiT 的初始噪声 $\epsilon_t$，让探索沿着原 flow policy 的可行动作流形进行。另训练 noise-space critic $Q_{\phi'}$，避免优化时反向穿过完整 flow model。

4.3 关键公式

Sparse reward（【Paper】）

$$ r_t=\begin{cases} \gamma^{T-t}\mathbb{I}(\tau), & t>T-k,\ 0, & t\le T-k. \end{cases} $$

$T$ 是轨迹长度，$k$ 是动作 chunk 长度，$\mathbb{I}(\tau)$ 表示该 episode 是否成功，$\gamma$ 是折扣因子。奖励只在末端出现，因此 critic 的中间值可以被解释为“从当前状态继续执行的成功概率/进度”。

Progress（【Paper】）

$$ \rho_t=\operatorname{mean}\big(Q_\phi(\mathbf{o}_t,l,\mathbf{s}_t,\mathbf{a}_t)\big). $$

均值把 categorical value distribution 压成一个可排序的标量；阈值 $\delta$ 决定哪些下降足以判定动作有害。

Noise predictor objective（【Paper】）

$$ \mathcal{L}(\pi_{\theta'})=\mathbb{E}\left[-Q_{\phi'}(\mathbf{o}_t,l,\mathbf{s}_t,\epsilon_t)+c\max\left(\tfrac12|\epsilon_t|^2-\beta,0\right)\right]. $$

第一项鼓励高回报噪声，第二项在噪声范数超过阈值 $\beta$ 时惩罚偏离标准正态分布；$c$ 控制约束强度。

4.4 Training

【Paper】 离线阶段使用成功轨迹和 hindsight 失败轨迹训练 distributional critic，再按进度下降过滤 transitions，并用镜像数据做 BC。在线阶段先用离线 checkpoint 采集 673 条 rollout 校准 critic，之后每收集 12 个新 episode 优化 50 步；on-policy buffer 只保留最近两个 checkpoint 生成的数据，其余转入 off-policy buffer，且不混入遥操作轨迹，以避免动力学分布错配。

4.5 Inference

部署时 VLA 产生固定长度 action chunk，随后通过 trajectory optimization 约束 jerk 和时间连续性，再由双臂控制器执行。online RL 学到的不是一套脱离基础模型的新动作，而是对 flow policy 初始噪声的 steering，因此保留了离线策略的动作先验。

4.6 代码实现对照

【Code】 论文提供项目主页 seed.bytedance.com/gr_rl，截至本文撰写时未发现可公开访问的官方 GitHub 训练代码、配置或 checkpoint。因而无法对模型类、DataLoader、优化器实现和实际超参数逐文件核验；上文“代码实现”部分仅报告论文公开的系统行为，不把推测写成代码事实。

5. 实验

5.1 Experimental Setup

【Paper】 任务是将鞋带依次穿过多个 eyelet，再把鞋带放回桌面。观测包含三路 RGB、proprioception 和自然语言指令；奖励为只有成功时为 1 的 binary sparse signal。实验使用 ByteMini-v2 双臂移动机器人。

5.2 Main Results

【Paper】 多阶段消融的成功率为：GR-3 原始 BC 45.7%，加入 progress filtering 后 61.6%，再加入镜像增强后 72.7%，完整 GR-RL（含 online steering）83.3%。在线训练早期因 offline-to-online 分布偏移短暂下降，随后移动平均成功率超过 90%；最终采用 online step 500 的 checkpoint 做评测。

5.3 Ablation Study

【Paper】 非分布式 critic 会在长时域 sparse reward 下严重过估计，早期状态的值尺度失真；distributional critic 的值被限制在预设范围内，能更稳定地反映时间顺序。直接回归成功轨迹的 $t/T$ 也会过度平滑，难以捕捉“只差几毫米”的插入失败和具有长期影响的重新抓取。

5.4 Generalization

【Paper】 模型能处理不同颜色和尺寸的鞋子，并在鞋带掉落、未精确穿入 eyelet、初始抓取点过远、鞋子朝向/位置不理想、两端交叉等情况下主动重抓、重试、重定向或调整场景。中间阶段统计显示，filtering 和 online RL 对 threading 阶段的失败降低最明显，镜像增强则在各阶段都有较为均匀的收益。

6. 方法分析

6.1 为什么有效？

【Analysis】 三个阶段分别处理三个不同误差源：progress filtering 减少监督噪声，mirror augmentation 增加结构化覆盖，latent-space RL 修正 raw action 与部署后处理之间的 distribution shift。它们不是重复堆叠，而是从数据、先验和闭环控制三个层面缩小策略的有效搜索空间。

6.2 核心创新

真正新颖之处不是“在 VLA 后面加 RL”，而是把 critic 的值重新解释成可用于数据治理的 progress signal，并把 online exploration 的坐标系改成 flow policy 的 latent noise。这样既能拒绝坏示范，又不会用无结构的动作噪声破坏精密操作。

6.3 与已有方法的本质区别

与纯 BC 相比，GR-RL 允许策略超越示范并从失败中学习；与在动作空间直接加噪的 real-world RL 相比，它在噪声空间探索；与只做 advantage-conditioned denoising 的方案相比，它先训练一个更强的 filtered BC 起点，再做小范围 online steering。

6.4 关键假设

sparse terminal reward 足以让 distributional Q 值形成有意义的进度排序。
双臂任务在 world frame 中存在可用的左右镜像对称性，且语言空间描述可以同步翻转。
flow policy 的初始噪声空间包含足够多的高回报动作，轻量 noise predictor 能在其中找到改进方向。
在线 rollout 的视觉、动力学和奖励信号足够稳定，能够支撑真实机器人上的 off-policy 更新。

7. 局限性

7.1 作者明确提出的局限

【Paper】 在线 RL 存在 behavior drifting：sparse、noisy reward 可能导致行为不稳定，原因可能是轻量 noise predictor 容量有限，也可能是大 latent action space 中的 credit assignment 困难。作者还提出未来应把改进后的策略蒸馏回基础 VLA，以同时获得通用性和专精能力。

7.2 自己分析得到的局限

【Analysis】 论文只展示一个鞋带任务和一种机器人平台，83.3% 成功率能否迁移到更多柔性物体、不同双臂几何和更长任务仍未知。过滤阈值 $\delta$、噪声约束 $\beta$ 与 retry keyframe 标注质量可能显著影响结果；论文也未公开代码和完整训练成本，因此复现实验难度较高。最后，形态镜像并不适用于明显左右不对称的工具、场景或任务。

8. 启发与研究思考

GR-RL 给出的研究路线很清晰：先把通用 VLA 当作“可行性先验”，再用 RL 判断哪些示范片段值得保留，最后让在线数据直接来自部署控制栈。对后续工作而言，一个值得验证的问题是：能否把 progress critic 变成跨任务的通用数据质量模型，而不是每个任务重新训练；另一个问题是如何将 latent-space 改进安全地蒸馏回大 VLA，避免专精能力与开放场景泛化之间的此消彼长。

Genie Envisioner 论文精读：把世界模型、动作策略与模拟器合成一个闭环平台

Wed, 26 Aug 2026 00:00:00 GMT

1. 论文概述

【Paper】 Genie Envisioner（简称 GE）不是一个单独的 VLA policy，而是一个由四部分组成的平台：

GE-Base：instruction-conditioned、多视角、autoregressive video diffusion world model；
GE-Act：从 GE-Base 的视觉 latent 直接解码 action trajectory 的轻量 action model；
GE-Sim：把 GE-Base 改造成 action-conditioned 的视频神经模拟器；
EWMBench：面向 embodied world model 的视觉、运动和语言-动作一致性评测套件。

一句话总结

【Analysis】 GE 的真正野心不是“用视频生成替代 VLA”，而是先学习一个能预测机器人未来视觉状态的 embodied visual space，再让动作解码和策略评测共享这个空间：GE-Act 负责从 latent 到动作，GE-Sim 负责从动作回到未来视频。

核心贡献

【Paper】

在约 1,000,000 个 AgiBot-World-Beta 双臂 manipulation episodes（约 2,967 小时）上训练多视角、语言条件视频世界模型 GE-Base。
用 160M 参数的 parallel action decoder GE-Act，把 GE-Base 的时空表示映射为 54-step action chunk，并通过 Slow-Fast Asynchronous Inference 在 RTX 4090 上约 200 ms 完成一次前向。
用 GE-Sim 将视频生成模型改造成 action-conditioned neural simulator，支持闭环 policy rollout 和大规模、低成本的策略比较。
提出 EWMBench，以 scene consistency、action trajectory quality、motion semantics 等指标评估 embodied video model，而不是只依赖 FVD、CLIP 或人类偏好。

【Code】 官方仓库已经公开训练、推理和示例入口，并提供 GE-Base slow/fast 权重说明、LeRobot 数据接口、GE-Act server 和 GE-Sim Cosmos2 推理脚本；论文中“将公开”的内容在当前仓库中已部分落地。

2. 背景与相关工作

【Paper】 传统机器人系统通常把数据采集、policy training、仿真和评测拆成多个工程栈。真实机器人评测可靠但昂贵，物理模拟器高效却需要手工建模，VLA 则通常直接做 observation-to-action 的行为克隆。这种 patchwork 带来三个问题：失败模式难以定位，策略迭代速度受真实执行限制，训练和评测之间缺少共享的内部状态。

主流 VLA 往往借助 VLM 把图像映射到语言中心的 semantic space，再预测动作。【Analysis】 GE 选择的是相反的归纳偏置：把未来的空间布局、机械臂姿态、接触过程和任务语义压进 vision-centric generative space；语言用于控制生成方向，而不是成为唯一的中间表示。

与一般 text-to-video world model 相比，机器人 manipulation 还要求：

相机视角和背景不能随时间漂移；
robot morphology、物体位置和接触关系要保持物理上合理；
高层 instruction 必须落到可执行的时间序列动作；
模型还要能接受 action 作为条件，完成闭环 rollout。

3. 问题定义

【Paper】 对第 $t$ 个视频 chunk，GE-Base 的目标是给定初始观察、语言指令和稀疏历史记忆，预测未来 $N$ 帧：

$$ \mathbf{x}{1:N}^{(t)} = \mathcal{W}(\hat{\mathbf{x}}{0:t-1},\ \mathbf{x}_0,\ q). $$

其中：

$\mathbf{x}_0$：初始多视角观察；
$\hat{\mathbf{x}}_{0:t-1}$：从历史 chunk 稀疏采样的 memory frames；
$q$：自然语言 instruction；
$\mathcal{W}$：GE-Base world model；
$\mathbf{x}_{1:N}^{(t)}$：下一个多视角视频 chunk。

GE-Act 则学习从视觉 latent 和 instruction 到动作 chunk 的映射。论文以双臂末端执行器的 14 维控制为例（每臂 $[x,y,z,roll,pitch,yaw,o]$），而官方 LeRobot 配置将 action expert 的输入通道设为 14、chunk 长度设为 54，并允许 joint action space 与 delta action type。【Code】 因此，论文的 embodiment-level action 表述与代码当前数据适配层不是完全同一抽象，实际使用时需要按数据集配置对齐。

GE-Sim 的输入是观察和动作轨迹 $\mathbf{A}\in\mathbb{R}^{K\times14}$，输出是动作执行后的下一段多视角视频；再把生成视频反馈给 policy，形成：

instruction + observation → policy → action chunk → GE-Sim → predicted video
                                      ↑                       │
                                      └────── closed loop ────┘

4. 方法

4.1 Overall Architecture

【Paper】 GE-Base 接收 head、left wrist、right wrist 三路同步相机，分别编码初始图像与稀疏历史帧；不同 view 的 latent 与 noise 加上 2D rotary position embedding、view-specific embedding 和 timestep embedding 后进入 DiT。部分 block 做跨视角 self-attention，其余 block 将 view 维折叠进 batch，以平衡一致性和计算量。

【Analysis】 这个设计把“多视角一致性”从后处理问题变成 backbone 内部的 token interaction：head view 负责全局布局，wrist views 提供接触细节，cross-view block 则约束三者描述的是同一个动作过程。

4.2 核心模块

GE-Base：带稀疏记忆的视频世界模型

输入：三路同步视觉观察、四张稀疏历史帧、文本指令和随机噪声。
输出：下一个多视角 video chunk；反复 autoregressive 生成直到任务结束。
视频骨干：论文选用 LTX-Video 2B 与 COSMOS2 2B 两类 DiT；LTX 更偏低延迟，COSMOS2 更偏高保真模拟。
语言条件：冻结的 T5-XXL encoder 产生文本 embedding，经 DiT cross-attention 注入。
记忆机制：训练时从历史中随机抽 sparse memory；推理时按固定间隔均匀采样，避免只依赖最近帧。

【Code】 README 将两个公开视频模型区分为 GE-Base-slow（中频、与 action dynamics 同步）和 GE-Base-fast（低频、低延迟）。视频推理示例目录显式放置每个样本的四张多视角 history images 与 prompt，印证了论文的 sparse-memory 接口。

GE-Act：共享视觉 backbone 的 action branch

输入：GE-Base visual tokens、instruction embedding、噪声初始化的 action tokens。
中间模块：视觉 DiT block 与 action DiT block 并行；action branch 通过 cross-attention 读取每层视觉表示。
输出：一段时间结构化 action policy，不需要在部署时显式解码完整视频。
为什么需要：直接从视频生成结果取动作会带来额外延迟；GE-Act 在 latent 空间做 action decoding，保留视觉语义同时绕开视频像素生成。
实际规模：论文描述为约 160M 参数的轻量 action decoder；官方配置中 action_expert: true、action_in_channels: 14、action_chunk: 54。

GE-Sim：把动作重新注入世界模型

GE-Sim 要解决的不是“生成一段看起来像机器人视频”，而是让低层动作与高层视觉 latent 对齐。它包含两条条件路径：

Pose2Image：把末端位姿投影到相机平面，绘制位置、姿态轴和 gripper openness，再与对应历史图像分别编码后相加；
Motion Vector：计算相邻位姿的 $\Delta\mathbf a_i$，经 learnable encoder 变成 motion tokens，并与 reference image style token 一起通过 cross-attention 注入 DiT。

【Paper】 GE-Sim 同时支持基于 LTX-Video 的快速版本和基于 COSMOS2 的高保真版本；训练时还加入错误执行、不完整行为和次优控制轨迹，以覆盖失败模式。

4.3 关键公式

GE-Base 的多视角预测

$$ \hat{x}t = \mathcal{W}\left({v_0^{(i)},v{\hat t}^{(i)},z^{(i)}}_{i\in{h,l,r}},\ \mathcal{T}(q)\right). $$

这里 $v_0^{(i)}$ 和 $v_{\hat t}^{(i)}$ 是第 $i$ 个视角的初始和历史 latent，$z^{(i)}$ 是 view-specific noise，$\mathcal{T}(q)$ 是 T5-XXL 文本表示。公式表达的重点是：每个 view 有自己的观测和噪声，但在 DiT 中被联合建模。

GE-Act 的视觉-动作交互

$$ \mathbf v_i=\mathcal B_i^{vis}(\mathbf v_{in},\mathcal T(q)),\qquad \mathbf a_i=\mathcal B_i^{act}\left(\mathbf z_{act},\operatorname{CrossAttn}(\mathbf z_{act},\mathbf v_i)\right). $$

视觉 block $\mathcal B_i^{vis}$ 先产生语义和时空上下文，action block $\mathcal B_i^{act}$ 再以噪声动作 token 为 query 读取视觉特征。【Analysis】 这比把最终视觉 embedding 一次性喂给 MLP 更接近“逐层共享中间状态”，有利于动作和预测的视觉动态保持一致。

Flow matching 的动作去噪

设真实动作为 $a_1$、高斯噪声为 $a_0$，线性路径为 $a_\sigma=(1-\sigma)a_1+\sigma a_0$，模型学习速度场 $v_\theta(a_\sigma,\sigma,c)$：

$$ \mathcal L_{FM}=\mathbb E_{\sigma,a_0,a_1}\left[\left|v_\theta(a_\sigma,\sigma,c)-(a_1-a_0)\right|_2^2\right]. $$

其中 $c$ 是视觉 latent、语言和可选 robot state 的条件。推理时从噪声动作开始，沿 flow-matching ODE 迭代得到 action chunk。【Code】 训练器会按 scheduler 采样 action sigma、混合真实动作与噪声，并对 action loss 做 flow weighting；配置默认 flow_weighting_scheme: none。

GE-Sim 的动作条件

$$ \mathbf v_i=\mathcal E(\mathbf I_i)+\mathcal E(\mathbf P_i),\qquad \Delta\mathbf a_i=\mathbf a_i-\mathbf a_{i-1}. $$

图像 latent 与 pose-image latent 的逐元素相加保留场景语义和空间目标，动作差分则提供时间方向。两者分别解决“要在哪里动”和“应该如何继续动”。

4.4 Training

GE-Base 两阶段预训练

【Paper】

Stage I — GE-Base-MR：57 帧、3–30 Hz 随机采样，配 4 张 sparse memory，编码为 8 个 latent frames；32 张 A100 训练约 7 天。
Stage II — GE-Base-LF：固定 5 Hz 采 9 帧，配 4 张 memory，压缩为 2 个 latent frames；冻结 video encoder/decoder，只更新生成组件；32 张 A100 约 3 天。

第一阶段学习对采样率变化更鲁棒的运动表示，第二阶段把时间抽象对齐到下游 action policy 的低频视觉更新。

GE-Act 训练与任务适配

【Paper】 action pretraining 固定 GE-Base-LF，只训练 action decoder；输入 4 张 5 Hz memory，预测 30 Hz 的 54-step action。之后先做 video adaptation，再做 action specialization：前者适配新任务视觉分布，后者在任务数据上微调整个 action policy。

【Code】 官方 LeRobot 配置把这条流程拆成可执行的两个阶段：将 return_video: true、train_mode: video_only 用于视频适配，再切换为 return_action: true、train_mode: action_full 训练 action expert；训练数据可指定三路相机、action_type（absolute/delta）和 action_space（joint）。

GE-Sim 训练

【Paper】 GE-Sim 从高时间分辨率 GE-Base-MR 初始化，以真实 action trajectory 条件生成视频，同时混入 teleoperation 和真实部署中的 failure cases；VAE 与 CLIP encoder 冻结，其余生成参数用 flow-matching loss 优化。

4.5 Inference

GE-Base / GE-Act 的 Slow-Fast Asynchronous Inference

【Paper】 视频 DiT 以 5 Hz 工作，action model 以 30 Hz 工作，频率比为 1:6。每次视觉 forward 只做一次 flow-matching denoising 并缓存 visual latent；同一缓存被 action model 复用，action 分支做 5 次 denoising 以获得 54-step 高频动作。论文报告在机器人上的 RTX 4090 上约 200 ms 完成一次推理。

【Code】 README 的 video_model_infer_fast.yaml 关闭 action expert、只返回视频；policy 配置则开启 action expert、关闭视频返回。也就是说，官方实现把“单独生成视频”和“只解码动作”作为两个运行模式，而不是每次部署都输出两种结果。

GE-Sim 闭环 rollout

【Paper】 policy 先根据 instruction 和初始观察产生动作，GE-Sim 用该动作生成未来视频，再把视频反馈给 policy，如此迭代直到任务完成。相同动作还可以在不同初始视觉环境中重放，构造更多训练或评测样本。

4.6 代码实现对照

官方仓库的实现边界很清楚：

| 论文模块 | 代码位置 / 入口 | 代码中可确认的行为 | | --- | --- | --- | | GE-Base / GE-Act | models/ltx_models/, runner/ge_trainer.py, configs/ltx_model/ | LTX 多视角模型、action expert 开关、flow scheduler、54-step chunk | | 数据加载 | data/agibotworld_dataset.py, data/lerobot_like_dataset.py | AgiBotWorld 与 LeRobot 风格数据；三路相机字段可配置 | | 动作推理 | runner/ge_inferencer.py, scripts/infer.sh | 输出 action prediction，并可绘制与 GT 对比的 open-loop 曲线 | | 视频推理 | video_gen_examples/infer.py | 从 prompt 和四张多视角历史图生成 GE-Base slow/fast 视频 | | GE-Sim | models/pipeline/gesim_pipeline.py, gesim_video_gen_examples/infer_gesim.py | 读取 .npy 的相机内外参与 action，运行 Cosmos2-based simulator | | 在线部署 | web_infer_scripts/, web_infer_utils/ | 提供基于 websocket/openpi 风格的 server-client 示例 |

【Analysis】 当前代码更像“可复现实验骨架”而不是开箱即用的机器人系统：权重、VAE、tokenizer、相机标定和数据集路径都需要用户自行准备；README 也要求先修改 YAML 中的 checkpoint 与数据字段。

5. 实验

5.1 Experimental Setup

【Paper】 数据主干是 AgiBot-World-Beta 的约百万条双臂真实操作轨迹。GE-Act 在 AgiBot G1 上测试 sandwich、pour tea、clean table、microwave、conveyor 上抓取洗衣液等任务；跨 embodiment 实验覆盖 Agilex Cobot Magic、Dual Franka 和 RoboTwin。

评价指标：Step-wise Success Rate（SR）统计子步骤完成比例，End-to-End Success Rate（E2E）只看整任务最终结果。
对比方法：UniVLA、GR00T N1、$\pi_0$ 等 VLA baselines。
跨 embodiment 适配：Agilex 和 Dual Franka 各用约 250 条示教，约 1 小时；新 embodiment 重新训练 action head，保留 GE-Base 视觉 backbone。

5.2 Main Results

【Paper】 在 AgiBot G1 的多项真实任务上，GE-Act 的 SR 与 E2E 总体高于 UniVLA 和 GR00T N1；fast mode 在动态目标跟踪和 conveyor 抓取等低延迟任务上尤其有优势。论文将收益归因于 GE-Base 提供的时空先验和视觉-语言 grounding，而不仅是 action head 本身。

【Paper】 跨 embodiment 结果也显示，GE-Act 用约 1 小时示教即可在 Agilex Cobot Magic 的 box folding、cloth folding 上完成复杂操作；在 Dual Franka 上，即使 $\pi_0$ 和 GR00T N1 有更多 Franka 数据，GE-Act 仍保持竞争力。

5.3 Ablation Study

论文在固定的“抓取红色圆柱并放入纸杯”任务上比较预训练来源、task video adaptation 与 robot state：

| VidAW（GE-Base 初始化） | VidAda | E2E（有 state） | E2E（无 state） | SR（有 state） | SR（无 state） | | --- | --- | ---: | ---: | ---: | ---: | | 否 | 否 | 0.15 | 0.30 | 0.05 | 0.11 | | 否 | 是 | 0.00 | 0.05 | 0.00 | 0.00 | | 是 | 否 | 0.81 | 0.49 | 0.64 | 0.26 | | 是 | 是 | 0.89 | 0.37 | 0.76 | 0.37 |

【Paper】 关键结论有两层：第一，来自 embodied video pretraining 的表示是 action learning 的主要基础；第二，加入 state 并非总是有益——没有 GE-Base 先验时，state 可能诱发 shortcut learning，反而损害性能。

5.4 Generalization

【Paper】 RoboTwin 中，GE-Act 用一个 all-in-one 模型联合适配四个任务，在四个任务中的三个超过 $\pi_0$ 和 GO-1；lift pot 的小幅落后被作者解释为 joint training 的 task interference。这个结果说明 GE 的泛化不只来自“为每个任务训练一套 policy”，而是共享 world representation 后再适配 action head。

GE-Sim 的 action-conditioned 表格结果显示，LTX 和 COSMOS2 版本在 BLEU、CLIP、dynamic、scene 等指标上总体接近，COSMOS2 在动态一致性上更好；EWMBench 与人类偏好排序的一致性也高于通用 VBench。【Analysis】 这验证的是“模拟器可用性”而非真实 task success：视频与动作对齐是必要条件，但还不是安全部署的充分条件。

6. 方法分析

6.1 为什么有效？

【Analysis】 GE 的收益可以拆成三个互补因素：

视觉空间保留了控制细节：视频 latent 同时编码场景、机器人姿态和未来变化，比单一语义 embedding 更接近 manipulation 所需的几何信息。
稀疏 memory 延长了有效上下文：模型可以看到“物体已经被放进盒子、随后被遮挡”的历史，而不是只看最近一帧。
动作与视频共享中间表示：GE-Act 不用从零学习视觉到动作的映射，GE-Sim 又能把动作结果投回视觉空间，形成学习、执行、评测的闭环。

6.2 核心创新

平台级创新：把 world model、policy、simulator、benchmark 组合为同一个接口，而不是只提出一个新 decoder。
建模级创新：多视角 cross-view attention + sparse memory + language-conditioned autoregressive video generation。
控制级创新：并行 action branch 与异步 slow-fast inference，把视频频率和动作频率解耦。
评测级创新：EWMBench 把 scene、motion、semantics 和 action-conditioned controllability 放到同一套指标中。

6.3 与已有方法的本质区别

| 路线 | 中间表示 | 是否能内部预测未来 | 是否能动作条件模拟 | 主要瓶颈 | | --- | --- | --- | --- | --- | | 传统 VLA | VLM / language-centric feature | 通常不能 | 通常不能 | 行为克隆与真实评测成本 | | 通用视频模型 | pixel/latent video | 能生成视频 | 多数没有机器人动作接口 | 物理与控制对齐不足 | | GE | embodied visual latent | 能 | GE-Sim 支持 | 数据来源和评测仍有限 |

【Analysis】 GE 并没有证明“视频生成天然优于 VLA”；它证明的是：当视觉世界模型在足够多的机器人视频上预训练后，它可以成为 policy、simulation 和 evaluation 的共享 substrate。

6.4 关键假设

三路相机同步且标定稳定，视角之间的对应关系可以由模型学习。
AgiBot-World-Beta 的操作分布足以提供可迁移的 embodied prior。
视觉预测的高保真与动作执行质量存在可利用的相关性。
action chunk 的低频规划和高频低层控制可以通过异步架构解耦。
video-based simulator 即使没有显式物理引擎，也能在任务相关指标上提供有价值的策略排序。

7. 局限性

7.1 作者明确提出的局限

【Paper】

数据来源单一：预训练主要依赖单一真实平台和 AgiBot-World-Beta，没有互联网规模或仿真数据，跨传感器和低资源 domain 的稳健性未充分验证。
embodiment 范围有限：当前集中在上半身桌面操作和平行夹爪，没有涉及灵巧手、多接触 manipulation 或全身 locomotion。
评测仍是 proxy：EWMBench 依赖视觉、轨迹和 VLM 指标，并只有部分人工验证，尚不能完全自动、可靠地判断复杂失败下的真实任务成功。

7.2 自己分析得到的局限

【Analysis】

世界模型的错误会被闭环放大：GE-Sim 生成的“看起来合理”视频可能掩盖碰撞、摩擦或力学失败，policy 若在模拟器中优化，可能学到 simulator-specific shortcut。
稀疏记忆不是免费午餐：遮挡、相机漂移或历史采样错误会让 latent 记忆携带过时状态；论文没有给出 memory dropout、长度和采样策略的系统消融。
action representation 仍依赖 embodiment：论文用 14D EEF 表达说明统一接口，代码却需要在 joint/delta/absolute 等数据配置间适配；真正跨机器人共享 action semantics 仍未解决。
成本和复现门槛很高：论文训练阶段使用数十张 A100，代码还要求用户自行准备大模型 VAE、tokenizer、标定和权重，普通实验室很难完整复现实验规模。
基准与任务成功之间仍有间隙：EWMBench 能比较视频动态与语义，但不等价于抓取成功、接触稳定性或安全性；后续需要 simulator-to-real 校准和真实闭环验证。

8. 启发与研究思考

【Analysis】 这篇工作最值得借鉴的不是“把机器人视频做得更清晰”，而是接口设计：同一个 latent space 同时服务 prediction、control 和 evaluation。由此可以得到几条研究路线：

从视觉预测到 belief state：把 GE-Base latent 显式拆成可校准的 scene state、robot state 和 uncertainty，减少“视频逼真但状态错误”。
把 simulator 用作主动数据引擎：让 policy 在 GE-Sim 中提出失败轨迹，再把高价值失败样本回流到 GE-Base 和 GE-Act 训练。
统一 action tokenization：在 EEF、joint、torque 之间学习 embodiment-conditioned action token，使新机器人只需少量 adapter，而不是重新训练 action head。
从指标相关性到安全保证：EWMBench 可以加入碰撞、接触力、可逆性和不确定性指标，并与真实任务 success 做 calibration。
更长时域的记忆机制：将 sparse memory 与事件级摘要、object-centric memory 结合，解决遮挡后依赖内部记忆的长流程任务。

【Analysis】 如果把 VLA 看作“当前观察到动作”的函数，那么 Genie Envisioner 更接近一个可查询的 embodied dynamics service：可以问它“接下来可能发生什么”，也可以问“如果执行这组动作，视觉上会怎样”。这正是机器人从一次性 imitation 走向可预测、可评估、可迭代 learning system 的关键一步。

FTP-1 论文精读：把异构触觉做成可迁移的基础策略

Wed, 26 Aug 2026 00:00:00 GMT

1. 论文概述

一句话总结

【Paper】FTP-1 将图像式、阵列式与状态式触觉映射到 Morphology-Aware Tactile Token Space（MTTS），再由一个跨传感器共享的 Tactile Transformer Expert 建模；它在约 3,000 小时、26 个来源、21 种触觉传感器的聚合数据上预训练，目标不是为某个夹爪或皮肤做一个更好的策略，而是提供触觉操作的共同初始化点。

核心贡献

【Paper】提出首个面向多种传感器和具身形态的 generalist foundation tactile policy：不是将触觉当作 VLA 的一个临时 adapter 输入，而是显式设置一个可复用的触觉专家。
【Paper】以 MTTS 把不同传感器的读数按手指、腕部力矩或夹爪两侧等「功能区域」对齐；每个区域对应一个 Token，并共享 functional-area embedding。
【Paper】聚合 26 个数据源，覆盖 7 类图像式、5 类阵列式与 9 类状态式传感器；重采样后人手、灵巧手和夹爪数据比例约为 20% / 30% / 50%。
【Paper】在已见和未见传感器设置上都报告增益。特别是未见的 Xense 与 Contactile 设置中，FTP-1 的平均成功率为 46.6%，相对 FTP-$\pi_{0.5}$ 的 15.0% 高 31.6 个百分点。

2. 背景与相关工作

【Paper】视觉基础策略已经可以依靠大规模异构数据迁移到新任务与新机器人，但触觉策略常被传感器的观测格式锁死：GelSight 是图像，Contactile 是阵列，腕部力/力矩又是一段低维状态；它们还在分辨率、安装位置和接触响应上不同。把它们简单拼接，模型很难判断「两个数值/像素块是否都在描述拇指接触」。

现有触觉表征预训练能够提升感知，VTLA（Vision-Tactile-Language-Action）模型也会把触觉注入视觉语言模型；但【Paper】认为两者通常仍绑定于有限硬件配置。FTP-1 的问题更严格：一个策略能否从异构触觉经验中提取可在新传感器上复用的操作知识？

【Analysis】这使工作重点从「给 VLA 加触觉」转为「定义触觉的跨硬件接口」。若接口没有语义，扩大数据集只会扩大输入分布；若接口有功能语义，才可能让预训练专家在下游保留有价值的参数。

3. 问题定义

【Paper】在时刻 $t$，策略接收语言指令 $\ell$、单/多视角 RGB 观测 $\mathcal{I}_t$、本体感觉 $\mathbf{s}_t$ 和触觉观测 $\mathcal{X}_t$，预测长度为 $H$ 的连续动作块：

$$ \hat{\mathbf{A}}{t:t+H-1}=\pi\theta(\ell, \mathcal{I}_t, \mathbf{s}_t, \mathcal{X}t), \qquad \hat{\mathbf{A}}{t:t+H-1}\in\mathbb{R}^{H\times D}. $$

其中 $D$ 是 Unified Action Space（UAS）的固定维度。不同机器人只填充自己支持的动作槽位；训练时对不存在或不支持的维度使用掩码，因此多种具身可以共享动作布局。【Paper】UAS 中还以 Function–Actuator–Aligned Space（FAAS）对齐不同灵巧手的功能相近关节。

真正困难不在于输出维度固定，而是 $\mathcal{X}_t$ 没有统一原始形状。FTP-1 的解决方案是先把它变成固定数量、带区域含义的触觉 Token 序列。

4. 方法

4.1 Overall Architecture

【Paper】数据流可概括为：异构触觉 $\rightarrow$ 传感器专属 encoder 与 MTTS Token $\rightarrow$ 共享 Tactile Expert，随后由 Action Expert 联合视觉、语言、本体状态与触觉信息生成连续动作块。

结构包含三位「专家」：预训练 vision-language expert 编码图像与语言；300M 参数的共享 tactile Transformer 编码触觉 Token；flow-matching action expert 读取前两者并产生动作。【Paper】Action Expert 可以 attend 到 Tactile Expert，但反方向不发生，避免触觉分支扰动已有视觉语言知识；本体状态通过 adaptive RMSNorm 注入动作分支。

4.2 核心模块

MTTS：以功能区域而非硬件编号对齐触觉

【Paper】MTTS 固定定义 24 个 functional areas。槽位 0–14 表示手的不同功能区域，15–20 表示腕部/手指的力矩区域；平行夹爪的两侧则映射到拇指尖（0）和食指尖（1），21–23 预留。每个实际传感器先被标注到这些区域，再加上左右手可区分的、跨传感器共享的区域 embedding。

这种对齐是「形态感知」的关键：同样位于抓取接触点的两种硬件输出，被分配到相同语义槽位；模型仍可通过 encoder 保留传感器差异，而不必把两者强行当成相同像素或数值。

Heterogeneous tactile encoders：保留各模态的物理结构

【Paper】FTP-1 不用一个 encoder 处理所有触觉格式：

| 输入类型 | 编码路径 | 输出 | | ----------------------- | ------------------------------------------------------------- | ---------------------- | | 图像式（如 GelSight） | 轻量、传感器专属 ViT，再接跨传感器共享的预训练 T3 Transformer | 最后一层 [CLS] Token | | 阵列式（如 Contactile） | CNN 提取空间结构 | 每个功能区域一个 Token | | 状态式（如力/力矩） | Fourier feature encoding，再接轻量 MLP | 每个功能区域一个 Token |

【Paper】同一传感器中形状相同的多个功能区域共享相应 encoder，以减少传感器专属参数并促进一致的触觉动态建模。到未见传感器时，下游需要从头训练该传感器 encoder，但保留共享 tactile expert、MTTS 和区域 embedding。

4.3 关键公式

【Paper】将第 $i$ 个功能区域的原始信号记为 $x_i$，其传感器/模态对应 encoder 为 $f_{s(i)}$，区域 embedding 为 $e_{a(i)}$。MTTS 的 Token 化可以写为：

$$ z_i = f_{s(i)}(x_i) + e_{a(i)}, \qquad i\in{1,\ldots,24}. $$

$z_i$ 是输入给触觉专家的统一 Token；$a(i)$ 是它的功能区域，$s(i)$ 决定选 ViT、CNN 或 MLP 路径。这个式子是对论文模块描述的紧凑表达：论文强调固定 Token 槽和加法式的 shared functional-area embedding，但未将其单列为公式。

【Paper】对 UAS 中各具身不具备的动作维度，论文使用动作掩码 $\mathbf{M}\in{0,1}^{D}$ 排除训练损失。可把这一约束抽象为：

$$ \mathcal{L}_{\text{valid}}=\mathcal{L}\bigl(\mathbf{M}\odot\hat{\mathbf{A}},;\mathbf{M}\odot\mathbf{A}\bigr). $$

这里 $\mathbf{A}$ 为目标动作，$\odot$ 表示逐维相乘；$\mathcal{L}$ 的具体 flow-matching 形式在论文中未明确给出，因此上式只说明掩码的作用，不把它误作论文公布的完整训练目标。

4.4 Training

【Paper】预训练数据涵盖人手、灵巧手和夹爪操作，并按来源重采样来缓解规模不平衡。所有触觉标注先进入 MTTS，异构具身的动作则进入 UAS；由此共享模块可以跨域累积梯度，而专属 encoder 只处理各自的输入形状。

【Code】公开的 UniVTAC 示例启动脚本位于 scripts_exp_zarr/univtac/train_univtac_example.sh：使用 4 GPU、global batch size 64、20,000 steps、500 step warmup、峰值学习率 $5\times10^{-5}$，并显式开启 model.use_tactile_input、gemma_small tactile expert 与 EMA（0.99）。这些是示例微调配置，不应视为论文全部预训练超参数。

4.5 Inference

【Paper】运行时策略以当前多模态观测预测一段长度 $H$ 的动作 chunk，并在执行后根据新观测重新决策。

【Code】FTP1InferenceWrapper 是官方推荐入口，负责 checkpoint 加载、输入归一化与动作反归一化；其 infer(...) 接收 tactiles、tactile_function_areas 和 tactile_sensors。README 说明当前包装器通常使用 $T=1$ 的当前状态，默认 FTP-1 action horizon 为 32，num_inference_steps 示例为 10。

4.6 代码实现对照

| 论文概念 | 官方实现 | 读代码时应注意 | | ----------------------- | ------------------------------------------------------------------------------ | -------------------------------------------------------------------------------- | | 下游 Zarr 数据入口 | scripts_exp_zarr/univtac/dataset_univtac.json、data_processing/ | 公开例子需要用户提供已处理的 Zarr 路径。 | | 训练与 checkpoint 载入 | scripts/zarr_train_ftp1_pytorch.py | DataLoader 的 action horizon 来自模型配置；恢复权重时还会载入 hpt_tokenizer/。 | | 传感器专属 tokenization | src/openpi/models_pytorch/ 中的 FTP-1 模型与 hpt_tokenizer checkpoint 目录 | 【Code】训练时会把 dataset 提供的 tactile input config 写入 model config。 | | 部署推理 | src/openpi/policies/ftp1_inference_wrapper.py | 【Code】封装了归一化、反归一化与 tactile 输入的结构约束。 |

【Code】仓库还提供 scripts_exp_zarr/pretrain_small/ 作为轻量预训练示例。多域联合训练时，README 描述其会将格式相同的 domain sample 分配到各 GPU；domain-specific 模块独立更新，而 shared modules 的梯度在联合更新前合并。这是工程上使「异构输入 + 共享专家」可规模化的关键配套，而不仅是一张架构图。

5. 实验

5.1 Experimental Setup

【Paper】作者把预训练 checkpoint 分发给 5 个硬件设置，覆盖 14 个接触密集任务。已见传感器评测包括 UniVTAC 仿真（GelSight-Mini）与两套真实机器人设置：Sharpa North 的长时程灵巧操作、Sharpa&Dexmate 的按压/力控操作；未见传感器评测包括 FlexivXense（Xense 图像触觉）和 TactileUMI（Contactile 阵列触觉）。

【Paper】仿真每个任务评测 100 次 rollout，真实机器人每个任务 20 次。比较对象分别隔离了触觉输入、融合结构和预训练的贡献：无触觉的 $\pi_{0.5}$、将触觉注入 VLM 的 Tactile-VLA、未作 FTP-1 预训练的同架构 FTP-$\pi_{0.5}$，以及 FTP-1。

5.2 Main Results

【Paper】在 UniVTAC 的 6 个任务上，FTP-1 平均成功率为 66.66%，高于 $\pi_{0.5}$（49.16%）、Tactile-VLA（41.83%）和 FTP-$\pi_{0.5}$（45.16%）；去掉两个 lift 任务后平均为 59.5%。在真实的已见传感器设置上，论文报告 FTP-1 的平均成功率为 62.5%，相比最强基线提升约 17.2 个百分点。

【Paper】更关键的未见设置中，FTP-1 在 Insert Hanoi / Insert USB / Wipe Board 上分别为 55 / 30 / 55%，平均 46.6%；FTP-$\pi_{0.5}$ 为 5 / 10 / 30%，平均 15.0%。这说明「新 encoder 从头学、共享触觉知识复用」至少在两种新硬件上成立。

【Analysis】结果不应被解读为完全零样本传感器迁移：未见 Xense 每项仍用 100 条微调 demonstrations，Contactile 的 Wipe Board 用 50 条。贡献是更好的微调起点，不是拿到陌生传感器即刻控制。

5.3 Ablation Study

【Paper】作者用 NTP-1 区分「数据分布更接近下游」和「触觉分支学到可迁移知识」两种解释：NTP-1 使用与 FTP-1 相同的数据和优化设置预训练，但预训练阶段删除触觉输入与触觉架构；微调时再添加同一触觉架构。

在 UniVTAC，NTP-1 的平均成功率为 50.00%，优于无触觉预训练的 FTP-$\pi_{0.5}$（45.16%），表明数据分布相近可能确有帮助；但仍远低于 FTP-1 的 66.66%。【Paper】在 FlexivXense 上 FTP-1 比 NTP-1 高 37.5 个百分点，因此作者将主要增益归因于预训练得到的 tactile knowledge，而非仅仅看过相似数据。

5.4 Generalization

【Paper】未见设置中仅从头训练 sensor-specific encoder，同时复用 Tactile Expert、图像式触觉的共享 Transformer 模块和 functional-area embedding。这是本文最有信息量的泛化实验：它要求模型把「接触是否对齐、插入应否放慢、擦拭压力是否稳定」之类的动态知识，与一个没有见过的输入外观重新连接。

【Analysis】两个未见传感器恰好分别属于图像式和阵列式，并非对所有传感器类别的完备覆盖；仍然，它比「同一 GelSight 换一个任务」更能检验 MTTS 的跨硬件主张。

6. 方法分析

6.1 为什么有效？

【Analysis】FTP-1 的有效性来自三层解耦：专属 encoder 负责把硬件特征读对；MTTS 负责把读数放到正确的功能语义位置；共享 expert 负责从大量轨迹中学习接触动态。若只共享 encoder，会因输入形状不同而失败；若只共享 expert 却没有 MTTS，Token 的位置缺乏稳定含义。

6.2 核心创新

【Analysis】创新不只是「多模态」或「更多数据」，而是把形态语义写入 Token interface。相同的 tactile expert 因此看到的是「拇指尖接触」「夹爪一侧接触」「腕部力矩」等功能化槽位，具备跨传感器复用的条件；UAS/FAAS 则在动作端做出对应对齐。

6.3 与已有方法的本质区别

| 路线 | 触觉的角色 | 跨传感器迁移的瓶颈 | | --------------- | ------------------------------------------- | -------------------------------------------------- | | 单任务触觉策略 | 某硬件专属观测 | encoder、数据和策略通常一起绑定 | | adapter 式 VTLA | 作为附加 Token 注入 VLM | 触觉模块难独立积累、复用知识 | | FTP-1 | 独立的共享 Tactile Expert，输入受 MTTS 约束 | 仍须为新硬件学习专属 encoder，但可复用其余触觉模块 |

6.4 关键假设

【Analysis】MTTS 假设不同硬件之间存在可靠的功能区域映射；例如平行夹爪两侧可对应拇指和食指尖。这对常见抓取很自然，但对全身皮肤、柔性连续皮肤或形态功能不等价的末端执行器，映射未必成立。第二个假设是区域语义足以桥接物理差异；若不同传感器的接触响应差异过大，shared expert 仍可能需要更多适配。

7. 局限性

7.1 作者明确提出的局限

【Paper】作者将 FTP-1 定位为初步探索：目前主要处理 general tactile perception，尚未直接解决 tactile-/force-based servoing 与低层控制；预训练数据的规模和多样性也仍有限。论文提出未来可扩展到未来触觉预测和基于预测的低层控制。

7.2 自己分析得到的局限

【Analysis】MTTS 的人工功能区域定义是知识注入也是维护成本。新硬件接入前需要明确标注区域，映射错误会把错误的语义送入共享专家。
【Analysis】未见传感器结果依赖下游微调和一定数量 demonstrations，尚未证明跨传感器的 zero-shot control。
【Analysis】论文的未见实验覆盖两种传感器类型、三个任务；对更极端的分辨率变化、时延、漂移与复杂接触（如软体、多点滑移）的稳健性还需更系统的评估。
【Analysis】共享 Token 空间提供对齐，但不自动保证因果接触理解；若训练数据的视觉线索已足够预测动作，触觉分支是否真正被使用仍应配合干预式评测。

8. 启发与研究思考

【Analysis】FTP-1 给触觉基础模型一个很实用的设计范式：先把「什么地方在接触、该怎样控制」变成跨硬件稳定的接口，再谈用多少数据和多大的 Transformer。其 MTTS 与 UAS/FAAS 共同暗示，通用机器人策略的规模化不只是堆数据，也需要在观测端和动作端同时建立可组合的语义坐标系。

下一步值得验证三个问题：能否自动学习而非人工指定 MTTS 映射；能否用预测式世界模型把触觉从反应信号提升为可前瞻的控制状态；以及当新硬件只给极少数据时，究竟是 encoder、区域 embedding 还是 tactile expert 决定迁移样本效率。

ForceVLA2 论文精读：让 VLA 学会感知并控制接触力

Wed, 26 Aug 2026 00:00:00 GMT

1. 论文概述

【Paper】 《ForceVLA2: Unleashing Hybrid Force-Position Control with Force Awareness for Contact-Rich Manipulation》发表于 arXiv，论文页面注明已被 CVPR 2026 接收。作者提出一个端到端的 force-aware VLA：高层用 force prompt 形成阶段性的任务概念，低层用 Cross-Scale Mixture-of-Experts（MoE）把视觉语言语义、末端位姿和实时力/力矩融合为混合力位动作。

一句话总结

【Analysis】 这篇工作的关键不是“给 $\pi_0$ 多加一个力传感器输入”，而是把力觉拆成两个时间尺度：慢速的力感知任务分解，以及绕过高层融合、直接驱动 Action Expert 的快速反应回路。

核心贡献

【Paper】

提出 ForceVLA2，将 Force Prompt、Cross-Scale MoE 和混合力位控制统一到 VLA 中。
构建 ForceVLA2-Dataset：5 个接触丰富任务、1,000 条轨迹、约 500K 个同步时间步，同时记录多视角图像、任务提示、末端状态和 6D 力/力矩。
在真实机器人上取得平均 66% 成功率；相较 $\pi_0$ 和 $\pi_{0.5}$ 的平均结果分别提升 48 和 35 个百分点，并在装配齿轮任务上比第二名高 50 个百分点。

2. 背景与相关工作

【Paper】 现有 VLA（例如 $\pi_0$、$\pi_{0.5}$、OpenVLA）擅长视觉语义对齐，却通常输出末端位姿或关节动作。对按压、擦拭、插入和装配这类任务，视觉很难判断“是否已经接触”“接触是否过大”，单纯追踪位置会导致卡死、过载或失去接触。

ForceVLA 已经证明，把力作为输入可以提升接触任务表现，但论文认为这仍主要是感知层的增强：模型看到力，却不一定学会主动调节力。ForceVLA2 的问题设定因此更具体：如何让语言层理解当前接触阶段，同时让动作层在毫秒级别利用力反馈改变控制模式。

【Analysis】 这也解释了为什么作者不把所有力 token 都塞进 VLM：高层语义推理需要稳定上下文，瞬时力信号则更像控制回路中的高频反馈，两者的延迟和职责不同。

3. 问题定义

【Paper】 在时间步 $t$，策略接收：

三路 RGB 视角（两路第三人称、一路腕部相机）；
全局任务提示 $T_t$；
当前子任务对应的 Force Prompt $T_f$；
末端执行器位姿 $mathbf p$ 与 6D 力/力矩 $mathbf f_{mathrm{raw}}$。

策略输出混合力位控制命令，包括末端位姿变化、目标接触力和子任务进度信号。论文正文把位姿 token 写成 7 维（位置加四元数），而附录的控制分析又使用 6D 位姿；因此动作总维度在论文不同段落之间并不完全一致，【Analysis】 这里应把它理解为“位姿控制量 + 6D 力/力矩”，而不是依赖某个固定维度。

机器人平台是 7-DoF Flexiv Rizon 4s，配 DH Robotics AG-95 夹爪和末端 6D F/T 传感器。评测覆盖 press bottle、clean vase、clean board、retrieve plate、assemble gears 五项任务。

4. 方法

4.1 Overall Architecture

【Paper】 ForceVLA2 的数据流可以压缩为一句话：多视角图像、任务提示和 Force Prompt 进入 VLM 形成长时程任务概念；末端位姿经多模态编码器与 VLM 对齐，而实时力信号保留一条旁路直接进入 Cross-Scale MoE；MoE 再条件化 flow-matching Action Expert，生成混合力位动作。

【Analysis】 这是一种“语义规划 + 反应控制”的双时间尺度结构，而不是把 VLM 和控制器简单串联。

4.2 核心模块

Force Prompt：把力觉变成阶段语义

【Paper】 每个任务预先拆成 3–5 个子任务。Force Prompt 是描述当前子任务和物理上下文的文本提示，例如提示机器人保持当前阶段，或在满足接触条件后切换到下一阶段。它像一个离散状态机，把“当前需要按压、擦拭还是探索”显式交给 VLM。

输入是多视角视觉 token、全局任务文本和阶段性力提示，输出是带有子任务进度和空间语义的 VLM contextual tokens。它的作用不是直接输出力，而是为 Action Expert 提供“这一刻力应该服务于哪个阶段”的语义先验。

Proprioceptive-force Encoding：位姿与力的不同路径

【Paper】 末端位姿 $mathbf p$ 经线性层 $phi_P$ 投影为 $mathbf E_P$，原始 6D 力/力矩 $mathbf f_{mathrm{raw}}$ 经 $phi_F$ 投影为 $mathbf E_F$。位姿和力 token 先组成状态表示，并通过 Cross-Attention 从 VLM token 中取得任务上下文。

关键区别是：慢变化的位姿进入多模态编码器，而快速变化的力保留 bypass，直接送入 MoE。这样既能让力理解任务语境，又避免高层融合抹平接触瞬态。

Cross-Scale MoE：按阶段选择主导模态

【Paper】 MoE 包含视觉、状态和力三个轻量 MLP expert。门控网络为每个 token 产生 $w_V,w_S,w_F$，再按 token 动态加权。自由空间运动时，视觉和位姿可以占主导；接触、擦拭或插入时，力 expert 的权重可以上升。

Flow-matching Action Expert

【Paper】 MoE 表示被送入 conditional flow-matching policy。模型从高斯噪声动作开始，在条件向量引导下逐步去噪，最终得到位姿变化、目标力和进度信号。论文将其建立在 $\pi_0$ 的 VLM + flow-matching 结构之上。

4.3 关键公式

视觉与文本融合为：

$$ \mathbf E = \mathrm{VLM}([f(\mathbf E_v);g([\mathbf T_t;\mathbf T_f])]) $$

其中 $f$、$g$ 分别是视觉和文本编码器，$mathbf T_t$ 是任务提示，$mathbf T_f$ 是 Force Prompt。

状态条件化为：

$$ \mathbf E'{state}=\mathrm{CrossAttn}(\mathbf E{state},\mathbf E),\qquad \mathbf E_{cond}=[\mathbf E;\mathbf E'_{state};\mathbf E_F] $$

Cross-Scale MoE 为：

$$ \mathbf E_{MoE}=\sum_{m\in{V,S,F}}w_m,\mathrm{Expert}m(\mathbf E{cond}) $$

其中 $m$ 表示视觉、状态和力三个 expert，$w_m$ 是 token 级动态门控权重。

Flow matching 的连续形式为：

$$ \frac{d\mathbf a_t^{(\tau)}}{d\tau}=F_\theta(\mathbf a_t^{(\tau)},\mathbf E_{MoE},\tau),\quad \tau\in[0,1] $$

离散实现从 $mathbf a_t^{(0)}\sim\mathcal N(0,I)$ 开始迭代更新。【Paper】 论文还用 $Theta$（姿态对齐）、$L$（到目标距离）和 $F$（力幅值）构造子任务转移概率：

$$ \hat s_t=\theta^\alpha e^{-\lambda l}\frac{f-n}{m-n},\qquad \alpha=2,\ \lambda=2 $$

它把“姿态接近目标、距离缩短、接触力达到条件”组合为阶段进度信号；超过阈值后切换子任务并重置。

4.4 Training

【Paper】 数据采集使用 force-feedback GELLO 遥操作。三路相机同步记录，F/T 传感器以 300 Hz 记录，视觉统一缩放到 480×640。模型在 8 张 A100 上训练 30,000 steps，batch size 为 32，优化器为 AdamW，学习率采用 cosine decay，EMA decay 为 0.99；论文报告训练约 10 小时。

【Code】 项目主页当前只提供论文、演示视频和 “code and dataset is coming soon” 占位链接，没有公开可核验的模型定义、DataLoader、训练脚本或 checkpoint。因此下面的训练流程是论文级描述，不应被误称为官方代码行为。

4.5 Inference

【Paper】 推理时，机器人持续读取三路图像、当前任务提示、阶段性 Force Prompt、末端位姿和实时 F/T。VLM 负责判断当前阶段与空间语义；Cross-Scale MoE 根据 token 级门控融合高层概念和瞬时力；flow-matching Action Expert 生成下一段混合力位命令，并由底层机器人控制器执行。达到进度阈值后，Force Prompt 切换到下一个子任务。

【Analysis】 旁路的意义在于缩短“力变化 → 动作修正”的路径。它不需要等待历史轨迹或高层 VLM 重新组织全部上下文，因此更适合处理突然改变的接触几何。

4.6 代码实现对照

【Code】 截至本文写作，项目主页明确标注代码和数据集“coming soon”，GitHub 链接仍是通用占位地址，GitHub API 也没有找到名为 ForceVLA2 的公开仓库。因此无法核对模型类、损失实现、采样步数、动作归一化或部署接口；本文不虚构这些实现细节。后续若官方仓库公开，最值得优先核查的是：Force Prompt 的生成器、MoE gate 的输入输出、力旁路是否共享参数，以及 flow-matching action 的实际维度。

5. 实验

5.1 Experimental Setup

【Paper】 实验使用 7-DoF Flexiv Rizon 4s、AG-95 夹爪、两台 RealSense D455 第三人称相机和一台 D435 腕部相机；每项任务进行 20 次独立试验，指标为成功率。基线包括 ACP、$\pi_0$、$\pi_{0.5}$、ForceVLA 和带朴素力输入的 $\pi_0$。

5.2 Main Results

| 方法 | Press bottle | Clean vase | Clean board | Retrieve plate | Assemble gears | 平均 | | -------------------- | -----------: | ---------: | ----------: | -------------: | -------------: | -----: | | $π_0$ | 35 | 20 | 35 | 0 | 0 | 18 | | $π_{0.5}$ | 45 | 30 | 45 | 15 | 20 | 31 | | ACP | 25 | 30 | 25 | 0 | 0 | 16 | | $π_0$ w/ naive force | 30 | 25 | 20 | 10 | 0 | 17 | | ForceVLA | 70 | 25 | 55 | 15 | 10 | 35 | | ForceVLA2 | 80 | 75 | 70 | 35 | 70 | 66 |

【Paper】 ForceVLA2 在五项任务上平均 66%，尤其在 Assemble gears 上达到 70%，比第二名高 50 个百分点。朴素地把力拼到 $\pi_0$ 输入中只有 17%，说明“有力信号”不等于“会使用力信号”。

5.3 Ablation Study

组件逐步消融结果为：$\pi_0$ 基线 18%，加入 Force Prompt 后 27%，再加入多模态编码器后 40%，最后加入 Cross-Scale MoE 达到 66%。【Paper】 其中 MoE 带来的增益最大，说明动态路由比静态拼接更重要。

| Cross-Scale MoE 输入 | 平均成功率 | | -------------------- | ---------: | | 仅状态（基线） | 36 | | 视觉模态 | 50 | | 视觉 + 力模态 | 66 |

视觉和力大致贡献相当，但 Press bottle 与 Clean board 加入额外力 token 后略有下降。【Analysis】 这些任务的控制模式较简单，过多自由度可能扰动本来稳定的位姿策略。

5.4 Generalization

【Paper】 作者额外测试了突然改变桌面高度、改变花瓶倾角和视觉失效后的重新抓取。ForceVLA2 能通过力反馈重新建立接触、沿花瓶表面滑动，或在沙盒中进行力引导探索；纯位姿基线往往继续追踪旧轨迹并触发过载。

【Analysis】 这些实验更像“分布外扰动下的闭环恢复”而不是传统静态泛化，验证重点是反应速度和可恢复性。

6. 方法分析

6.1 为什么有效？

【Analysis】 有三层原因：

Force Prompt 把连续的接触信息压缩为可解释的阶段概念，减少 VLM 在长任务中丢失阶段状态的风险。
位姿走多模态上下文路径、瞬时力走旁路，分别满足语义一致性和低延迟反馈。
MoE 允许模型在自由空间、接触和探索阶段切换主导模态，而不是假设所有时刻都应使用相同的融合比例。

6.2 核心创新

【Analysis】 真正的创新是“力觉在层级上的多尺度分工”：高层 force-aware task concept 决定当前要完成哪一种接触阶段，低层 Cross-Scale MoE 决定当前动作更应该听视觉、位姿还是力。混合力位动作只是这个分工最终落到控制接口上的表现。

6.3 与已有方法的本质区别

| 路线 | 力的角色 | 闭环粒度 | | ------------------- | --------------------------------------- | -------------------------- | | $π_0$ / $π_{0.5}$ | 通常没有显式力控制 | 主要是视觉-位姿 | | $π_0$ + naive force | 将力作为额外输入拼接 | 静态融合 | | ForceVLA | 将力作为 VLA 感知模态 | 力参与感知，但控制耦合较弱 | | ForceVLA2 | Force Prompt + 力旁路 + Cross-Scale MoE | 任务阶段与瞬时接触双闭环 |

6.4 关键假设

【Paper】 方法依赖若干前提：任务可以拆成 3–5 个阶段；每个阶段的 Force Prompt 可以预先定义；末端有可靠的 6D F/T 传感器；训练示教覆盖足够多的接触变化。

【Analysis】 这些假设限制了它对未知任务的零样本能力。Force Prompt 目前更像“结构化任务先验”，而不是完全自动发现的子任务规划器。

7. 局限性

7.1 作者明确提出的局限

【Paper】 论文没有在主文中给出一个单独的 limitations 小节，但附录与讨论承认：真实力控制受硬件、摩擦和接触建模影响，作者因此主要采用真实机器人评测；现有公开数据集缺少统一的力模态，数据规模也远小于通用 VLA 数据集。

7.2 自己分析得到的局限

【Analysis】

五个任务、单一 Flexiv 平台和 20 次试验仍不足以证明跨机器人、跨传感器迁移。
Force Prompt 依赖人工子任务列表和离线阶段标注，标注成本及错误传播没有单独量化。
论文报告成功率，但没有系统报告力跟踪误差、峰值接触力、延迟或安全约束，因而难以判断“成功”是否同时代表柔顺和高精度。
论文正文对 6D/7D 位姿及动作维度的表述存在不一致，公开代码缺失也使复现和接口核验暂时受限。

8. 启发与研究思考

【Analysis】 ForceVLA2 给 VLA 研究的启发不是再添加一种传感器，而是重新划分“谁负责理解、谁负责反应”：

可以把触觉、力觉或关节电流视为高频控制信号，而不是必须经过语言模型的普通 token。
未来的 VLA 数据集应同时标注接触阶段、目标力和失败恢复事件，让模型学习“何时切换控制模式”。
MoE gate 的权重可以成为可解释的控制诊断信号：如果模型在接触阶段仍长期依赖视觉 expert，可能意味着传感器、标定或数据覆盖存在问题。
下一步值得研究自动发现 Force Prompt、跨机器人力标定，以及把成功率之外的力跟踪误差和安全约束纳入训练目标。

FineVLA 论文精读：用细粒度语言让 VLA 真正听懂“怎么做”

Wed, 26 Aug 2026 00:00:00 GMT

1. 论文概述

论文名称：《FineVLA: Fine-Grained Instruction Alignment for Steerable Vision-Language-Action Policies》

作者：Xintong Hu、Xuhong Huang、Jinyu Zhang、Yutong Yao、Yuchong Sun、Qiuyue Wang、Mingsheng Li、Sicheng Xie、Yitao Liu、Junhao Chen、Yixuan Chen、Yingming Zheng、Shuai Bai、Tao Yu。

机构：香港大学 XLANG Lab、阿里巴巴 Qwen Team。

论文链接：arXiv　代码仓库：xlang-ai/FineVLA　项目主页：finevla.xlang.ai

一句话总结

【Paper】 传统 VLA 数据通常只告诉机器人“拿起杯子”，却不说明用哪只手、从哪个方向接近、接触哪里或最终摆成什么姿态。FineVLA 构建一套从数据清洗、动作对齐标注、视频理解基准到策略训练的开放框架，把这些执行关键因素写进语言，并用受控的 FG（fine-grained）/Raw（goal-level）混合实验验证其价值。

核心贡献

【Paper】

FineVLA-Tool：把 10 个公开机器人数据集的 972,247 条轨迹统一到 LeRobot 2.1，经过 canonicalization、质量门控、DTW 聚类和代表性采样，得到 47,159 条人工核验轨迹。
十维细粒度 schema：覆盖 action sequence、active actor、target object、initial/final configuration、contact & approach、trajectory & orientation、object interaction、failure & recovery、body motion。
RoboFine-Bench：500 个留出视频、11,631 个 atomic facts、1,030 道 VQA 问题，分别测试 grounding、action/motion 和 interaction/state reasoning，并提供 caption track。
RoboFine-VLM：在 Qwen3.5-397B-A17B 上微调的机器人视频标注器；在 hard caption 设置达到 82.2% Overall、VQA 达到 68.2%。
FineVLA-Policy：在 StarVLA-OFT 与 StarVLA-GR00T 两种 action decoder 上系统扫描 FG:Raw 比例。最优混合比例约为 1:2 到 1:1，RoboTwin AlohaMix-OFT 达到 86.8%/82.5%，真实双臂平均得分达到 62.7/100。

2. 背景与相关工作

【Paper】 现有机器人示教大多把一条轨迹绑定到一个简短目标句，例如“把积木放进盒子”。同一个目标可以由左臂或右臂完成，也可以从上方或侧面接近；如果语言没有区分这些行为，策略只能从视觉共现统计中猜测执行方式。因此，任务成功率并不等于 instruction following：机器人可能完成了目标，却用了错误的手、错误的物体或错误的旋转方向。

相关工作主要有三类：通用 VLM 的视频描述、面向空间/手物关系的 embodied benchmark，以及以 goal-level language 为条件的 VLA。FineVLA 的差异在于，它把标注单位从“场景里有什么”推进到“动作按什么顺序发生、接触在哪里、状态如何变化”。

【Analysis】 论文真正改变的不是 policy backbone，而是监督信号的语义分辨率：同一组 observation、action 保持不变，只替换配对语言，就能测量语言是否把隐含的行为选择显式化。

3. 问题定义

给定机器人轨迹 $\tau=(o_{0:T},a_{0:T-1})$ 与语言 $l$，策略学习 $\pi(a_{t:t+H}\mid o_{\le t},l)$。FineVLA 将语言分成两种视图：

Raw instruction：描述目标（what），例如“把红色杯子放到托盘里”。
Fine-grained instruction：按时间顺序描述目标与执行约束（what + how），例如主动臂、目标物体、接近方向、接触区域、轨迹、姿态和失败恢复。

【Paper】 关键实验要求两种数据的 trajectory、visual observation 与 action label 完全相同，只有 instruction 改变；这样可以把收益归因于语言监督，而不是数据量或动作分布变化。

【Code】 官方仓库的 policy 数据配置把同一任务的 FG 版本标记为 _fg，在 starVLA/dataloader/gr00t_lerobot/mixtures.py 中用 FGOnly、FG1_1、FG2_1、FG4_1 等命名混合；训练脚本再按 mixture weight 采样。

4. 方法

4.1 Overall Architecture

FineVLA 是一个闭环框架：FineVLA-Tool 将异构轨迹变成细粒度监督；RoboFine-Bench 检查 VLM 是否真的看懂动作过程；RoboFine-VLM 负责未来数据的自动标注；FineVLA-Policy 则在固定 observation/action 下比较不同语言监督。

【Paper】 数据流可以浓缩为：raw episodes → canonical 80-dim state/action → action-state quality gate → DTW clustering/sampling → ten-dimensional annotation + human verification → benchmark/VLM/policy。

4.2 核心模块

FineVLA-Tool：统一、去冗余、再标注

输入是来自 BridgeData-V2、BC-Z、RT-1、Galaxea、RoboMIND、RoboCOIN、RH20T、RDT、DROID 等数据集的原始 LeRobot 轨迹；输出是可以跨数据集比较的代表性轨迹与细粒度语言。

Format conversion：各数据集的 state/action 可能是 joint 或 end-effector，可能采用 absolute、delta 或 relative 表示。代码中的 convert_unified.py 读取 meta/modality.json，把它们映射到统一的 80 维向量。
Canonicalization and cleaning：统一为 absolute 坐标和 normalized quaternion，并计算 action-state 的 DTW/L2 一致性；异常帧数、空任务和状态-动作偏离过大的 episode 被过滤。
Trajectory clustering：ClusteringAndSampling 对同一 task 的 canonical action sequence 计算 DTW 距离，再做 hierarchical 或 k-medoids clustering，从每个簇中挑选高质量代表，避免把预算花在近乎重复的示教上。
Annotation：AnnotationPipeline 先以视频帧调用 VLM 生成有序步骤，再由人工对照原视频核验。十个维度让“抓住杯子”变成可检查的动作事实集合。

RoboFine-Bench 与 RoboFine-VLM

【Paper】 RoboFine-Bench 的 500 个视频与训练数据严格 disjoint。VQA track 提供 1,030 个问题；caption track 把人工核验描述拆成 11,631 个 atomic facts，再由 LLM 判断生成 caption 对每个事实是 match、partial、contradiction、omission 还是 hallucination，汇总为 Consistency、Coverage 与 Anti-Hallucination。

【Code】 RoboFine-Bench 提供 eval-set 准备、caption 生成与 direct-align 评测脚本；RoboFine-VLM 提供视频采样、prompt 模板和 API/SGLang 推理示例。VLM 只用于扩展未来标注，不参与本文 policy 训练标签的生成。

FineVLA-Policy 的两个 decoder

【Paper】 两个 policy 都共享 Qwen3.5-VL backbone：

StarVLA-OFT：从预定义 action token 的 hidden states 读取特征，用轻量 MLP 并行回归连续 action chunk，采用 L1 objective。
StarVLA-GR00T：视觉语言 backbone 作为较慢的 System 2，DiT flow-matching action head 作为 System 1 生成连续动作。

【Code】 QwenGR00T.py 构造 Qwen interface 与 FlowmatchingActionHead，predict_action 输出 (B, chunk_len, action_dim)；训练脚本在 action head 上计算 action loss，并可同时进行 VLM co-training。架构保持不变，实验变量仍是 language mixture。

4.3 关键公式

监督混合

令 $D_{FG}$ 为细粒度数据、$D_{Raw}$ 为原始指令数据，采样比例为 $r:1$：

$$ \mathcal{D}r \sim \frac{r}{r+1}D{FG}+\frac{1}{r+1}D_{Raw}. $$

【Paper】 $r=0$ 对应 Raw-only，$r\to\infty$ 对应 FG-only。论文扫描 Raw-only、1:4、1:2、1:1、2:1、4:1、FG-only 七种设置。

策略目标

$$ \mathcal{L}{\pi}=\mathbb{E}{(o,a,l)\sim\mathcal{D}r}\left[\lVert f\theta(o,l)-a\rVert_1\right]. $$

这里 $o$ 是视觉观测，$l$ 是 Raw 或 FG instruction，$a$ 是动作 chunk，$f_\theta$ 是 decoder。公式本身没有新增 loss；创新在于用不同信息密度的语言改变条件分布。

DTW 轨迹距离

对两条 canonical action sequence $x_{1:T}$、$y_{1:U}$，DTW 递推为：

$$ D(i,j)=d(x_i,y_j)+\min{D(i-1,j),D(i,j-1),D(i-1,j-1)}. $$

$d(\cdot,\cdot)$ 是位置、旋转与夹爪等特征的加权距离。【Code】 仓库的 utils/dtw_distance.py 支持 path-length normalization 与 Sakoe–Chiba window；得到的距离矩阵交给 clustering 模块选 representative episodes。

Atomic-fact 对齐指标

设 GT facts 数量为 $A$，caption 命中的事实为 $M$，部分命中为 $P$，矛盾为 $C$，幻觉动作数为 $H$。【Paper】 benchmark 将这些标签分别聚合为 coverage、consistency 与 anti-hallucination，而不是只用 n-gram 相似度，因此会惩罚“说得流畅但动作不对”的 caption。

4.4 Training

【Paper】 FineVLA-Tool 先从 972,247 条轨迹中选出 47,159 条人工核验样本。policy 实验在三个组合上训练：RDT-OFT、RDT-GR00T、AlohaMix-OFT。预训练均为 100k steps、64 张 A100、global batch 512；RoboTwin fine-tuning 使用 27,500 条轨迹与 6,075,103 个 transitions，在 8 张 A100 上训练 100k steps。AlohaMix 是 86,662 episodes、598 tasks 的 ALOHA-compatible 双臂混合。

【Code】 mixtures.py 把 FG1_1 展开为 FG 与普通条目各一份，把 FG2_1/FG4_1 的 FG 条目权重设为 2/4；train_starvla.py 负责 dataloader、optimizer、checkpoint 与 predict_action 评估。仓库 README 给出了 Aloha FG1:1 的训练脚本，但预训练 policy checkpoint 在仓库中标注为后续发布。

4.5 Inference

推理时模型只接收当前图像、机器人状态和用户 instruction，不需要额外的 annotation schema 解析器。FG instruction 中指定的 actor、target、approach、pose 等因素通过 backbone 影响 action chunk；低层控制器执行预测动作并在下一次观测时闭环重查询。

4.6 代码实现对照

| 论文组件 | 官方仓库位置 | 代码行为 | | --------------------- | ------------------------------------------------------------- | ------------------------------------------------------------------------------- | | Canonicalization | FineVLA-Tool/CanonicalizeAndClean/convert_unified.py | 读取 LeRobot parquet 与 modality.json，统一 state/action 字段并输出 parquet。 | | DTW clustering | FineVLA-Tool/ClusteringAndSampling/ | 计算距离矩阵，支持 hierarchical/k-medoids 与代表性采样。 | | VLM annotation | FineVLA-Tool/AnnotationPipeline/ | 分析、细化、去重等阶段调用视觉 API，并解析 JSON steps。 | | VQA/caption benchmark | RoboFine-Bench/ | 准备 held-out 输入、生成 caption、按 atomic facts 对齐。 | | Policy mixture | FineVLA-Policy/starVLA/dataloader/gr00t_lerobot/mixtures.py | 用 _fg robot type 与权重组合 FGOnly/FG1_1/FG2_1/FG4_1。 | | Action decoder | FineVLA-Policy/starVLA/model/framework/QwenGR00T.py | Qwen VL backbone + flow-matching action head，输出多步动作。 |

【Analysis】 论文把“语言监督”作为唯一变量，但代码层面仍有一个工程前提：FG 轨迹是经过筛选的 representative subset，而 Raw 轨迹包含全部原始 episode。作者通过采样权重和固定训练步数控制这一差异；复现实验时必须同时核对数据规模、采样权重和 embodiment 过滤。

5. 实验

5.1 Experimental Setup

【Paper】 实验包含三条轴：RoboFine-Bench 视频理解、RoboTwin 双臂仿真、Cobot Magic 真实双臂 steerability suite。真实套件将视觉场景近似固定，只改变 color、pose、approach、rotation direction 或 active arm；每个 paired variant 运行 10 次，用 0–100 partial-completion rubric 评分。

5.2 Main Results

视频理解

【Paper】 RoboFine-VLM 在 VQA 上取得 68.2% overall accuracy，比 GPT-5.4 高 8.0 个百分点；Action and Motion Understanding 达到 75.7%。在 hard caption（不给任务指令、只看视频）中，Overall 为 82.2%，超过最强基线 78.0%。10 位人工评审与自动分数高度相关：easy Pearson 0.937、hard Pearson 0.922。

RoboTwin 仿真

| FG:Raw | RDT-OFT Easy/Hard | RDT-GR00T Easy/Hard | AlohaMix-OFT Easy/Hard | | -------- | ----------------: | ------------------: | ---------------------: | | Raw-only | 61.5 / 60.0 | 55.1 / 53.4 | 71.8 / 71.4 | | 1:4 | 68.2 / 66.5 | 58.2 / 55.7 | 75.3 / 74.3 | | 1:2 | 74.1 / 72.1 | 61.7 / 60.9 | 82.8 / 78.6 | | 1:1 | 73.9 / 72.4 | 69.4 / 68.2 | 86.8 / 82.5 | | 2:1 | 70.4 / 68.3 | 65.9 / 63.1 | 80.9 / 79.3 | | 4:1 | 68.6 / 67.5 | 64.9 / 63.2 | 79.5 / 78.5 | | FG-only | 62.9 / 62.0 | 62.1 / 61.5 | 78.3 / 76.1 |

【Paper】 FG-only 相对 Raw-only 在三种设置都不降反升（+1.4 到 +8.1）；但最佳点不是 FG-only，而是 1:2 到 1:1，呈稳定的 inverted-U。AlohaMix-OFT 的 1:1 在 Easy/Hard 上分别比 Raw-only 高 15.0/11.1 个百分点。

5.3 Ablation Study

【Paper】 架构与数据规模对结论的影响如下：

在同一 RDT 数据上，OFT 在 Raw-only 时领先 GR00T 约 6.4/6.6 点；FG 比例增加后差距缩小，FG-only 时仅约 0.8/0.5 点，说明细粒度语言缓解了 decoder 的 supervision bottleneck。
AlohaMix 比 RDT 大约 13 倍；FG-only 相对 Raw-only 的收益从 RDT 的 +1.4/+2.0 扩大到 AlohaMix 的 +6.5/+4.7，说明语言密度与轨迹多样性存在协同。

5.4 Generalization

| 监督 | Clean Table | Stack Block | Color | Pose | Approach | Rotate | Arm | L→R OOD | ID 平均 | | ---------- | ----------: | ----------: | -----: | -----: | -------: | -----: | -----: | ------: | -------: | | Raw-only | 72 | 35 | 22 | 24 | 60 | 76 | 60 | 0 | 49.9 | | FG:Raw=1:2 | 79 | 39 | 36 | 48 | 76 | 87 | 63 | 5 | 61.1 | | FG:Raw=1:1 | 84 | 40 | 40 | 47 | 78 | 86 | 64 | 10 | 62.7 | | FG-only | 70 | 35 | 25 | 41 | 70 | 80 | 60 | 0 | 54.4 |

【Paper】 1:1 在真实 ID 任务达到 62.7/100，超过 Raw-only 的 49.9；Pose +23、Color +18、Approach +18 是最大收益。OOD actor-target binding 仍困难，但混合模型从 0 提升到 10，显示 factor grounding 有部分迁移，完整组合泛化尚未解决。

6. 方法分析

6.1 为什么有效？

【Analysis】 Raw instruction 提供紧凑的 task semantics，FG instruction 提供执行约束。只用 Raw 时，策略必须从数据共现中猜“哪只手、从哪边、接触哪里”；只用 FG 时，语言更长、更像示教记录，可能减少对用户常见短指令的暴露。混合训练让同一个 action chunk 同时被两种语言视图解释，于是模型既保留 goal abstraction，又学会 factor grounding。

6.2 核心创新

把 action alignment 做成可复用的数据基础设施，而不是一次性人工标注。
用 atomic facts 与 paired scenes 把“是否听懂怎么做”从整体成功率中分离出来。
用受控 FG:Raw sweep 给出可操作的训练配方，而不是只报告一个新模型。
将 annotation、benchmark、VLM annotator、policy code 放在同一开放框架中，形成数据到控制的闭环。

6.3 与已有方法的本质区别

【Paper】 FineVLA 没有提出新的视觉 backbone、action tokenization 或 decoder；它的变量是语言与动作之间的对齐粒度。与普通 dense captioning 相比，FineVLA 的 caption 必须回答接触、方向、状态转移等控制相关问题；与传统 VLA fine-tuning 相比，它把“如何执行”作为显式条件。

6.4 关键假设

视频足以支持十个维度中的大部分判断，且人工核验可以纠正 VLM 的时间与事实错误。
同一 trajectory 的 action/observation 固定时，instruction 替换可以近似隔离语言监督的因果影响。
代表性采样不会丢掉对策略重要的长尾动作模式。
FG 语言中的执行约束在新场景中具有可组合性；OOD 结果表明这一假设目前只部分成立。

7. 局限性

7.1 作者明确提出的局限

【Paper】 RoboFine-VLM 仍需要人工 verification，并没有把标注成本降为零；真实评测只覆盖 Cobot Magic 桌面双臂和少量定向任务；OOD actor-target binding 仍然失败较多。物理环境中遵循细粒度指令还会引入安全风险，需要 feasibility 与 safety checks。

7.2 自己分析得到的局限

【Analysis】

十维 schema 依赖可见性：遮挡、低帧率或缺失 proprioception 时，contact region 与 orientation 可能只能靠模型猜测。
FG 数据是聚类后的 representative subset，而 Raw 是全量轨迹；即便动作和视觉固定，训练频率与 episode diversity 仍需谨慎配平。
caption 评分依赖 LLM judge。虽然论文用 Gemini 与人工排序验证了鲁棒性，但自动指标仍可能受 judge 偏好影响。
真实任务的 paired design 很适合测 steerability，却不能代表开放世界中多物体、多步骤、长时程组合任务。

8. 启发与研究思考

FineVLA 给出的最实用结论是：细粒度语言不应简单替代 goal instruction，而应作为补充通道。下一步可以沿三个方向推进：

数据侧：把十维 schema 与触觉、力矩、失败日志结合，减少仅凭 RGB 推断接触和安全性的歧义。
模型侧：让 policy 显式分解目标 token 与 execution-factor token，并在推理时做约束检查，而不是把所有信息压进同一个句子。
评测侧：从 paired single-factor 走向组合因素 benchmark，例如“左臂从侧面抓蓝色物体并顺时针旋转”，同时报告 factor accuracy、任务成功率与安全违规率。

【Analysis】 论文把 VLA 的竞争焦点从“更大的 backbone”转移到“更高密度、可验证的动作语言”。如果未来数据集都能提供这种对齐，机器人策略就不必把执行方式当作隐变量，而可以把用户的“怎么做”直接作为可学习、可评测、可控制的接口。

FD-VLA 论文精读

Wed, 26 Aug 2026 00:00:00 GMT

1. 论文概述

论文名称：《FD-VLA: Force-Distilled Vision-Language-Action Model for Contact-Rich Manipulation》
作者：Ruiteng Zhao、Wenshuo Wang、Yicheng Ma、Xiaocong Li、Francis E. H. Tay、Marcelo H. Ang、Haiyue Zhu
会议：ICRA 2026（论文标注为 accepted）
论文链接：arXiv

一句话总结

【Paper】 FD-VLA（Force-Distilled VLA）把昂贵且并非所有机器人都具备的 force/torque sensing 改造成一种训练期 teacher：Force Distillation Module（FDM）用视觉和 proprioceptive state 预测一个 latent force token，并用实际力的 latent embedding 做监督；部署时不再读取力传感器。

核心贡献

【Paper】

提出 FD-VLA，在 VLA 内加入可由视觉与状态生成的 distilled force token，用于 contact-rich manipulation。
提出 FDM：一个带 learnable query token 的 single-query attention 模块，把视觉—状态上下文压缩为单个力表示，并与实际力表示对齐。
提出 directional attention masking：视觉、语言 token 保持原有语义流，状态与预测力 token 只能读取它们，减少对预训练 VLM 的干扰。
在 UR5e 的插插头、擦白板、按紧急按钮三个真实任务上，FD-VLA 平均成功率达到 61.1%，高于不使用力的 SmolVLA（23.3%）、DP3（11.1%）和不使用力的 $\pi_0$（26.7%）。

2. 背景与相关工作

【Paper】 视觉足以提供物体类别、位姿和语言语义，却难以直接观察接触刚度、摩擦、插入阻力、滑移和按压是否到底。这些因素正是接触丰富操作失败的主要来源。直接把 raw force 拼到 VLA 中又有三类问题：传感器昂贵且需要校准，信号包含噪声与漂移，额外模态还可能破坏预训练 VLM 已经对齐好的 vision-language 表示。

论文将已有路线概括为：Tactile-VLA 依赖专用触觉硬件并在输入侧融合；ForceVLA 通过 force-aware MoE 做较晚的融合，但参数量和推理复杂度更高；传统 vision-only VLA 则完全缺少接触信息。FD-VLA 的位置介于“完全不用力”和“部署时实时读力”之间：训练时有力、推理时无力，并把力变成可被 VLM 消费的 compact token。

【Analysis】 这不是简单的 sensor imputation。FDM 的监督目标是“对控制有用的 force latent”，而不是重建每一个高频原始传感器采样，因此它更像 task-relevant representation distillation。

3. 问题定义

【Paper】 在时间 $t$，模型接收语言指令 $\bm L$、视觉观察 $\bm V_t$、机器人状态 $\bm S_t$，训练阶段额外接收实际力/力矩 $\bm F_t$，输出长度为 $H$ 的动作 chunk：

$$ \bm A_t=[a_t,a_{t+1},\ldots,a_{t+H-1}]. $$

Observation：Azure Kinect 主 RGB 相机与 RealSense D405 夹爪相机采集的视觉观察；另有机器人 proprioceptive state。
Action：论文使用 action expert 预测连续动作 chunk，具体维度、控制频率和 chunk 长度在论文中未明确完整列出。
Force：训练时由 UR5e 内部 force/torque sensor 采集；推理时不输入该信号。
Robot / Embodiment：UR5e 机械臂。
Data：每个任务 50 条 teleoperation demonstrations；SpaceMouse 用于示教。
Objective：conditional flow-matching policy loss 加上 force-distillation loss。

论文没有把“预测的力”定义成物理单位上的 $\hat{\bm F}_t$。它定义的是 VLM hidden dimension $D$ 中的 latent token，因此不能把 FDM 当作一个可直接替代力传感器的标定仪器。

4. 方法

4.1 Overall Architecture

【Paper】 视觉、语言、状态先分别映射到预训练 VLM 的 hidden dimension，FDM 从视觉—状态上下文预测 $\bm f_t^{pF}$，再将四种 token 拼接为

$$ \bm f_t^{fs}=[\bm f_t^V,\bm f^L,\bm f_t^S,\bm f_t^{pF}]. $$

冻结的 VLM 用 directional mask 处理这组 token，最后由 transformer action expert 和 conditional flow-matching decoder 生成动作序列。

4.2 核心模块

视觉、语言与状态编码

输入：RGB 图像、自然语言、机器人状态。
输出：$\bm f_t^V\in\mathbb R^{N_v\times D}$、$\bm f^L\in\mathbb R^{N_l\times D}$、$\bm f_t^S\in\mathbb R^{N_s\times D}$。
作用：视觉和语言沿用 SmolVLA / SmolVLM-2 的预训练表示；状态通过轻量 MLP 投影到相同维度。

论文称视觉 backbone 使用 SignLIP，VLM 参数冻结，并在部分计算层采用 selective skipping；具体层数未明确说明。

Force Distillation Module（FDM）

FDM 有两个训练期分支：

Actual-force branch：把真实 force/torque 经轻量 MLP 得到 $\bm f_t^{aF}\in\mathbb R^{1\times D}$，只作为监督目标。
Prediction branch：引入 learnable query $\bm p\in\mathbb R^{1\times D}$，让它从 $[\bm p,\bm f_t^V,\bm f_t^S]$ 中检索与当前接触状态有关的信息，输出 $\bm f_t^{pF}$。

这样，FDM 的输入是部署时本来就有的视觉和状态，输出是一个单 token 的控制先验；实际力只在训练时出现。

Directional Attention Mask

模型把 token 分成 perceptual stream（视觉、语言）和 control stream（状态、预测力）。perceptual token 只能互相注意；control token 可以注意 perceptual token，并在控制流内部保持因果方向。于是控制信息可以读取语义，语义信息却不会被新加入的状态/力 token 反向污染。

Action Expert

Action expert 是 transformer policy head。它以 VLM 输出为条件，对动作 chunk 使用 conditional flow matching，而非逐时间步回归单个动作。论文明确给出的训练目标是向量场回归，推理时从高斯噪声沿学到的向量场积分得到动作 chunk。

4.3 关键公式

FDM 的上下文注意力

$$ \bm C_t=[\bm p,\bm f_t^V,\bm f_t^S], \qquad \bm\alpha_t=\operatorname{softmax}\left( \frac{(\bm p\bm W_Q)(\bm C_t\bm W_K)^\top}{\sqrt{d_k}} \right). $$

其中 $\bm W_Q,\bm W_K,\bm W_V$ 是 attention 投影矩阵，$d_k$ 是每个 head 的 key 维度，$\bm\alpha_t$ 表示 query 对视觉、状态和自身 token 的检索权重。多头结果拼接并经过 residual + LayerNorm + FFN：

$$ \bm f_t^{pF}=\operatorname{FFN}\left(\operatorname{LN}\left([ \bm Z_1,\ldots,\bm Z_H]\bm W_O+\bm p\right)\right). $$

力蒸馏损失

$$ \mathcal L_{\mathrm{dist}}= \left|\bm f_t^{pF}-\bm f_t^{aF}\right|_2^2. $$

它约束的是 latent embedding 的欧氏距离，不是物理力值的绝对误差。

Conditional flow matching

$$ \mathcal L^\tau(\theta)= \mathbb E\left[ \left|\bm v_\theta(\bm A_t^\tau,\bm X_t)- \bm u(\bm A_t^\tau\mid\bm A_t)\right|_2^2 \right], $$

其中 $\bm A_t^\tau=\tau\bm A_t+(1-\tau)\epsilon$，$\epsilon\sim\mathcal N(0,I)$，$\bm X_t$ 是 masked VLM 特征。总目标为

$$ \mathcal L=\mathcal L^\tau(\theta)+\lambda\mathcal L_{\mathrm{dist}}. $$

论文没有在正文给出 $\lambda$ 的具体数值。

4.4 Training

【Paper】 每条示教样本同时提供图像、语言、状态、连续动作和实际力。实际力经过 projection 得到 teacher token；预测分支只看视觉和状态。VLM 主干冻结，FDM、状态投影和 action expert 通过 policy loss 与 distillation loss 联合训练。

4.5 Inference

部署时移除 actual-force branch。每个控制时刻只需图像、语言和状态：FDM 生成预测力 token，masked VLM 编码四类 token，action expert 从噪声轨迹生成一个 action chunk，再将动作执行到机器人。

4.6 代码实现对照

【Code】 arXiv 源码包只包含 root.tex、figures/ 和参考文献，没有随论文发布的训练、模型或推理代码仓库；论文页面的 Code/Data/Media 区域也未给出官方 GitHub 链接。因此无法对照具体的 DataLoader、optimizer、checkpoint 格式、action 维度或推理采样步数。

【Analysis】 这意味着本文关于 FDM、mask 和 flow-matching 的描述来自论文，而不是从可运行实现反推。复现时最需要补齐的工程细节包括：SmolVLM-2 的确切层跳过策略、状态 token 的排列、flow integration solver、$\lambda$、动作 horizon，以及三任务的时间同步和归一化方式。

5. 实验

5.1 Experimental Setup

【Paper】 平台由 UR5e、Azure Kinect 主相机和夹爪侧 RealSense D405 组成。每个任务收集 50 条示教，评估 30 个独立 rollout。成功条件是任务语义是否完全完成，而不是轨迹距离或单步动作误差。

三个任务分别是：持续接触并擦除白板痕迹、克服弹簧阻力按下紧急按钮、完成精确对准并插入插头。它们依次覆盖连续接触、受力阈值和高精度插入。

5.2 Main Results

【Paper】 图中 mean success rate 为：

| 方法 | Plug | Clean whiteboard | Press button | Mean | | ----------------- | --------: | ---------------: | -----------: | --------: | | SmolVLA w/o force | 6.7% | 33.3% | 30.0% | 23.3% | | SmolVLA w/ force | 26.7% | 50.0% | 40.0% | 38.9% | | DP3 | 0.0% | 26.7% | 6.7% | 11.1% | | $\pi_0$ w/o force | 6.7% | 40.0% | 33.3% | 26.7% | | $\pi_0$ w/ force | 33.3% | 46.7% | 60.0% | 46.7% | | FD-VLA | 40.0% | 73.3% | 70.0% | 61.1% |

FD-VLA 在三个任务上都最高，尤其在擦白板上比第二高方法高 23.3 个百分点。论文还报告：给 SmolVLA 或 $\pi_0$ 直接输入 raw force 虽然有帮助，但仍低于预测的 force token；这支持“task-relevant latent 比原始传感器值更适合作为 policy 条件”的解释。

5.3 Ablation Study

【Paper】 消融只替换 FDM 的力 token 形式，其他初始化、时间预算和 30 次 rollout 保持一致：

| 变体 | Plug | Clean | Press | Mean | | ----------------------------- | ----: | ----: | ----: | ----: | | w/o FDM | 8/30 | 15/30 | 12/30 | 38.9% | | FDM + actual force token | 12/30 | 17/30 | 17/30 | 51.1% | | FDM + learnable token（本文） | 12/30 | 22/30 | 21/30 | 61.1% |

【Analysis】 结果将收益拆成两部分：先有 FDM 的 early force–vision–state fusion，再把 actual force token 换成 learnable query。第二步带来的提升说明 query 不是被动地搬运传感器 embedding，而是在上下文中检索与任务相关的力先验。

5.4 Generalization

【Paper】 作者测试了 novel background 和 visual perturbation（光照、对比度、颜色分布变化），给出定性结果并声称性能没有显著下降，但没有在正文报告每个设置的数值成功率。【Analysis】 因此这里更适合作为“视觉外观变化下的鲁棒性证据”，不能等同于完整的跨物体、跨机器人或跨任务泛化。

6. 方法分析

6.1 为什么有效？

【Analysis】 FDM 同时利用视觉和状态，给模型一个比单纯图像更接近接触动力学的上下文；而 query 输出只有一个 latent token，迫使模块保留与动作有关的低维信息。再加上 mask 的单向信息流，VLM 可以被控制流读取，却不需要重新学习 vision-language 语义，因此训练目标更集中在控制增益上。

6.2 核心创新

真正的创新不是“把 force 加进 VLA”，而是三点组合：

用实际力做训练监督、用视觉状态做部署输入的 cross-modal distillation。
以 learnable query 做 force latent retrieval，而不是直接回归原始力值。
通过 directional mask 把新增模态限制在 control stream，兼顾 early fusion 与预训练语义的完整性。

6.3 与已有方法的本质区别

Tactile-VLA / raw-force VLA 的部署闭环仍依赖传感器；FD-VLA 把 force 从“运行时观察”改成“训练时先验”。ForceVLA 的 MoE 更像在 VLM 之后路由不同专家，而 FD-VLA 在 VLM 之前先做 force–vision–state 对齐，并让 action expert 读取融合后的表示。

6.4 关键假设

接触状态在视觉和 proprioceptive state 中存在足够可预测的信息。
对控制有用的力表征比原始力波形更低维、更稳定。
预训练 VLM 的视觉—语言表征应当保持冻结，新增控制模态只需单向读取它。
三个 UR5e 任务中的相关性可以迁移到没有力传感器的部署平台。

7. 局限性

7.1 作者明确提出的局限

【Paper】 论文将未来工作指向 multi-robot coordination 和更大规模、通用的 manipulation system，但没有系统报告跨 embodiment 迁移实验。视觉泛化部分也主要是定性展示。

7.2 自己分析得到的局限

【Analysis】

可观测性上限：如果两个接触状态在 RGB 与 proprioception 上几乎不可区分，FDM 无法凭空恢复真正的力差异。
训练域依赖：部署时虽然不需要传感器，训练数据仍需要 force/torque sensor；数据采集成本并没有完全消失。
latent 不可标定：$\bm f^{pF}$ 只在 hidden space 中与 teacher 对齐，不能直接用于安全阈值、力控闭环或跨机器人单位换算。
论文复现信息不足：官方未提供代码，$\lambda$、动作 horizon、flow solver、mask 的实际实现和完整训练超参均无法独立核验。
实验规模有限：三个任务、单一 UR5e、每任务 50 条示教，尚不足以证明对不同材质、工具和 embodiment 的广泛泛化。

8. 启发与研究思考

【Analysis】 FD-VLA 给出的重要范式是：缺失模态不一定要在部署时被重建为“真实传感器信号”，也可以只学习一个足以帮助决策的 latent prior。对 VLA 而言，这比增加一条高维输入通道更容易保持预训练能力。

值得继续验证的方向包括：

用不确定性或 ensemble 表示“视觉状态无法确定力”的时刻，并让 policy 主动减速或请求传感器。
将 force latent 与 tactile、audio、depth 等模态做 teacher ensemble，而不是限定单一物理传感器。
在多机器人数据上测试 latent 的 embodiment invariance，并把 query token 设计成可迁移的 contact primitive。
把 distillation loss 与 safety constraint、force-aware reward 或 model-predictive control 结合，验证 latent 是否真的能支持安全接触，而不仅是提高成功率。

Fast-in-Slow 论文精读：把高速执行嵌入慢速推理的统一 VLA

Wed, 26 Aug 2026 00:00:00 GMT

1. 论文概述

论文名称：《Fast-in-Slow: A Dual-System Foundation Model Unifying Fast Manipulation within Slow Reasoning》

作者：Hao Chen、Jiaming Liu、Chenyang Gu、Zhuoyang Liu、Renrui Zhang、Xiaoqi Li、Xiao He、Yandong Guo、Chi-Wing Fu、Shanghang Zhang、Pheng-Ann Heng

机构：香港中文大学、北京大学、AI²Robotics、BAAI

会议 / 期刊：NeurIPS 2025（论文页面标注为 arXiv 预印本）

论文链接：arXiv · 代码：CHEN-H01/Fast-in-Slow · 项目主页：fast-in-slow.github.io

一句话总结

【Paper】 FiS-VLA 不再给慢速 VLM 旁边外挂一个独立的 System 1，而是把 VLM 最后的若干 Transformer block 重新解释为快速执行模块；System 2 以低频率进行图文推理，System 1 以高频率融合当前图像、点云和机器人状态，通过 diffusion policy 输出连续动作。

核心贡献

【Paper】

提出统一的 Fast-in-Slow 双系统 VLA：完整 VLM 保留 System 2 推理，末端 block 复用为 System 1，两个系统共享预训练知识和中间表示。
设计异步频率与异构输入：System 2 使用低频 2D 图像与语言，System 1 使用高频 2D、3D point cloud 和 proprioception；实验证明 1:4 频率比最合适。
提出 dual-aware co-training，把 System 1 的 diffusion denoising loss 与 System 2 的 autoregressive next-token loss 相加，避免只训练动作头造成推理能力遗忘。
在 RLBench 十项仿真任务和两种双臂机器人八项真实任务上取得 SOTA，同时在 action chunk=8 时达到 117.7 Hz 控制频率。

2. 背景与相关工作

【Paper】 传统 VLA 直接让十亿级 VLM 自回归生成动作 token，具有较好的常识和语言泛化，却受限于低执行频率；一个 7B 模型在闭环控制中每次生成动作都要重新跑完整序列，难以及时响应接触和遮挡变化。

双系统路线借鉴 Kahneman 的认知模型：System 2 负责慢速、逻辑、上下文推理，System 1 负责快速、直觉式执行。CogACT、$pi_0$、GR00T 等方法通常将二者实现成“VLM + 独立 policy head”，有些还采用异步调度。【Analysis】 这类解耦的代价是：System 1 只看到 System 2 输出的压缩特征，自己没有互联网规模 VLM 的参数和知识，且两者之间需要额外的接口对齐。

FiS-VLA 的关键问题是：能否让 System 1 直接继承 System 2 的预训练表示，同时只计算少量末端 block，从结构上解决知识断裂和频率瓶颈？

3. 问题定义

【Paper】 给定异构示教数据集 $\mathcal D$，策略学习未来 $H$ 步动作序列：

$$ \max_\theta;\mathbb E_{(a_{t:t+H},o_{t-1},l)\sim\mathcal D}\left[\log\pi_\theta(a_{t:t+H}\mid o_{t-1},l)\right]. $$

Observation：System 2 接收语言指令和低频 RGB；System 1 接收高频 RGB、可选的单视角深度生成的 3D 点云，以及机器人状态。
Action：Franka Panda 仿真为 7 DoF（$\Delta x,\Delta y,\Delta z$、Euler 旋转 3 维、夹爪 1 维）；AgileX 双臂为 14 DoF 末端位姿；AlphaBot 双臂为 16 DoF 关节位置。
Embodiment / Dataset：RLBench 十项任务，每项 100 条轨迹；大规模预训练混合 37 个数据集，共约 86 万轨迹、3600 万帧；真实实验每个平台每任务 100 条 teleoperation 示教。
控制目标：在保持语义理解的同时，以较高频率输出连续、几何一致的动作 chunk。

4. 方法

4.1 Overall Architecture

【Paper】 输入先经过 SigLIP 与 DINOv2 视觉编码器；轻量 3D tokenizer 将点云变成 token 后复用视觉编码器。完整 32 层 LLaMA2-7B 形成 System 2，最后若干层从其中“切出” System 1；System 2 的中间 latent 周期性地条件化 System 1，System 1 则在每个控制周期用新观测生成动作。

4.2 核心模块

双视觉编码器与 3D tokenizer

输入 / 输出：224×224 RGB 分别经过 SigLIP（1024 维 token）和 DINOv2（1152 维 token），沿通道拼接；点云 $\mathcal P={\mathbf p_i\in\mathbb R^3}$ 先经三段 farthest-point sampling + kNN 局部聚合 + learnable linear layer，得到可送入共享视觉编码器的 token。
作用：SigLIP 提供语义对齐，DINOv2 保留局部空间细节；3D token 提供深度几何，帮助判断物体间距离和接触方向。
【Code】 models/vlms/pointcloud_processor/lift3d_dino.py 实现 Lift3D 风格处理；prismatic.py 中 pointcloud_pos 控制点云 token 放在 slow 或 fast 分支。代码默认实验将点云放到 fast 分支，避免低频 System 2 重复编码。

共享 LLaMA2 backbone

输入 / 输出：语言与视觉 embedding 进入 32 层 decoder-only LLaMA2；System 2 输出中间层 hidden states，System 1 只运行末端 $N$ 个 block 并预测噪声。
为什么需要共享：System 1 不再是随机初始化的小头，而是直接继承 VLM 的语义和视觉—语言对齐。消融显示只共享 2 个 block 已接近最佳，继续增加到 8 个收益趋于饱和。
【Code】 llm_middle_layer 指定切分位置；prismatic.py::_handle_cache_forward 先运行 $0\ldots L_m$ 层得到 slow cache，再运行 $L_m\ldots32$ 层完成 fast 推理。

条件扩散动作头

输入：System 2 latent、高频图像/点云/状态、扩散时间步 $\tau$、加噪动作 $x_\tau$。
输出：与动作序列同形状的噪声预测，经过反向扩散得到连续 action chunk。
辅助投影器：vision-language projector、proprioception MLP、timestep embedder、noised-action embedder 与 final layer 都是轻量 MLP；因此高频路径只需运行末端 Transformer 和动作头。

4.3 关键公式

逆扩散训练目标

【Paper】 给真实动作序列 $\tilde a$ 加入 $\eta\sim\mathcal N(0,I)$，随机采样 $\tau\in{1,\ldots,100}$：

$$ \tilde a_\tau=\sqrt{\beta_\tau}\tilde a+\sqrt{1-\beta_\tau}\eta, $$

$$ \mathcal L_{fast}=\mathbb E\left[\left|\eta-\pi_{\theta_f}(\tilde a_\tau,c,\tau)\right|_2^2\right]. $$

这里 $c$ 是 System 2 的低频 latent 与 System 1 的高频多模态条件，$\beta_\tau$ 是噪声日程，$\theta_f$ 是 fast 路径参数。

双感知协同损失

$$ \mathcal L_{slow}=-\sum_{i=1}^{D_t}\log P(\hat a_i\mid context,\theta),\qquad \mathcal L_{FiS}=\mathcal L_{fast}+\mathcal L_{slow}. $$

【Analysis】 第一项塑造连续控制能力，第二项把完整 LLM 拉回离散动作或语言计划的 next-token 任务；两者共同更新共享参数，形成“动作执行不牺牲推理”的正则化。

4.4 Training

【Paper】 先从 Prismatic VLM 初始化，再用 37 个开放机器人数据集进行约 86 万轨迹、五 epoch 的预训练（预训练阶段仅使用单视角 RGB）；下游再在 RLBench 或自采集真实数据上微调。仿真微调使用 AdamW、8 张 A800、300 epoch；扩散步数 $T=100$。

【Code】 train.sh 展示了 async 模式、llm_middle_layer=30、slow_fast_ratio=1:4、pointcloud_pos=fast、action_chunk=1、repeated_diffusion_steps=4 和 lang_subgoals_exist=true 的配置。models/vlas/fisvla.py::forward 对 batch 重复采样噪声和时间步，调用 VLM 得到 noise_pred，以均方误差计算 fast loss；AR loss 通过同一 VLM 的生成路径保留。

4.5 Inference

【Paper】 System 2 每 $r$ 个控制周期运行一次，缓存中间 latent；System 1 在每个周期读取最新 RGB、点云和状态，以缓存 latent 为条件做扩散采样并输出 action chunk。论文在 action chunk=8、1:4 频率比下报告 117.7 Hz；仿真表格中的 chunk=1 频率为 21.9 Hz。

【Code】 scripts/sim.py 用 slow_cnt % slow_fast_ratio == 0 触发 slow_system_forward，其余周期调用 fast_system_forward。predict_action 支持 DDPM 或 4/6/8 步 DDIM，随后按数据集统计量反归一化，并把夹爪维度离散化为开 / 闭。

4.6 代码实现对照

【Code】 官方仓库的实现入口和论文模块基本对应：

| 论文概念 | 代码位置 | 实际行为 | | --- | --- | --- | | FiS-VLA 封装 | models/vlas/fisvla.py | 负责 checkpoint、扩散训练、动作反归一化与推理模式切换 | | 双系统 VLM | models/vlms/prismatic.py | _prepare_multimodal_inputs 组织 slow/fast token，llm_middle_layer 切分层数 | | 扩散头 | models/diffusion/* | x_embedder、t_embedder、final_layer 预测噪声 | | 异步调度 | scripts/sim.py | slow-fast-ratio 控制 System 2 重算周期 | | 训练配置 | train.sh, conf/vla.py | async、点云位置、AR loss、action chunk 等超参数 |

【Analysis】 论文把 System 1 描述为“最后几层”，而代码通过 llm_middle_layer 精确指定切分点；因此共享 block 数并非固定架构常数，而是可在实验中调节的工程旋钮。

5. 实验

5.1 Experimental Setup

【Paper】 仿真在 CoppeliaSim 的 RLBench 上测试 10 项任务，每项 100 条轨迹，输入单视角 RGB 与 1024 点点云；真实实验使用 AgileX 和 AlphaBot 两种双臂平台，每项任务采集 100 条三视角 teleoperation 示教。评估均为 20 次 rollout，仿真重复三次并报告均值和方差。

5.2 Main Results

仿真结果（10 任务平均成功率 / chunk=1 频率）：

| 方法 | 平均成功率 | 推理频率 | | --- | ---: | ---: | | ManipLLM | 38% | 2.2 Hz | | OpenVLA | 40% | 6.3 Hz | | $\pi_0$ | 55% | 13.8 Hz | | CogACT | 61% | 9.8 Hz | | FiS-VLA | 69% ± 3% | 21.9 Hz |

【Paper】 FiS-VLA 比 CogACT 高 8 个百分点，比 $\pi_0$ 高 14 个百分点，并在 10 项任务中的 8 项取得最高或并列最高成功率。真实世界中，AgileX 平均 68%（$\pi_0$ 为 59%），AlphaBot 平均 74%（$\pi_0$ 为 61%）。

5.3 Ablation Study

【Paper】

共享 block 数：从 1 增至 8 时性能提升，但约 2 个 block 后趋于饱和，说明少量末端层即可承载有效执行能力。
System 1 输入：仅 latent 最弱；加入 proprioception、2D 图像、3D 点云后逐步提升，点云对空间关系尤其关键。
频率比：在 1:1 到 1:8 中，1:4 达到最佳折中；过快更新 System 1 会缺乏语义指导，过慢则浪费高频观测。
训练目标：去掉 $\mathcal L_{slow}$ 后成功率从 69% 降到 62%，验证 AR 保留项对协同至关重要。

5.4 Generalization

【Paper】 在“换物体、复杂背景、光照扰动”三种测试中，FiS-VLA 的下降幅度均小于 $\pi_0$。例如 AlphaBot 的未见物体任务成功率从 80% 降至 65%（下降 19%），$\pi_0$ 从 65% 降至 40%（下降 38%）；复杂背景下 FiS-VLA 下降 25%，光照变化下仍保持 55%。

【Analysis】 这组结果把收益拆成两部分：System 2 用 VLM 的语义先验抑制背景干扰，System 1 用点云和即时 RGB 对局部几何做闭环修正；单独依赖任一系统都难以同时获得这两种鲁棒性。

6. 方法分析

6.1 为什么有效？

【Analysis】 FiS-VLA 的效率不是简单“减少层数”，而是利用时间尺度分工：昂贵的语义计算被缓存，廉价的末端层在每个周期读取新观测。由于末端层与 System 2 共享权重，latent 的语义坐标系不需要重新学习；点云和状态则补上 VLM 在精确控制上的几何与本体感缺口。

6.2 核心创新

参数级嵌套：System 1 是完整 VLM 的子路径，而不是外接 policy head。
时间异步 + 模态异构：慢系统负责“任务是什么”，快系统负责“此刻怎么动”。
双感知协同训练：扩散回归与自回归语言 / 动作预测共同约束同一套 backbone。
轻量 3D 注入：点云先 token 化再复用视觉编码器，控制参数与延迟增长。

6.3 与已有方法的本质区别

同步双系统（如 CogACT、$\pi_0$）仍需在每个动作周期运行 VLM；异步外挂 policy（如 HIRt、Helix）虽能提速，却让 System 1 与 VLM 知识隔离。FiS-VLA 把“共享知识”和“异步执行”放在同一参数图中，因而同时改变了接口、调度和训练目标。

6.4 关键假设

System 2 的中间 latent 在 $r$ 个时间步内足以描述任务意图。
LLM 末端 block 具有可迁移到动作生成的局部表示，而不必重写全部网络。
高频 RGB、点云和状态的采样延迟低于 System 2 重算周期。
扩散动作和 AR 监督在共享参数上不会产生不可调和的梯度冲突。

7. 局限性

7.1 作者明确提出的局限

【Paper】 共享 block 的数量和 System 1:System 2 协作频率目前是静态设定的；作者认为未来应根据任务难度和环境复杂度动态调整这两个因素。

7.2 自己分析得到的局限

【Analysis】

论文主要报告单 GPU 上的串行异步推理；若部署在不同 GPU 或边缘硬件，KV cache、同步和通信开销可能改变最佳 1:4 比例。
3D 点云由单视角深度图构造，遮挡严重或深度噪声较大时，fast 分支的几何优势可能下降。
真实实验以每任务 100 条示教、20 次 rollout 为主，尚不足以覆盖长时程任务、动态障碍和安全约束；论文未报告系统性 sim-to-real 误差分析。
训练中扩散与 AR loss 使用等权相加；不同数据集或 embodiment 下是否需要自适应损失权重，论文未明确说明。

8. 启发与研究思考

【Analysis】 FiS-VLA 给 VLA 设计提供了一个有价值的结构视角：高频控制不一定要另起炉灶，可能只需在已有 foundation model 的表示层中寻找“可复用的局部路径”。下一步值得研究：

用不确定性或接触事件触发动态频率，而不是固定 1:4；
根据点云质量、动作阶段动态选择 fast 输入模态；
用梯度投影或 loss weighting 缓解 diffusion 与 AR 目标的冲突；
在多 GPU、低功耗端侧和更长时程任务上重新测量共享层数与缓存策略。

Evo-0 论文精读：让 VLA 从 RGB 中获得隐式空间理解

Wed, 26 Aug 2026 00:00:00 GMT

1. 论文概述

论文名称：《Evo-0: Vision-Language-Action Model with Implicit Spatial Understanding》
作者：Tao Lin、Gen Li、Yilei Zhong、Yanwen Zou、Yuxin Du、Jiting Liu、Encheng Gu、Bo Zhao
链接：arXiv · 项目主页 · 官方代码

一句话总结

【Paper】 Evo-0 把一个冻结的 Visual Geometry Foundation Model（VGGT）当作空间先验提取器，再用轻量的 Cross-Attention 将几何 token 注入现有 VLA 的 2D visual token；机器人仍只接收 RGB、多视角图像和状态，却能获得更强的深度、布局与空间关系感知。

核心贡献

【Paper】

提出 plug-and-play 的隐式 3D 融合模块，不依赖深度相机、点云输入或显式深度估计。
基于 VGGT 的 3D token 改造 π₀ 的视觉流，仅训练 fuser、LoRA 和 flow-matching action expert，尽量保持 VLM 先验。
在 5 个 RLBench 任务、5 个真实任务和 5 类真实扰动上验证空间理解与泛化能力。

【Analysis】 论文的关键不是“把 RGB 变成一个深度图”，而是把 VGGT 已经学到的几何关系作为 token 级上下文交给 VLA；动作头仍然学习控制，因此改动集中在感知接口。

2. 背景与相关工作

【Paper】 OpenVLA、π₀、GR00T 等 VLA 复用预训练 VLM 的语义知识，但 VLM 的主要预训练信号来自 2D 图像—文本对，机器人微调数据也通常只有 RGB。结果是模型能认出“哪个是杯子”，却不一定能判断杯子与夹爪的精确深度、孔洞的轴向或货架上的相对位置。

已有 PointVLA、SpatialVLA、3D-VLA 等工作显式加入点云或深度图。这类方法空间信息更直接，却引入深度传感器、标定和深度估计误差。Evo-0 选择另一条折中路线：输入仍为 RGB，多视角几何由 VGGT 的 feed-forward 网络隐式编码，再与 VLM 的 2D token 融合。

3. 问题定义

【Paper】 在时间步 $t$，模型接收 $N$ 个 RGB 视图 ${I_t^i}_{i=1}^{N}$、语言指令 $L$ 和机器人状态 $S_t$（如关节角与夹爪状态），输出动作 chunk $A_t$：

$$ p(A_t \mid {I_t^i}_{i=1}^{N}, L, S_t). $$

实验中使用三个 $224\times224$ RGB 视图，输入状态和输出均采用绝对关节角。仿真使用 Franka Panda 与 CoppeliaSim/RLBench；真实实验使用五类低空间容错操作。每个任务收集 100 条示教，评估时每个仿真任务执行 20 次 rollout。

4. 方法

4.1 Overall Architecture

【Paper】 RGB 图像同时经过原 VLA 的 ViT 和 VGGT；fuser 以 ViT token 为 Query、VGGT 的 3D token 为 Key/Value，得到空间增强 token，随后送入 PaliGemma 与 π₀ 的 action expert 产生关节动作。训练和运行的细节分别见 4.4 与 4.5。

4.2 核心模块

VGGT spatial encoder

输入：多视角 RGB 图像。
输出：每个视图的 camera、register 与 3D token；Evo-0 只取最后一层的 $t_{3D}$。
作用：VGGT 在大规模 2D–3D 配对数据上学习了深度、点图、相机姿态和跨视图对应关系，因此 token 携带比普通 ViT 更强的几何上下文。

Lightweight fuser

2D token $t_{2D}\in\mathbb{R}^{N\times M_{2D}\times d_{2D}}$ 作为 Query，3D token $t_{3D}\in\mathbb{R}^{N\times M_{3D}\times d_{3D}}$ 作为 Key 和 Value。每个视图独立计算 Cross-Attention，再拼接所有视图。它只增加一层注意力和投影矩阵，避免重写 VLM。

PaliGemma、LoRA 与 action expert

融合后的视觉 token 与语言 token 一起进入 PaliGemma。【Paper】 VLM 主体冻结，只插入 LoRA；flow-matching action expert 负责把上下文和状态映射到连续关节动作。【Analysis】 这让几何信息影响感知表示，而不必把 3D 坐标设计成新的动作接口。

4.3 关键公式

VGGT 的几何提取可写为：

$$ \mathcal{E}{l}({I_i}{i=1}^{N}) = t_c, t_r, t_{3D}. $$

$l$ 是层索引，$t_c$、$t_r$ 和 $t_{3D}$ 分别是 camera、register 和 3D token；Evo-0 使用 $t_{3D}$。

对第 $i$ 个视图，fuser 计算：

$$ Q^i=t_{2D}^iW_Q,\quad K^i=t_{3D}^iW_K,\quad V^i=t_{3D}^iW_V, $$ $$ t^i=\operatorname{softmax}\left(\frac{Q^i(K^i)^\top}{\sqrt d}\right)V^i,\qquad t=\operatorname{Concat}_{i=1}^{N}(t^i). $$

$W_Q\in\mathbb{R}^{d_{2D}\times d}$、$W_K,W_V\in\mathbb{R}^{d_{3D}\times d}$ 是跨视图共享的可训练投影；$d$ 是注意力隐空间维度。Query 决定哪些 2D 位置需要几何信息，Key/Value 则提供对应的空间证据。

4.4 Training

【Paper】 Evo-0 建立在 π₀ 上，使用 AdamW，weight decay 为 $10^{-10}$；学习率从 $2.5\times10^{-5}$ 经过 1000 步 warm-up 后衰减至 $2.5\times10^{-6}$。训练使用单张 80 GB NVIDIA A800、bfloat16 和 batch size 32。可训练部分为 fuser、LoRA 和 flow-matching action expert，核心 VLM 冻结。

4.5 Inference

【Paper】 推理时不需要显式深度图或点云：每次读取三个 RGB 视图，VGGT 提取 3D token，fuser 产生空间增强视觉表示，π₀ action expert 输出绝对关节角动作并执行。【Paper】 RTX 4090 上 π₀ 控制频率为 11.3 Hz，Evo-0 为 6.94 Hz，额外开销主要来自 VGGT 图像编码。

4.6 代码实现对照

【Code】 官方仓库 MINT-SJTU/Evo-0 当前只有 README、许可证和论文/项目链接，README 明确写着 “Coming Soon”。因此无法从官方代码核验模型定义、DataLoader、loss、配置、checkpoint 或 inference 脚本。本文涉及的实现细节仅采用论文正文；后续代码公开后，应重点检查 VGGT 是否冻结、fuser 的张量布局、动作 chunk 的 horizon，以及 flow-matching 的具体参数。

5. 实验

5.1 Experimental Setup

【Paper】 仿真任务为 PlayJenga、PutKnifeOnChoppingBoard、TakeUmbrellaOutOfUmbrellaStand、PlaceHangerOnRack 和 MoveHanger，覆盖抓取运输、精确放置以及高度/平移变化。真实任务包括圆柱居中、peg-in-hole、中间瓶抓取、罐子取放和透明物体取放。

5.2 Main Results

仿真成功率如下（【Paper】）：

| 任务 | OpenVLA-OFT | π₀ | Evo-0 | | --- | ---: | ---: | ---: | | PlayJenga | 55% | 55% | 65% | | PutKnifeOnChoppingBoard | 15% | 20% | 35% | | TakeUmbrellaOutOfUmbrellaStand | 55% | 60% | 85% | | PlaceHangerOnRack | 0% | 25% | 45% | | MoveHanger | 0% | 45% | 50% | | 平均 | 25% | 41% | 56% |

相对 π₀，平均提升 15 个百分点；最明显的增益出现在雨伞取出和衣架放置，分别提升 25 和 20 个百分点。【Analysis】 这些任务都要求接触前的精确定位或避碰，因此更像是在验证几何表示，而不只是验证语义识别。

真实世界结果（【Paper】）为 π₀ 28.53% 对 Evo-0 57.41%；五个任务均有提升，peg-in-hole 从 20% 提升到 66.67%，透明物体取放从 30% 提升到 65%。

5.3 Ablation Study

【Paper】 训练 15k 步的 Evo-0 已超过训练 20k 步的 π₀。执行 horizon 取 15、17、20、22、25 时，平均成功率分别为 49%、52%、56%、52%、55%，说明在该范围内对 horizon 不敏感。论文没有提供“移除 fuser / 移除 VGGT”的严格组件消融，因此不能把所有增益归因到某个单独层。

5.4 Generalization

【Paper】 在未见干扰物、背景颜色、目标位置（后移 10/20/30 mm）、目标高度（增加 5/10/15 mm）和相机俯仰（±10°）五类 OOD 条件下，Evo-0 整体更稳健。未见干扰物时，正确选物率为 100%（π₀ 为 60%），完整取放成功率为 70%（π₀ 为 20%）；高度增加 10 mm 时为 30% 对 10%，相机向上 10° 时为 60% 对 40%。

6. 方法分析

6.1 为什么有效？

【Analysis】 普通 ViT token 擅长外观和语义，但对“这个像素在场景中离另一个物体多远”没有显式约束。VGGT token 经过 2D–3D 监督，提供跨视图对应、深度和结构线索；Cross-Attention 让每个 2D token 按需检索这些线索。这样，语言条件仍由 VLM 处理，几何关系则由 VGGT 补足，形成互补而非替代。

6.2 核心创新

真正的创新是接口设计：不改动作空间、不要求深度输入，只在 VLA 的视觉 token 流中插入一个可训练的小 fuser，并利用冻结的几何 foundation model 迁移空间先验。

6.3 与已有方法的本质区别

PointVLA/SpatialVLA 把显式 3D 数据作为额外模态；Evo-0 把几何编码成隐式 token。前者可解释性更直接但依赖传感器或估计器，后者部署更简单但空间精度取决于 VGGT 的推断质量和多视角配置。

6.4 关键假设

多视角 RGB 足以让 VGGT 恢复对操作有用的几何线索。
VGGT 的 token 与 VLM token 可以通过单层 Cross-Attention 对齐。
预训练几何先验在机器人相机、物体材质和扰动分布上仍然有效。

7. 局限性

7.1 作者明确提出的局限

【Paper】 Evo-0 的主要代价是推理速度下降：VGGT 增加了图像编码成本，控制频率从 π₀ 的 11.3 Hz 降至 6.94 Hz。论文还只在五个仿真、五个真实任务和有限扰动上评估，尚未证明对更大规模任务和 embodiment 的普适性。

7.2 自己分析得到的局限

【Analysis】 官方代码尚未公开，复现实验和核对训练细节受限。论文没有报告 VGGT 冻结与否、fuser 参数量、显存/延迟分解，也缺少移除 3D token、替换层位或改变视图数量的组件消融。透明物体、强反光和严重遮挡仍可能让 VGGT 的几何 token 失真；此外，6.94 Hz 是否足够取决于底层控制器和任务动态，不能直接等同于所有机器人都能实时部署。

8. 启发与研究思考

【Analysis】 Evo-0 提供了一条很实用的 VLA 增强路线：先寻找已经具备目标能力的 foundation model，再设计低成本 token 接口，而不是重新训练一个“既懂语言又懂几何”的大模型。后续值得验证：

用可学习门控决定何时信任 VGGT、何时回退到原始 2D token；
联合蒸馏 VGGT 与 VLA，降低 6.94 Hz 的推理开销；
将 3D token 的置信度与碰撞/抓取不确定性结合，形成风险敏感的 action expert；
在单目、视图缺失和跨机器人 embodiment 上测试“隐式 3D”是否仍成立。

dWorldEval 论文精读：用离散扩散世界模型规模化评估机器人策略

Wed, 26 Aug 2026 00:00:00 GMT

1. 论文概述

【Paper】 dWorldEval 要解决的不是训练一个执行 policy，而是如何低成本比较大量机器人策略、checkpoint、任务和环境。真实执行慢且昂贵，传统仿真又受资产与 sim-to-real 偏差限制。论文提出一个以 Masked Discrete Diffusion（MDD）为核心的 action-conditioned world model，令候选 policy 在模型生成的世界中闭环执行，再由 imagined rollout 估计成功率。

一句话总结

【Analysis】 核心因果链是：让 action 与图像处于同一 token 序列以提升 action faithfulness；用 sparse keyframe memory 减少多步漂移；把任务完成度作为与未来视觉共同生成的 progress token，从而将世界生成直接连到策略排名。

核心贡献

【Paper】

将 RGB、instruction 和连续 action chunk 分别离散化后置于同一序列，使用一个 Transformer 做去噪生成。
以 sparse keyframe memory 维护长时域时空一致性，并显式加入时间 ID。
用 VLM 标注的离散 progress-as-text 与未来图像共同生成，终点 score 为 1 时自动判成功。
提出衡量状态变化的 $\Delta$LPIPS，并在 LIBERO、RoboTwin、真实双臂 AgileX 上评测 WorldEval、WorldGym、Ctrl-World 等基线。

【Paper】 作者来自 Current Robotics 与 University of Toronto。论文提供项目主页，但截至本文写作时未公开官方模型训练/推理代码、checkpoint 或配置；因此本文不把项目网站源码误当作模型实现。

2. 背景与相关工作

【Paper】 生成式 world model 可避免对每一个候选策略都进行真实执行，但作为 evaluator 必须同时满足：一，action controllability，给定失败 action 也不能把结果“修正”为成功；二，spatiotemporal consistency，长 rollout 中物体、机械臂和多相机视角不能逐渐矛盾；三，能区分任务完成与未完成。

【Paper】 作者认为现有 video diffusion evaluator 的根本问题是架构：许多方法将机器人动作作为 cross-attention 或 AdaLN 等附加条件，预训练视频先验则强烈偏向视觉上合理、往往也是“成功”的未来。尤其在训练主要含 expert demonstration、测试输入 suboptimal/OOD actions 时，视频 prior 容易压过弱控制条件。

【Analysis】 增加失败数据固然有用，却无法枚举所有错误动作。dWorldEval 的选择是把问题从“视频生成器是否听从外部 action condition”改成“包含 action token 的完整序列如何共同补全”：这不保证物理完美，却使 action 不再是可被忽略的旁路。

3. 问题定义

【Paper】 输入为当前观测 $o_t$、历史 $h_t$、语言指令 $l$ 与 future action chunk $\mathbf a_t$；world model $\mathcal W_\theta$ 预测 horizon $\Delta$ 后的观测和任务进度：

$$ (\hat o_{t+\Delta},\hat v_{t+\Delta}) \sim\mathcal W_\theta(\cdot\mid o_t,h_t,l,\mathbf a_t), \qquad \hat v_{t+\Delta}\in[0,1]. $$

当前观测可包含同步的 third-person / wrist RGB；历史是关键帧记忆；action chunk 的长度和 $\Delta$ 对齐。模型的输出是“执行该 action 后世界会怎样”和“该状态完成到何种程度”，并不直接输出 policy action。

【Paper】 对候选策略 $\pi$，让它与模型闭环，得到 imagined trajectory $\tau={\hat o_0,\hat o_\Delta,\ldots,\hat o_T}$。论文以

$$ J(\pi)=\frac1N\sum_{i=1}^N\mathcal S(\tau_i) $$

作为 imagined success rate；$\mathcal S$ 可由人类查看生成结果给出，也可由终点 progress token 是否为 1 自动决定。

| 元素 | 角色 | | ----------- | -------------------------------------------------------- | | Observation | 当前多视角 RGB；历史仅保留固定全局视角 | | Language | instruction，经 LLaDA 转为 text token | | Action | 连续 action chunk，经 FAST 转为离散 token | | Output | 未来多视角视觉 token 与离散 progress token | | 目标 | 与真实执行成功率相关、可正确排序的 imagined success rate |

4. 方法

4.1 Overall Architecture

【Paper】 低分辨率历史、当前多视角图像、instruction 和 action chunk 分别 tokenized 并串为 context；未来图像与进度构成被 mask 的 target suffix。Transformer 以 iterative parallel denoising 补全 target，之后 visual/text detokenizer 分别恢复下一步观测和数值 score。

4.2 核心模块

Unified token sequence

【Paper】 RGB 使用 MAGVIT-v2、language 使用 LLaDA、连续 action chunk 使用 FAST。各 tokenizer 的离散 code 经 index offset 后进入共同词表，展开为 history、current observation、instruction、action 与 target 的扁平序列。视觉 token 可通过同一个 self-attention backbone 直接关注 action token。

【Analysis】 “统一”不是让三个 modality 共用 encoder，而是让它们作为同一个 Transformer 的主序列元素共同参与推理。与 action 作为辅助 cross-attention condition 相比，future visual token 在每层 attention 都能读取 action token，这正是论文试图增强 controllability 的结构原因。

Sparse keyframe memory

【Paper】 memory 按与 action chunk 对齐的固定 stride，从最近帧中选取 $K$ 个 keyframe；每帧前加绝对 frame index 的文本 token 保存时间顺序。为节省 token，history 只编码低分辨率固定全局视角；当前 observation 保留全分辨率多视角以刻画接触细节。

【Analysis】 这不是完整 video cache，而是以中间帧信息换取长期布局锚点。对 evaluator 而言尤为重要：单步图像再逼真，只要第十步物体位置漂移，policy ranking 就可能失真。

Progress-as-Text

【Paper】 作者基于任务里程碑，用 few-shot prompting 令 SEED-1.5VL 生成完成度，将 0、0.2、0.4、0.6、0.8、1.0 等数值转为 text token，并附在未来视觉 target 后。推理时 parser 将生成文本解为 $\hat v_{t+\Delta}$；终点为 1 便判 imagined rollout 成功。

【Analysis】 进度和图像同源生成，避免了“视频模型生成结果、外置 classifier 独立评分”的不一致接口；但 VLM 伪标签的偏差也被写入了模型，离散分段是否适用于新任务仍需校准。

4.3 关键公式

Masked Discrete Diffusion

【Paper】 令可见 context 为 $\mathbf c_t$，未来视觉与 progress 的 target suffix 为 $\mathbf y_{t+\Delta}$。采样 $\lambda\sim\mathcal U(0,1)$ 后，以 mask forward process 得到 $\tilde{\mathbf y}$，mask 位置为 $\Omega_\lambda$。训练损失是：

$$ \mathcal L_{\rm WM}= \mathbb E_{\tau,\lambda,\tilde{\mathbf y}} \left[-\frac{1}{m(\lambda)}\sum_{j\in\Omega_\lambda}w_j \log p_\theta(y_j\mid\mathbf c_t,\tilde{\mathbf y}_{t+\Delta},\lambda)\right]. $$

$m(\lambda)$ 是 mask probability；$w_j$ 是 modality rebalancing weight；论文设 visual token 为 $1$、progress token 为 $2$。损失仅作用于被遮住的位置，推理则多轮并行填回这些离散 token。

$\Delta$LPIPS

【Paper】 常规 LPIPS 比较静态外观，未必能发现“结果画面像、但 action 导致变化错了”。论文先取状态变化：

$$ \Delta o_t=o_{t+\Delta}-o_t,\qquad \Delta\hat o_t=\hat o_{t+\Delta}-o_t, $$

再使用：

$$ \Delta\mathrm{LPIPS}=\mathbb E_t\left[ d_{\rm lpips}(\operatorname{norm}(\Delta\hat o_t),\operatorname{norm}(\Delta o_t))\right], $$

其中 $\operatorname{norm}$ 是每样本 RMS normalization。较低的 $\Delta$LPIPS 表示预测到的视觉状态变化更接近真实变化，是 controllability proxy，并非直接的任务成功率。

4.4 Training

【Paper】 LIBERO 使用 Object、Spatial、Goal、100 四个 suite 的同步 third-person/wrist 视角；约 5.5k 官方 expert demonstrations 之外还加入 1k suboptimal-policy failure rollouts。RoboTwin 选择 ARX 双臂，在 10 个 contact-rich tasks 使用 5.5k trajectories。真实平台是两条 6-DoF AgileX arms 与三台同步 RealSense 457 相机，数据为 5.2k trajectories，其中含 1k 人类采集 failure。

【Paper】 附录写明模型由 MMaDAVLA-8B 初始化，为 32 层、32 heads、hidden dimension 4096 的 bidirectional Transformer；使用 AdamW、8 张 H800、15 epochs、学习率 $5\times10^{-5}$、global batch size 128。论文主文写 history 为 $K=4$ 个 $128^2$ keyframe，附录写作 $256\times256$，两处不一致，不能合并为单一确定配置。

4.5 Inference

【Paper】 每个 prediction step 将 memory、当前观测、instruction 和 policy 输出 action chunk 写入 context；未来 observation/progress token 被 mask，再以 16-step iterative parallel decoding 生成。下一帧的生成图像加入 sparse memory，policy 再根据生成观测提出下一 action，形成闭环 imagined rollout。

【Paper】 完整 trajectory 在单张 H800 上需约 30–90 秒（约 1.5 秒/帧）。所以“scalable”是相对真实机器人反复执行，而非实时模拟器；计算预算仍限制可评估的策略数、seed 数与 rollout 长度。

4.6 代码实现对照

【Code】 截至 2026-08-26，论文 arXiv 页面、PDF、项目主页与 GitHub 公开搜索均未提供 dWorldEval 的官方模型仓库。搜索到的 dworldeval/dworldeval.github.io 是项目网站仓库，不能用于核对 model definition、DataLoader、mask schedule、checkpoint 或实际 inference loop。

【Paper】 可确认的实现级信息仅来自论文：MMaDAVLA-8B 初始化、32-layer / 32-head / 4096-dim Transformer、$K=4$ memory、$[2,8]$ chunk-aligned horizon、visual/progress 权重 $1/2$、16-step decoding、AdamW 与 8×H800 训练。它们不等同于可复现实装。

5. 实验

5.1 Experimental Setup

【Paper】 评测横跨三种 domain：

| Domain | 数据与硬件 | 主要评测 | | ---------- | -------------------------------------------- | ---------------------------------------------------- | | LIBERO | 四个 suite，同步第三人称与 wrist view | $\pi_0$ checkpoints、failure-aware controllability | | RoboTwin | ARX 双臂、10 个 tableware/contact-rich tasks | $\pi_0$、DexVLA、Diffusion Policy 等异构 policy 排序 | | Real world | 双 6-DoF AgileX、3 路 RealSense 457 view | Bussing Table、Place Cup、Handover Block 等五任务 |

【Paper】 模型生成 $256^2$ 多视角画面，$\Delta$ 与 action chunk length 对齐并从 $[2,8]$ 中选取。模拟 benchmark 每任务运行 20 episodes，真实 benchmark 每任务 30 episodes。比较的 video diffusion baseline 为 WorldEval、WorldGym、Ctrl-World，训练切分保持一致。

5.2 Main Results

【Paper】 LIBERO 上，dWorldEval 的 LPIPS 为 0.215；$\Delta$LPIPS 在 expert/failure 子集为 0.315 / 0.352。WorldEval 为 0.262 / 0.423 / 0.701，WorldGym 为 0.218 / 0.347 / 0.650，Ctrl-World 为 0.220 / 0.334 / 0.416。failure 集的优势是论文的关键证据：一个 evaluator 必须正确生成失败，而不是把它视觉上补成成功。

【Paper】 在 policy evaluation，论文报告 real-vs-imagined Pearson correlation：LIBERO multi-view 0.910、RoboTwin 0.927、真实任务 0.918。单视角 LIBERO 的 dWorldEval rank violation 为 MMRV=0.013，基线最高到 0.039。这些数字只描述论文使用的 policy 集、数据与平台，不能外推为任意策略分布都具有 $r\approx0.9$。

【Paper】 作者还比较多个 $\pi_0$ checkpoint，发现终点 progress token 的 Auto estimate 与人工基于生成图像的判断都接近真实执行曲线，并能追随个别 checkpoint 的非单调波动。这支持“共同生成的 score 可作 intrinsic metric”，但不是对任意任务 VLM progress 标签皆正确的证明。

5.3 Ablation Study

【Paper】 memory round-trip ablation 先执行 $H$ 段 forward action，再执行 inverse action，比较最终与初始图像。$H=5,10,15,20$ 时，无 memory 的 LPIPS 为 0.177, 0.186, 0.302, 0.411，完整模型为 0.130, 0.145, 0.193, 0.243。正文出现的 0.21 与表格 $H=20$ 的 0.243 不完全一致，本文采用表格数字。

【Paper】 action-shuffle sanity check 随机替换 batch 内 future action chunk、保持历史和语言不变：对齐 action 的 LPIPS / $\Delta$LPIPS 为 0.215 / 0.324，shuffle 后为 0.461 / 0.697。逐步增加 inference-time swap probability 时，论文还观察到 $\Delta$LPIPS 上升而真实成功率相关性下降。该实验支持模型依赖 action，但“敏感”本身不等于在所有反事实条件下都因果正确。

5.4 Generalization

【Paper】 论文的跨 domain fidelity 中，$\Delta$LPIPS 分别为：LIBERO third-person/wrist 0.324 / 0.303，RoboTwin top-down/wrist 0.317 / 0.345，真实平台 top-down/wrist 0.365 / 0.336。作者据此认为统一 tokenization 在不同 camera configuration 与 robot morphology 下保持相近质量。

【Analysis】 这里“泛化”主要是对不同 policy architecture、相机和三个训练过各自数据的 domain 的 evaluator fidelity；它不是完全未见 embodiment / task 的零样本迁移。更严格的 cross-embodiment holdout 尚未提供。

6. 方法分析

6.1 为什么有效？

【Analysis】 action 进入主 token sequence，缩小了模型靠当前画面与强成功先验绕过控制输入的空间。其次，低频 keyframe 将早期场景几何重新送回每一步 context，减少 rollout 中的累积误差。最后，score 与图像在同一生成目标中出现，外置 reward/classifier 的接口错配更少。

6.2 核心创新

【Analysis】 真正的组合创新是面向 evaluation reliability 的三件事：token-level action control、稀疏的 long-horizon grounding、以及 generative success signal。$\Delta$LPIPS 则将“动作是否造成正确变化”从静态外观比较中单独抽出；不过 image-space metric 仍看不到抓取力、接触状态和遮挡后的物理量。

6.3 与已有方法的本质区别

| 维度 | 常见 video-conditioned evaluator | dWorldEval | | ----------- | ----------------------------------- | ------------------------------------ | | Action 位置 | cross-attention / modulation 等条件 | 与视觉、文本共同位于主序列 | | 长时上下文 | 短窗口或隐式状态 | 显式 $K=4$ keyframe memory + time ID | | 成功判定 | 人工、外部 oracle 或独立 classifier | 与未来视觉共同生成的 progress token | | 控制诊断 | 静态 LPIPS 等 | 状态差分 $\Delta$LPIPS |

【Analysis】 统一 token 并不等于统一物理模型：它提升视觉 token 与 action token 交互的机会，却不能自动保证未见接触和 OOD action 的真实物理正确性。

6.4 关键假设

【Analysis】 方法假定 action、观察和 future state 时间对齐；离散 tokenizer 未丢失关键控制信息；训练含有足够 failure/suboptimal coverage；VLM progress label 与人类成功定义一致；低分辨率单全局视角 history 足够锚定多视角接触场景；imagined rollout 不会迅速偏离真实 policy 的状态分布。

7. 局限性

7.1 作者明确提出的局限

【Paper】 作者将 OOD action 下的 controllability 与长时域物理/时空一致性视为现有 scalable evaluation 的关键难题，并针对其提出改善；论文没有单列 limitations 段，也没有宣称已解决所有 OOD action 或真实物理问题。

【Paper】 一条完整 rollout 在单张 H800 上约需 30–90 秒，说明它仍是计算密集的生成 proxy。且每个 domain 都使用对应训练轨迹，其可靠性需要与平台、相机和任务分布一起解释。

7.2 自己分析得到的局限

【Analysis】 首先，VLM 伪标签错误会被 progress token 内化；生成 score 与生成图像彼此一致，不表示两者都与真实完成度一致。其次，memory 不能在没有真实传感器时纠正第一步生成错误，闭环误差仍会复合。再次，30–90 秒/trajectory 会限制大规模 seed、候选 policy 和长 horizon 筛选。最后，尚无官方代码、config、checkpoint，且分辨率描述局部不一致，独立复现困难。

8. 启发与研究思考

【Analysis】 这篇工作提示未来的 evaluator 不应只追求未来帧好看，而应输出能检验的 task state、constraint violation 或 uncertainty。$\Delta$LPIPS 与 action shuffle 是很好的起点，但还可用反事实 action pair、接触传感器、simulator intervention 测试真正的 action causality。

【Analysis】 更实用的部署方式可能是把 dWorldEval 作为主动筛选器：对模型低置信度、候选策略排名接近、或长 rollout 的 case 请求真实执行，其余交给 imagined rollout。世界模型不必逐像素完美，却必须在候选 policy 的相对排序上不系统性偏向成功先验；更广的 holdout embodiment、真实干预和公开复现，是检验这一点的下一步。

dVLA 论文精读：用多模态 CoT 统一扩散式 VLA

Wed, 26 Aug 2026 00:00:00 GMT

1. 论文概述

论文名称：《dVLA: Diffusion Vision-Language-Action Model with Multimodal Chain-of-Thought》
作者：Junjie Wen、Minjie Zhu、Jiaming Liu、Zhiyuan Liu、Yicun Yang、Linfeng Zhang、Shanghang Zhang、Yichen Zhu、Yi Xu
机构：美的集团、北京大学、上海交通大学
论文链接：arXiv:2509.25681
代码 / 项目：论文页面未给出官方代码仓库或项目主页。

一句话总结

【Paper】 dVLA 将当前观测、语言指令、未来视觉子目标、文本推理和动作 chunk 都离散化为 token，并让一个 discrete diffusion MLLM 在同一去噪目标下同时恢复它们；这样“想象下一步会看到什么”“用语言拆解下一步做什么”和“真正执行哪些关节动作”不再由彼此独立的模块负责。

核心贡献

【Paper】

以 MMaDA 为基础，将视觉、文本和动作统一到一个离散 token 空间；动作使用 FAST tokenizer，通过 DCT 与 BPE 压缩连续动作序列。
提出 multimodal Chain-of-Thought（MM-CoT）：模型先生成未来的 subgoal image，再生成 textual subgoal，最后生成 action chunk。
用随机 mask 的统一 diffusion loss 同时训练三种输出，避免传统“语言模型 next-token loss + 连续动作 diffusion loss”之间的目标不一致。
设计 Prefix Attention Mask 和 KV Caching，缓解双向离散扩散模型无法直接使用 KV cache 的推理瓶颈。
在 LIBERO 上取得 96.4% 平均成功率；在 7-DoF Franka 的四类真实任务上达到 26/40 次成功，并在真实 bin-picking 上展现多步规划能力。

2. 背景与相关工作

【Paper】 第一代 VLA 通常把预训练 VLM 当作视觉与语言特征提取器，再接一个 action head。这种结构在常规短任务上有效，但遇到开放世界指令和长时程操作时，模型需要把“目标”拆成一串可执行的中间状态。后续工作加入文本 CoT、视觉未来帧或世界模型，但推理与控制往往仍由不同目标、不同头部甚至不同模型优化。

论文指出两个具体矛盾：

目标冲突：图文联合训练强调知识保持与场景理解，动作训练强调控制误差；两者的梯度可能互相干扰。
模态鸿沟：自回归 VLM 的 next-token 目标与图像生成、连续动作 diffusion 目标不同，视觉想象与动作执行容易出现 plan–act misalignment。

【Analysis】 dVLA 的切入点不是再增加一个“会思考”的语言模块，而是把所有需要预测的中间结果改成同一种离散扩散问题。它牺牲了部分自回归模型的成熟生态，却换来一个更直接的优化接口：所有被 mask 的 token 都由同一个模型、同一个概率目标恢复。

3. 问题定义

【Paper】 在时刻 $t$，机器人接收多视角图像、语言指令和机器人状态，输出一个动作 chunk，同时预测未来视觉子目标和文本子任务。论文将完整序列写成：

$$ x = {o, l, s, o^{goal}, r, a^{chunk}}, $$

其中：

$o$：当前观测图像，可包含多视角相机；
$l$：任务级语言指令；
$s$：当前机器人状态，论文中离散化为文本 token 输入；
$o^{goal}$：约在动作 chunk 之后的未来 subgoal image；
$r$：文本 reasoning / textual subgoal；
$a^{chunk}$：需要执行的离散动作 token 序列。

【Paper】 视觉使用 MAGVIT-v2 tokenizer，压缩比为 16、codebook size 为 8192；$256\times256$ 图像对应 256 个视觉 token。文本使用 LLaDA tokenizer，词表大小为 126,464；动作使用 FAST tokenizer，词表大小为 2,048。合并模态后，模型词表扩展到 136,704。

【Paper】 实验覆盖 LIBERO-Spatial、LIBERO-Object、LIBERO-Goal、LIBERO-Long 四个 suite，以及一台 7-DoF Franka 机械臂。真实任务包括 Bin Picking、Open Box、Hang Cups 和 Pick&Place Object。

4. 方法

4.1 Overall Architecture

整体数据流是：输入图像与语言先分别 tokenization，和机器人状态拼接成 prefix；模型在离散 diffusion 的多轮 denoising 中，联合恢复 visual subgoal、textual reasoning 与 action tokens；最后三个 de-tokenizer 分别把 token 还原成图像、文本和可执行动作。

4.2 核心模块

Unified discrete tokenization

输入是 RGB 图像、文本和连续动作，输出是共享词表中的离散 token。MAGVIT-v2 将图像映射为语义 token，LLaDA tokenizer 处理指令与 reasoning，FAST 先对连续动作做 DCT，再用 BPE 压缩成短 token 序列。

【Analysis】 FAST 的作用不只是节省序列长度。它把原本连续、几何意义明确的动作轨迹变成与文本和图像同类的预测对象，使“动作是否被正确 mask、是否被恢复”可以和其它模态共享同一个训练接口。

Discrete diffusion MLLM

输入是部分被 mask 的完整序列 $x_t$，输出是所有 mask 位置的原始 token 分布。模型基于 MMaDA 的 multimodal diffusion backbone，不按固定的左到右顺序生成，而是在多个 diffusion timestep 中反复 denoise。

Multimodal Chain-of-Thought

模型生成的中间推理由两部分组成：

Visual CoT：预测动作后约一个 chunk 的场景图像，表达“如果按这个计划执行，未来会看到什么”。
Textual CoT：把高层指令分解成当前可执行的子任务，例如“抓住绿色杯子”或“把杯子挂到架子上”。

两者随后与 action token 一起生成，而不是作为独立 planner 的离线输出。

【Paper】 对简单任务，作者可以省略 textual reasoning 以降低延迟；对 bin-picking 等长任务，使用 SEED-1.5VL 以 3 秒间隔生成视频分割标注，作为文本 reasoning 数据。

Prefix Attention Mask

【Paper】 作者把序列拆成两个 block：$[o,l,s]$ 是输入 prefix，$[o^{goal},r,a^{chunk}]$ 是待生成 block。每个 block 内采用 full bidirectional attention，但前一个 block 不能看后一个 block。这样生成 block 内不同模态可以互相 attend，同时 prefix 的 key/value 可以跨 denoising step 复用。

KV Caching

【Paper】 dLLM-Cache 的观察是：相邻 denoising step 的 key、value 和 attention output 变化通常较小。因此 dVLA 不必每一步都完全重算，而是低频刷新缓存。它是 inference-only 的 plug-and-play 优化，不改变训练目标。

4.3 关键公式

统一 masked diffusion loss

$$ \mathcal{L}{\text{unify}}(\theta) =-\mathbb{E}{t,x_0,x_t}\left[ \frac{1}{L}\sum_{i=1}^{L} \mathbf{1}[x_t^i=\text{[MASK]}] \log p_\theta(x_0^i\mid x_t) \right]. $$

其中：

$x_0$ 是未破坏的多模态 ground truth 序列；
$x_t$ 是在 diffusion timestep $t\in[0,1]$ 上随机 mask 后的序列；
$L$ 是序列总长度；
$\mathbf{1}[\cdot]$ 只让 mask 位置贡献 loss；
$p_\theta$ 是 dVLA 对原始 token 的预测分布。

【Analysis】 这个目标的关键不是“mask”本身，而是 mask 可以跨模态发生：一次样本中既可能要求恢复视觉子目标，也可能要求恢复文本或动作。模型因此被迫学习这些模态之间的条件关系，而非只学习从观测到动作的单向映射。

动作与子目标的条件关系

可以将推理过程概括为：

$$ p(a^{chunk},r,o^{goal}\mid o,l,s) \approx p(o^{goal},r,a^{chunk}\mid o,l,s;\theta). $$

这里不是论文额外提出的独立概率分解，而是对其统一序列建模的解释：visual CoT、textual CoT 与 action chunk 在同一条件上下文下被联合恢复。

4.4 Training

【Paper】 训练时先构造包含 observation、instruction、state、未来 subgoal image、reasoning text 和 action chunk 的序列，再从不同模态随机 mask token。视觉 subgoal 的目标时间在 $[0.9C,1.1C]$ 中均匀采样，其中 LIBERO 的 chunk length $C=5$，真实任务 $C=50$；图像统一缩放到 $256\times256$，并对视觉生成使用 classifier-free guidance，scale 为 3.5。

【Paper】 作者沿用 MMaDA 的 finetuning pipeline，在 LIBERO 数据与 1,100 条真实轨迹上训练。LIBERO 每个 suite 有 10 个任务、每个任务 50 条人类遥操作示范；真实数据分配为 bin picking 600 条、open box 100 条、hang cups 200 条、pick-and-place 200 条。

4.5 Inference

【Paper】 推理时输入当前图像、语言指令和状态，把 visual subgoal、textual subgoal、action chunk 的位置初始化为 mask，然后进行多轮 iterative denoising。得到的视觉与文本 CoT 不是单独展示用的解释，而是 action token 生成的条件上下文；action de-tokenizer 再将 FAST token 还原为连续动作并执行。

【Paper】 Prefix Mask + KV Cache 将 LIBERO 的速度从 1.3 actions/s 提升到 2.9 actions/s，将真实 bin-picking / hang-cups 的速度从 1.5 Hz 提升到 3 Hz，性能仅有小幅下降。

4.6 代码实现对照

论文页面、正文和参考资料中没有提供官方 GitHub repository、训练脚本或可复现实验配置，因此本节不虚构代码行为。【Paper】 可以确认的实现线索只有：模型初始化自 MMaDA，动作 tokenizer 使用 FAST，缓存策略参考 dLLM-Cache，文本 reasoning 标注使用 SEED-1.5VL。

【Analysis】 这意味着读者目前只能按论文描述复现数据格式、token 词表扩展和 attention block 设计，无法核对诸如 optimizer、batch size、mask ratio、denoising step 数量和 checkpoint 结构等工程细节；这些细节在论文中未明确说明。

5. 实验

5.1 Experimental Setup

【Paper】 仿真使用 LIBERO 四个 suite，每个 suite 10 个任务、每个任务 50 条示范；评价总计 500 次 trial。真实实验使用 7-DoF Franka、两台外置 ZED 相机和一台 Realsense 435i wrist camera，四类任务共 1,100 条训练轨迹，每个方法每个任务测试 10 次。

5.2 Main Results

【Paper】 dVLA 在 LIBERO 四个 suite 的成功率为：Spatial 97.4%、Object 97.9%、Goal 98.2%、Long 92.2%，平均 96.4%。这比 vanilla dVLA 的 89.8% 高 6.6 个百分点，也超过 Discrete Diffusion VLA 的 96.3% 和 OpenVLA-OFT（Discrete）的 95.5%。

| 方法 | Spatial | Object | Goal | Long | 平均 | | ----------------------- | -------: | -------: | -------: | -------: | -------: | | Diffusion Policy | 78.3 | 92.5 | 68.3 | 50.5 | 72.4 | | GR00T-N1 | 94.4 | 97.6 | 93.0 | 90.6 | 93.9 | | $\pi_0$ | 96.8 | 98.8 | 95.8 | 85.2 | 94.2 | | OpenVLA-OFT（Discrete） | 96.2 | 98.2 | 95.6 | 92.0 | 95.5 | | Discrete Diffusion VLA | 97.2 | 98.6 | 97.4 | 92.0 | 96.3 | | dVLA | 97.4 | 97.9 | 98.2 | 92.2 | 96.4 |

【Paper】 真实 Franka 结果为 Bin Picking 7/10、Open Box 5/10、Hang Cups 7/10、Pick&Place Object 7/10，总计 26/40，平均成功率 65%。GR00T 的总成绩为 19/40，Diffusion Policy 与 OpenVLA 均为 14/40。

5.3 Ablation Study

【Paper】 多模态 CoT 是最关键的消融：真实任务上 vanilla dVLA 为 21/40（52.5%），加入 visual + textual CoT 后升至 26/40（65%），绝对提升 12.5 个百分点；LIBERO 上则从 89.8% 升到 96.4%。作者观察到，bin-picking 中 vanilla dVLA 常把夹爪预测到两个物体之间，而显式的视觉子目标和文本子任务能把抓取对象与后续动作约束到一起。

【Paper】 加速消融如下：

| 配置 | LIBERO Spatial | LIBERO Object | 真实 Bin Picking | Hang Cups | 速度 | | ---------------------- | -------------: | ------------: | ---------------: | --------: | --------------------: | | Full Attention | 97.4 | 97.9 | 7/10 | 8/10 | 1.3 actions/s；1.5 Hz | | Prefix Mask + KV Cache | 96.9 | 97.3 | 7/10 | 7/10 | 2.9 actions/s；3 Hz |

【Analysis】 加速配置的代价主要是约 0.5 个百分点的 LIBERO 下降和一个真实 Hang Cups trial 的波动，但吞吐接近翻倍。对于闭环机器人，这一交换通常比单纯追求离线 success rate 更有价值，因为更高频的观测更新可以减少执行漂移。

5.4 Generalization

【Paper】 dVLA 在长时程 bin-picking 中需要反复选择并转移 3–5 个随机物体；作者报告模型生成的失败 Visual CoT 也会与真实失败结果对齐，例如物体卡在夹爪与盒沿之间，或机械臂朝错误方向移动。这说明模型不仅能预测“理想未来”，还会把某些动作后果映射到未来视觉状态。

【Analysis】 这更接近一个弱形式的 action-conditioned world model，而不是纯粹的解释性热图。不过论文没有单独设计物理预测指标，也没有证明这种失败预测能被在线规划器利用，因此应把它视为有启发性的观察，而不是已经验证的世界模型能力。

6. 方法分析

6.1 为什么有效？

【Analysis】 dVLA 的收益可以拆成三个互补因素：

共享表示：视觉、文本和动作都经过离散化，模型可以在同一 token 级表示中传递约束。
显式未来状态：subgoal image 给动作预测增加了“执行后场景应该长什么样”的约束，减少只看当前图像的局部贪心。
计划与控制同目标：textual CoT 和 action chunk 同时作为 mask 位置恢复，文本计划不再是单独模型生成后再交给控制器。

6.2 核心创新

【Paper】 真正的新意是把 multimodal CoT 作为统一 diffusion sequence 的一部分，而不是把视觉预测、语言推理、动作策略串成三个独立模型。Prefix Mask 和 KV Cache 则是为这一统一范式补上实时部署所需的系统优化。

6.3 与已有方法的本质区别

| 路线 | 推理对象 | 训练目标 | 主要风险 | | ------------ | ---------------------- | ------------------------------ | ------------------------ | | 传统 VLA | 观测到动作 | VLM 特征 + action head | 缺少显式中间状态 | | 文本 CoT VLA | 文本计划 + 动作 | 文本 next-token 与动作目标分离 | 计划与执行错位 | | 世界模型 VLA | 未来图像 / 状态 + 动作 | 常见为分离的生成与控制损失 | 生成模型与控制器接口复杂 | | dVLA | 视觉、文本、动作 token | 统一 masked discrete diffusion | denoising 成本较高 |

6.4 关键假设

【Analysis】 方法依赖以下假设：

未来 subgoal image 在动作 chunk 时间尺度上足够稳定，能成为有效的中间监督；
FAST 离散化不会丢失关键的接触与精细控制信息；
真实任务的文本 reasoning 标注（尤其是 SEED-1.5VL 自动生成的分段）与动作因果关系足够一致；
多模态 token 的联合 denoising 能学到跨模态约束，而不是只利用最容易的模态完成 loss。

7. 局限性

7.1 作者明确提出的局限

【Paper】 作者没有单独列出 limitation 小节，但明确承认 multimodal CoT 会增加 inference cost，因此需要 Prefix Attention Mask 与 KV Caching。论文也只在有限的 LIBERO 与四类 Franka 任务上验证，尚未证明对更多机器人 embodiment 或更长任务 horizon 的可迁移性。

7.2 自己分析得到的局限

【Analysis】

数据成本与标注依赖：视觉 subgoal 需要未来帧，文本 CoT 对长任务还依赖额外的 video segmentation 标注；这比普通行为克隆需要更复杂的数据管线。
推理延迟仍高：加速后约 3 Hz，适合当前实验的慢速桌面操作，但对快速接触、动态物体或高频力控仍可能不够。
实验规模有限：真实结果每个任务只有 10 次测试，65% 与 70% 这类比例的统计不确定性较大；论文没有置信区间或跨随机种子的方差。
缺少代码复现：没有官方仓库，读者无法核对 mask ratio、denoising steps、优化器、batch size 等关键实现细节。
“预测失败”尚未闭环利用：论文展示了失败 Visual CoT，但没有让规划器据此主动拒绝或修正危险动作，因此安全性结论仍是观察性证据。

8. 启发与研究思考

【Analysis】 dVLA 给 VLA 研究的启发不是“所有东西都应该离散化”，而是应认真选择一个能同时容纳计划、未来状态和动作的训练接口。对后续工作，我认为有三条值得推进：

从 CoT 到可验证计划：把 visual subgoal 与可执行约束、碰撞检测或 affordance score 结合，让模型生成的未来不只是像素预测，而能被规划器检查。
自适应模态预算：简单任务跳过 textual CoT，长任务保留完整 MM-CoT；还可以根据不确定性动态决定 denoising steps 和缓存刷新频率。
统一 token 与连续控制的混合架构：离散 token 擅长跨模态语义和长时程结构，连续 diffusion / flow matching 擅长接触细节。更实际的方向可能是让 dVLA 负责 subgoal 与粗动作，再由局部连续控制器完成最后几厘米。

如果 dVLA 的失败 Visual CoT 能被转化为可计算的风险预测，它就可能从“会解释动作的 VLA”进一步变成“执行前会检查动作后果的 VLA”。这也是统一生成目标最值得验证的下一步。

DUST 论文精读：双流扩散增强 World-Model VLA

Wed, 26 Aug 2026 00:00:00 GMT

1. 论文概述

论文名称：《Dual-Stream Diffusion for World-Model Augmented Vision-Language-Action Model》
作者：John Won、Kyungmin Lee、Huiwon Jang、Dongyoung Kim、Jinwoo Shin（KAIST、RLWRLD）
会议 / 期刊：ICML 2026
论文链接：arXiv:2510.27607
项目主页：periphanes.github.io/dust
代码：项目页截至本文撰写时标注为 “Code (Coming Soon)”，因此没有可核对的官方实现。

一句话总结

【Paper】 现有 world-model augmented VLA 要么把动作和视觉强行放进同一扩散流，要么只允许单向条件依赖。DUST（DUal-STream diffusion）保留两条独立 token 流，只在共享 attention 中交换信息，并为两种模态使用独立噪声和不同采样频率。

核心贡献

【Paper】

用 multimodal diffusion transformer（MMDiT）构造 action stream 与 future-vision stream 的双流架构：共享跨模态注意力，其他层保持模态专属路径。
提出 decoupled diffusion training：动作和未来图像 embedding 分别采样噪声时间步，以一个解耦 flow-matching loss 联合优化。
提出 asynchronous joint sampling：视觉 token 可比动作 token 使用更多 Euler 步数，形成可调节的 test-time scaling。
在 RoboCasa、GR-1 和 Franka Research 3 上评测，并验证 action-free video 预训练与 robot-human 混合数据联合训练的迁移能力。

2. 背景与相关工作

【Paper】 标准 VLA 通过冻结或大规模预训练的 VLM 提供视觉—语言语义，再由 diffusion policy 预测动作；它擅长指令跟随，却没有显式表示“动作将如何改变场景”。world-model augmented VLA 试图同时预测动作和未来观测，使策略学习潜在动力学。

两条已有路线各有代价：

Unified joint diffusion：把 action token 与视觉 token 拼接后统一去噪。动作是低维、时间平滑的轨迹，视觉 embedding 却高维且有空间结构，单一统计空间会造成 modality gap。
Causal diffusion：为动作和世界模型使用独立网络，并用预测的未来状态单向条件动作。模态专长更清晰，但信息不能反向流动，难以同时利用 inverse dynamics 与 forward dynamics。

【Analysis】 DUST 的定位不是增加一个额外预测头，而是把“共享知识”和“模态特异性”放在同一 Transformer 的不同路径中：共享 attention 负责对齐，独立 AdaLN、DiT block 负责保留各自的噪声和输出几何。

3. 问题定义

【Paper】 每条示教轨迹包含任务指令 $I$ 和序列 ${(O_t,A_t)}_{t=0}^{L}$。观测 $O_t=(o_t^v,o_t^s)$ 由视觉观测与机器人 proprioceptive state 组成，动作按 chunk 分组：

$$ A_t=(a_t,\ldots,a_{t+k-1}) $$

模型在当前视觉、指令和状态条件下预测动作 chunk，同时预测执行该 chunk 后的未来视觉 embedding：

$$ \pi_\theta(A_t,\tilde o_{t+k}\mid o_t^v,o_t^s,I). $$

【Paper】 DUST 不直接重建 RGB。未来目标 $\tilde o_{t+k}$ 来自 VLM 的视觉编码器；实验中每张图先得到 256 个 SigLIP-2 token，再经 $2\times2$ average pooling 压到 64 个 token。扩散模块最终处理 1 个 state token、16 个 action token 和 64 个 future-vision token。

4. 方法

4.1 Overall Architecture

【Paper】 冻结的 Eagle-2 VLM 从当前图像和指令提取语义特征 $\Phi_t$，扩散模型接收 $(o_t^s,A_t^{\tau_A},\tilde o_{t+k}^{\tau_o})$。每个 MMDiT block 将两条流仅在 cross-modal attention 处拼接，之后重新拆开；末端的 modality-specific DiT block 分别完成视觉语义重建和动作精修。

4.2 核心模块

| 模块 | 输入 | 输出 | 作用 | | --- | --- | --- | --- | | Frozen VLM（Eagle-2） | 当前 RGB、任务指令 | $\Phi_t$ | 提供高层语义条件；论文使用第 12 层特征 | | Action stream | 状态 token、16 个加噪动作 token | $V_\theta^A$ | 学习低维、时序平滑的控制轨迹 | | Vision stream | 64 个加噪未来图像 embedding token | $V_\theta^o$ | 预测动作执行后的语义场景状态 | | Shared MMDiT | 两条 token 流 | 更新后的两流表示 | 在 cross-modal attention 中交换信息 | | AdaLN | 各自的 $(\tau_A,\tau_o)$ | 模态条件 | 让两条流感知不同噪声等级 | | Modality-specific DiT | 各自的共享层输出 | 动作/视觉速度场 | 最后阶段恢复模态专属建模能力 |

【Paper】 扩散主干由 12 个 MMDiT blocks 和每个模态 4 个 DiT blocks 组成；VLM 特征以交错 self-attention / cross-attention 方式注入。
【Analysis】 视觉流并非为了生成可直接观看的 RGB，而是作为动作生成的“可预测后果”表示；这解释了为什么语义 embedding 比像素 latent 更适合控制。

4.3 关键公式

独立采样 $(\tau_A,\tau_o\in[0,1])$ 和高斯噪声 $(\epsilon_A,\epsilon_o)$：

$$ A_t^{\tau_A}=\tau_A A_t+(1-\tau_A)\epsilon_A, \qquad \tilde o_{t+k}^{\tau_o}=\tau_o\tilde o_{t+k}+(1-\tau_o)\epsilon_o. $$

其中 $\tau=0$ 对应纯噪声，$\tau=1$ 对应干净目标。网络预测速度场 $V_\theta=[V_\theta^A,V_\theta^o]$，分别用：

$$ \mathcal L_A=\mathbb E\left[\left|V_\theta^A-(A_t-\epsilon_A)\right|^2\right], $$

$$ \mathcal L_{WM}=\mathbb E\left[\left|V_\theta^o-(\tilde o_{t+k}-\epsilon_o)\right|^2\right]. $$

联合目标是：

$$ \mathcal L_{Joint}=\mathcal L_A+\lambda_{WM}\mathcal L_{WM}. $$

【Paper】 主实验取 $\lambda_{WM}=1.0$，即动作和 world-modeling 等权。独立噪声使模型看到“干净未来 + 全噪声动作”（偏 inverse dynamics）以及“干净动作 + 噪声未来”（偏 forward dynamics）等组合，从而学习双向因果关系。

4.4 Training

【Paper】 训练时冻结 Eagle-2 VLM，只从数据中取当前状态、动作 chunk 和执行后的未来图像 embedding；扩散主干随机初始化。RoboCasa 使用每任务 100/300/1000 demos，GR-1 使用 300/1000 demos，Franka Research 3 的 7 个真实任务各收集 60 条 teleoperation 示教。

4.5 Inference

【Paper】 推理从 $A_t^0\sim\mathcal N(0,I_A)$ 和 $\tilde o_{t+k}^0\sim\mathcal N(0,I_v)$ 开始。动作使用 $N_A$ 步，视觉使用 $N_o=qN_A$ 步；视觉每个细粒度步都更新，动作每 $q$ 步更新一次：

$$ \tilde o^{\tau_o+\Delta\tau_o}=\tilde o^{\tau_o}+V_\theta^o\Delta\tau_o, $$

$$ A^{\tau_A+\Delta\tau_A}=A^{\tau_A}+V_\theta^A\Delta\tau_A \quad\text{(每 $q$ 个视觉步执行一次)}. $$

【Analysis】 主实验使用 $q=1,N_A=N_o=4$，因此与基线公平；$q>1$ 是可选的“精度旋钮”，不是必须的在线控制步骤。

4.6 代码实现对照

【Code】 官方项目页显示 Code 为 “Coming Soon”，论文也没有给出可下载的 DUST 仓库、配置或 checkpoint。因此本文不能对模型定义、DataLoader、优化器和推理脚本做逐文件核对。论文只说明实现基于 GR00T-N1.5 codebase，并重新实现了没有官方代码的 FLARE baseline；这些信息属于论文附录，而非可运行的 DUST 官方实现。

5. 实验

5.1 Experimental Setup

【Paper】

RoboCasa：24 个单臂厨房任务，覆盖 8 个 pick-and-place、6 个开关门/旋钮 contraption、10 个其他任务。
GR-1：24 个 humanoid tabletop 任务，含 18 个 pick-and-place 和 6 个 articulated 任务。
Real world：Franka Research 3，7-DoF，状态和动作由关节位置与二值夹爪组成；7 个任务各 60 条 teleoperation demos。
对比方法：GR00T-N1.5、重实现的 FLARE、(pi_0)、(pi_0)-FAST，以及在部分数据规模下的 PAD/VPP。

5.2 Main Results

【Paper】 关键平均成功率如下（单位：%）：

| Benchmark / 数据量 | GR00T-N1.5 | + FLARE | + DUST | DUST 增益 | | --- | ---: | ---: | ---: | ---: | | RoboCasa / 100 demos | 41.7 | 44.6 | 50.1 | +8.4 vs GR00T | | RoboCasa / 300 demos | 45.0 | 55.3 | 58.5 | +13.5 vs GR00T | | RoboCasa / 1000 demos | 50.8 | 64.6 | 66.3 | +15.5 vs GR00T | | GR-1 / 300 demos | 20.3 | 33.7 | 36.0 | +15.7 vs GR00T | | GR-1 / 1000 demos | 30.8 | 36.3 | 42.0 | +11.2 vs GR00T | | Franka Research 3 / 7 tasks | 46.5 | 49.5 | 59.9 | +13.4 vs GR00T |

【Paper】 RoboCasa 100 demos 下 DUST 的 50.1% 平均成功率超过 FLARE 5.5 个百分点；真实机器人平均 59.9%，比 GR00T-N1.5 高 13.4 个百分点、比 FLARE 高 10.4 个百分点。4 步去噪约 40Hz，32 步仍约 8Hz。

5.3 Ablation Study

【Paper】 在 RoboCasa 100 demos/task 上：

| 配置 | 平均成功率 | | --- | ---: | | DiT + joint noise | 38.0 | | DiT + decoupled noise | 42.5 | | MMDiT + joint noise | 38.2 | | MMDiT + decoupled noise（DUST） | 50.1 |

去掉双流结构下降约 8 个百分点，去掉 decoupled noise 下降约 12 个百分点，说明两者互补。MMDiT 深度在 12 层时最好（50.1%）；$\lambda_{WM}$ 在 0.5–2.0 区间较稳定，偏离到 0.2 时降至 34.3%。SigLIP-2、DINOv2、Flux.1 VAE 三种目标的平均成功率分别为 50.1%、51.6%、49.1%，像素重建能力更强的 VAE 并未带来更好的控制。

5.4 Generalization

【Paper】

异构联合训练：在 RoboCasa 300 demos 基础上加入 GR-1 300 demos 和 46k episodes 的 EgoDex（MANO hand pose retarget 到 Fourier hands），DUST 平均成功率从 58.5% 提升到 64.4%；GR00T-N1.5 从 45.0% 到 46.9%，FLARE 从 55.3% 到 57.6%。
action-free video 预训练：先用 BridgeV2 仅优化 world-modeling loss，再用 RoboCasa 100 demos 微调，DUST 从 50.1% 提升到 58.5%。
test-time scaling：固定动作 4 步，把视觉步数 (N_o) 提到 16/32/64；RoboCasa 1000 demos 的平均成功率从 66.3% 升到 69.7%，GR-1 1000 demos 在 32 步达到 47.1%，相对 4 步高 5.1 个百分点，但并非单调增加。

6. 方法分析

6.1 为什么有效？

【Analysis】 DUST 的收益可以拆成三个机制：

未来视觉 embedding 给动作流一个“结果空间”监督，迫使策略表示动作—状态转移，而不是只拟合当前帧到关节轨迹的相关性。
双流让视觉的高维空间结构和动作的低维时序结构分别处理，同时通过共享 attention 传递互相需要的信息。
独立噪声把 forward dynamics 和 inverse dynamics 训练样本混在同一个目标中；异步采样又把额外算力集中到更需要迭代的视觉流。

6.2 核心创新

【Paper】 真正的新意是“解耦但可通信”：不是简单地把两个 head 并列，也不是把所有 token 直接拼接，而是在 attention 层共享、在噪声条件和末端去噪层分离。【Analysis】 这使架构设计、训练分布和推理算力分配三者保持一致。

6.3 与已有方法的本质区别

| 方法 | 模态结构 | 信息流 | 噪声/采样 | | --- | --- | --- | --- | | Joint diffusion | 单流 | 双向但模态混杂 | 通常同步 | | Causal diffusion / FLARE | 多模型 | 单向条件 | 模态专属但耦合较弱 | | DUST | 双流 MMDiT | attention 双向交换 | 训练独立噪声，推理异步步长 |

6.4 关键假设

【Analysis】 DUST 依赖几个未被完全消除的假设：

VLM 的语义 embedding 足以表达控制相关的未来状态，且不需要像素级细节。
当前 Eagle-2 特征和 SigLIP-2 目标之间存在稳定的可学习对应关系。
一个固定的未来时刻 (t+k) 足以提供有用的动力学信号；更长时域的误差传播没有被单独建模。
不同机器人和人手数据经过 retarget 后，可以在共享视觉世界模型中对齐。

7. 局限性

7.1 作者明确提出的局限

【Paper】 论文指出异步采样的收益存在非单调性：确定性 Euler/ODE 采样虽然减少截断误差，却可能累积梯度近似误差；因此 (N_o=64) 并不总是优于 32。额外视觉步数也会增加延迟，不能无条件用于高频闭环控制。

7.2 自己分析得到的局限

【Analysis】

官方代码和 checkpoint 尚未公开，社区无法复现实验，也无法确认论文中“基于 GR00T codebase”的具体工程改动。
未来视觉 embedding 是单个 horizon 的目标，可能遗漏接触瞬间、遮挡和多步不确定性；论文没有报告更长 horizon 或多模态未来分布的系统实验。
所有主实验冻结 VLM，DUST 的收益与“更强的联合视觉—语言—动作预训练”之间的关系尚未被隔离。
真实实验使用同一 Franka embodiment 的示教和测试；跨硬件零样本迁移仍主要由异构训练实验间接支持。

8. 启发与研究思考

【Analysis】 DUST 给后续 VLA 研究留下三条可操作的路线：

把世界模型当作训练时的结构化正则：不一定要在部署时生成可视化视频，只要预测一个与控制相关的 latent state，就可能获得更好的数据效率。
按模态分配 test-time compute：动作、深度、触觉和视觉 token 的最优采样步数不同，统一的 diffusion step budget 并不合理；异步采样可推广到多传感器策略。
先学世界、再学动作：action-free video 预训练的 8.4 个百分点增益说明，廉价视频可以先提供场景变化先验，再用少量机器人示教学习 embodiment-specific action decoder。

一个值得继续验证的问题是：如果将未来目标从单一 SigLIP-2 embedding 扩展为“object-centric state + contact event + uncertainty”，双流策略是否能在插入、擦拭等接触丰富任务上继续提升？这会把 DUST 从 latent prediction head 推向真正的可查询 world model。

DreamZero 论文精读：World Action Models are Zero-shot Policies

Wed, 26 Aug 2026 00:00:00 GMT

1. 论文概述

一句话总结

【Paper】 DreamZero 将预训练的 Wan2.1-I2V-14B 视频扩散 backbone 改造成 World Action Model（WAM）：给定语言、视觉历史和本体状态，模型同时生成未来视频 latent 与对应动作 chunk。视频预测提供“世界会如何变化”的密集监督，动作则成为与视觉未来对齐的 inverse dynamics 输出。

核心贡献

【Paper】

提出 14B DreamZero，使用单一 autoregressive DiT 端到端联合去噪视频和动作，在约 500 小时、7,193 条、非重复的 AgiBot 数据上训练。
在 AgiBot G1 与 DROID-Franka 上实现对新环境、新物体和未见动作的 zero-shot generalization；AgiBot seen-task 平均 task progress 为 62.2%，unseen-task 为 39.5%。
通过 CFG parallelism、DiT caching、Torch Compile、CUDA kernel 优化、NVFP4 量化和 DreamZero-Flash，将单 chunk 延迟从约 5.7 s 降至约 150 ms，支持约 7 Hz 闭环控制。
仅用 10–20 分钟其他机器人或人类视频即可提升目标机器人未见任务表现超过 42%；用 30 分钟新本体 play data 即可把 AgiBot 预训练模型适配到 YAM。
开源 DROID checkpoint、训练/推理代码和数据转换工具，仓库为 dreamzero0/dreamzero。

2. 背景与相关工作

【Paper】 现有 VLA 通常从 VLM 继承语言和物体语义，因此擅长“把可乐罐移到某处”，但对训练集中没有出现过的物理运动（例如解鞋带、熨衣服）泛化较弱。原因在于静态 image-text 预训练没有显式表示连续时间中的几何、接触和动力学。

传统 VLA 直接学习 $o_t,c\mapsto a_t$，要覆盖每一种 motion、环境和本体，必须反复采集任务示范。视频模型则从相邻帧中学习“动作导致的视觉变化”，天然拥有时间先验。WAM 的思路是把这两者放在同一个联合分布中：视频是可观测的未来世界状态，动作是使该未来成立的控制量。

【Analysis】 这不是把一个 video predictor 和一个 policy head 简单拼接。联合去噪使两种 modality 共享 DiT 的中间表示，策略错误更容易被定位为“视频计划错误”或“动作未对齐”，而非一个不可解释的端到端回归误差。

3. 问题定义

【Paper】 从轨迹中随机取索引 $l$，模型接收：

Observation：当前帧与历史视觉帧 $o_{0:l}$，多视角图像在输入侧拼接；
Language：任务指令 $c$；
Proprioception：本体状态 $q_l$；
Output：未来 $H$ 步视频 $o_{l:l+H}$ 与动作 $a_{l:l+H}$。

联合策略写成：

$$ \pi_0(o_{l:l+H},a_{l:l+H}\mid o_{0:l},c,q_l) =\pi_0(o_{l:l+H}\mid o_{0:l},c,q_l) \pi_0(a_{l:l+H}\mid o_{0:l+H},q_l). $$

这一定义把 action prediction 解释成 inverse dynamics：先预测“想要看到的未来”，再从未来视觉和状态中恢复控制命令。机器人包括双臂移动操作的 AgiBot G1 与单臂 Franka；跨本体实验使用 YAM 和人类 egocentric video。

4. 方法

4.1 Overall Architecture

【Paper】 VAE 将视觉序列编码为 video latent，text encoder 编码指令，state encoder 编码本体状态；三者进入 autoregressive Causal DiT。DiT 使用 flow matching，同时输出 video velocity 与 action velocity，分别经 video decoder 和 action decoder 得到未来帧与动作。

4.2 核心模块

预训练视频 backbone 与最小参数扩展

【Paper】 backbone 是 Wan2.1-I2V-14B-480P。为保留 web-scale video prior，作者冻结 text encoder、image encoder 和 VAE，只新增或更新 state encoder、action encoder/decoder 及 DiT blocks；多视角机器人帧在输入侧拼成单帧，不改变 backbone 的空间结构。

【Code】 WANPolicyHeadConfig 的默认 input_embedding_dim 与 backbone_embedding_dim 均为 1536，动作头通过 action_dim、action_horizon 注入 DiT；DROID 配置使用相对 joint position，并过滤 idle action。

Autoregressive chunk 与注意力

【Paper】 视频按固定 $K$ 个 latent frame 的 chunk 自回归生成。当前 noisy chunk 可以 attend 到前面 clean chunks；动作 chunk 与对应视频 chunk 对齐。相比 bidirectional WAM，autoregressive 结构允许 KV cache、保留原生 FPS，并能接收任意长度视觉历史。

【Code】 CausalWanModel 的 max_chunk_size、num_frame_per_block 和 num_action_per_block 控制 chunk 形状；推理函数维护正负 CFG 两套 KV cache。

闭环 KV cache

【Paper】 每执行完一个 action chunk，真实相机观测会替换 cache 中相应的预测帧。因此自回归视频不会像离线生成那样无限累积误差；同时，历史帧让 stateful policy 能处理需要记忆的任务。

【Code】 WANPolicyHead 在 current_start_frame == 0 时创建 cache；之后把新观测编码后写入 cache，并以 update_kv_cache=False 运行当前 chunk 的扩散步骤。

4.3 关键公式

对第 $k$ 个 chunk，视频 latent $z_k^1$ 和归一化动作 $a_k^1$ 分别与高斯噪声 $z_k^0,a_k^0$ 线性插值得到：

$$ z_k^{t_k}=t_kz_k^1+(1-t_k)z_k^0,\qquad a_k^{t_k}=t_ka_k^1+(1-t_k)a_k^0. $$

其中 $t_k\in[0,1]$ 是 flow-matching timestep；同一 video chunk 内帧共享 timestep，不同 chunk 独立采样。模型 $u_\theta$ 预测联合速度，训练目标是：

$$ \mathcal L(\theta)=\mathbb E\left[ \frac1K\sum_{k=1}^{K}w(t_k)\left| u_\theta([z_k^{t_k},a_k^{t_k}];\mathcal C_k,c,q_k,t_k)-v_k \right|_2^2\right], $$

$$ v_k=[z_k^1,a_k^1]-[z_k^0,a_k^0],\qquad \mathcal C_k={(z_j^1,a_j^1)}_{j<k}. $$

【Code】 代码在视频和动作上分别计算加权 MSE；动作项还乘以 action_mask 与 has_real_action，没有真实动作的 video-only 样本不会错误地监督 action head。默认 DROID 配置采用 4 个 inference timesteps，训练配置提供独立的 video/action noise 开关。

DreamZero-Flash 的解耦噪声

【Paper】 标准 DreamZero 让视频和动作共享 uniform timestep；少步推理时视频仍然很 noisy，却要求动作已经干净，出现 train-test mismatch。Flash 令视频 timestep 偏向高噪声（例如 $t_{video}=1-\eta,\eta\sim Beta(7,1)$），动作 timestep 仍 uniform：

$$ \mathbb E[t_{video}]=0.125\quad\text{（按论文的噪声比例记法）}. $$

这样模型直接学习“从 noisy video context 预测 clean action”，4 步降到 1 步时延迟约从 350 ms 降到 150 ms，性能损失很小。额外的 action chunk smoothing 是 2× 上采样、Savitzky–Golay 滤波后再下采样。

4.4 Training

【Paper】 AgiBot 预训练约 500 小时，来自 22 个环境、7,193 episodes；平均每条 4.4 分钟、42.4 个 subtasks。DROID 用公开的异构单臂数据。两者均训练 100K steps、global batch size 128，更新 DiT 和动作相关模块，冻结 text/image encoder 与 VAE。

【Code】 训练入口由 Hydra 配置驱动，scripts/train/droid_training.sh 使用 DeepSpeed ZeRO；仓库 README 的 sanity-check 默认 max_steps=10，完整复现实验需显式提高步数。代码支持 LoRA，但论文报告 LoRA 效果不如更新全部可训练模块。

4.5 Inference

【Paper】 推理采用异步闭环：motion controller 持续执行最近 action chunk，GPU 同时基于最新观察生成下一 chunk。AgiBot 使用 30 Hz 控制频率、48-step horizon，每 chunk 约 1.6 秒，目标是把模型延迟压到 200 ms 以下。

【Code】 socket_test_optimized_AR.py 启动 WebSocket server，README 给出的最小部署需要 2 张 GPU；--enable-dit-cache 开启缓存。代码默认 num_inference_steps=16，配置可改为 4；动态 cache、TensorRT 和 NVFP4 由环境变量/硬件路径启用。

4.6 代码实现对照

| 论文概念 | 官方实现 | 关键观察 | | ----------------- | ------------------------------------------------------------------------ | ----------------------------------------------------------- | | Wan 视频 backbone | groot/vla/model/dreamzero/modules/wan_video_dit*.py | Causal DiT，40 layers、5120 hidden dim 的 14B 配置 | | 联合动作头 | wan_flow_matching_action_tf.py | 同一 forward 返回 video_noise_pred 与 action_noise_pred | | 数据与相对动作 | data/dataset/lerobot*.py、configs/data/dreamzero/droid_relative.yaml | LeRobot v2 格式；relative joint position；过滤 idle frame | | Flow matching | modules/flow_match_scheduler.py | 训练/采样 scheduler 分离，支持 timestep weighting | | 闭环加速 | socket_test_optimized_AR.py | WebSocket、双 CFG 分支、KV cache、异步请求 | | Flash 噪声 | WANPolicyHeadConfig 的 decouple_video_action_noise | video Beta 偏高噪声，action 独立 uniform；以配置开关控制 |

5. 实验

5.1 Experimental Setup

【Paper】 基线为 GR00T N1.6 与 $\pi_{0.5}$，分别比较 from-scratch 和官方 pretrained checkpoint。AgiBot seen tasks 共 80 rollouts，unseen tasks 另 80；DROID-Franka 在 40 个任务上共 80 rollouts。默认测试地点、物体和摆放都与训练不同，因此重点是 OOD generalization。

5.2 Main Results

【Paper】 AgiBot seen-task 平均 task progress：DreamZero 62.2%，最佳 pretrained VLA 为 27.4%，超过 2×。PnP-Easy、PnP-Hard 和 contact-rich manipulation 三类均领先；from-scratch VLA 接近零，说明只用动作监督很难从非重复数据中学到稳健映射。

【Paper】 AgiBot 的 10 个训练中不存在的任务上，DreamZero 平均 39.5%，pretrained VLA 为 16.3%；“Remove Hat from Mannequin” 达 85.7%，“Shake Hands” 达 59.2%。DROID-Franka 上 DreamZero 达 49% task progress、22.5% success rate，亦高于 GR00T 的 31%/12.5% 与 $\pi_{0.5}$ 的 33%/7.5%。

【Analysis】 失败案例显示，DreamZero 通常忠实执行生成视频中的轨迹；失败更多来自 video prediction，而不是 action decoder 偏离视频。这给出清晰的 scaling 方向：更好的视频生成质量应直接改善策略性能，但也意味着世界模型 hallucination 会成为控制风险。

5.3 Ablation Study

【Paper】 论文消融了 backbone 规模、autoregressive/bidirectional 结构、数据重复度与 DreamZero-Flash。14B Wan 初始化优于 5B；autoregressive 结构动作更平滑、modality alignment 更高；相同小时数下，跨环境多样数据优于多任务重复示范。Flash 在 1 denoising step 上恢复大部分 4-step task progress。

【Code】 仓库配置明确暴露 num_inference_timesteps、decouple_video_action_noise、video_noise_beta_alpha 和 max_chunk_size，因此这些实验变量可复现；不过论文中的 AgiBot 原始 500 小时数据尚未随仓库完全公开，公开复现路径主要是 DROID。

5.4 Generalization

【Paper】 只加入 20 分钟 YAM video 或 12 分钟人类 egocentric video（没有目标机器人动作）就能提升 AgiBot 未见任务表现超过 42%。另一条路线从 AgiBot checkpoint 出发，用 30 分钟 YAM play data 做 few-shot embodiment adaptation，同时保留 zero-shot generalization。

【Analysis】 视频-only transfer 的前提是任务中的视觉状态变化比关节坐标更具可迁移性；30 分钟 play data 则负责学习“同一视觉未来如何映射到新本体的关节空间”。这暗示 WAM 可将跨本体问题拆成共享 world dynamics 与轻量 embodiment interface。

6. 方法分析

6.1 为什么有效？

【Analysis】 第一，视频是逐帧密集监督，长 episode 中的每个状态转移都可训练，而不是只在 episode 末端监督一个动作标签。第二，Wan2.1 已从 web video 学到物体运动、遮挡和接触的先验，机器人数据主要负责对齐本体与动作。第三，autoregressive cache 让策略看到真实历史，闭环替换帧又切断了视频预测误差的长期累积。

6.2 核心创新

【Paper】 真正的创新组合是：预训练 video diffusion + 单模型 joint video/action flow matching + autoregressive chunking + 面向实时控制的系统优化。单独的 video policy、inverse dynamics 或 KV cache 都不是新概念，DreamZero 的贡献在于把它们组织成可部署的 WAM。

6.3 与已有方法的本质区别

| 维度 | 典型 VLA | DreamZero WAM | | ----------- | -------------------- | ------------------------------------- | | 预训练先验 | 静态图像-文本语义 | 视频时空动力学 | | 监督信号 | observation → action | future video + action | | 数据偏好 | 重复、任务特定示范 | 异构、长时、非重复轨迹 | | 未见 motion | 依赖动作库覆盖 | 通过视频计划组合新运动 | | 跨本体 | 通常需要动作数据 | 可先用 video-only，再用少量 play data | | 部署瓶颈 | token/action 解码 | 扩散迭代，需 cache/异步/Flash |

6.4 关键假设

【Analysis】 方法依赖四个假设：视觉未来足以描述完成任务所需的状态；动作与视频的时间同步可靠；不同本体共享可识别的视觉动力学；视频生成质量随模型规模提升且不会产生不可检测的 hallucination。论文没有证明这些假设在触觉主导、强力控或遮挡严重任务中仍成立。

7. 局限性

7.1 作者明确提出的局限

【Paper】 论文指出当前实验分别在单一本体上预训练，尚未进行真正的 multi-embodiment joint pretraining；AgiBot 约 500 小时私有数据也尚未完全开放。视频扩散的计算成本仍高，7 Hz 部署依赖多 GPU 和 NVIDIA 特定优化。作者还观察到多数失败源于视频预测错误。

7.2 自己分析得到的局限

【Analysis】

预测视频正确不等于动作可执行：视频可能违反摩擦、力矩或夹爪约束，而 action decoder 仍会忠实执行。
论文主要报告 task progress，长时安全、碰撞率、恢复策略和能耗指标较少；“zero-shot”并不意味着无需部署校准。
训练目标对 video/action 的损失权重与 timestep 分布敏感，代码中还存在多个硬件和环境变量，复现实验的系统工程门槛较高。
14B 模型和 2-GPU server 的成本限制了边缘机器人部署；Flash 的单步去噪可能牺牲细粒度接触任务的视觉精度。

8. 启发与研究思考

把 action learning 改写成 future-state learning。 对新任务，关键不一定是收集更多动作标签，而是让模型先学会“合理的未来长什么样”。这为触觉、力觉和 3D occupancy 等非视频 world target 留出了扩展空间。
数据多样性可能比重复次数更重要。 WAM 用视频先验把异构轨迹变成可学习的动力学样本；机器人数据采集可以优先覆盖环境、物体和运动组合，而非把同一任务重复几百次。
实时性应从训练目标一起设计。 DreamZero-Flash 的核心不是事后蒸馏，而是让训练噪声分布匹配少步推理。未来的 diffusion policy 评估应同时报告质量、延迟和闭环反应时间。
跨本体接口值得模块化。 共享视频世界模型、单独学习 embodiment-specific action decoder，可能比把所有机器人动作 token 混在一个大模型里更节省数据。
评测应区分“计划错”与“执行错”。 DreamZero 的视频-动作对齐可提供天然诊断信号：若生成视频已偏离目标，应该改进 world model；若视频合理而动作失败，才需要改 action representation、控制器或本体适配。

DreamVLA 论文精读：让机器人先“做梦”再行动

Wed, 26 Aug 2026 00:00:00 GMT

1. 论文概述

【Paper】 DreamVLA 的核心问题是：VLA 需要“向前看”，但直接生成未来 RGB 帧既昂贵又包含大量与动作无关的背景。论文把视觉-语言-动作推理改写成一个逆动力学问题：模型先从当前观测形成未来的 world embedding，再用该表示预测动作序列。

一句话总结

【Analysis】 DreamVLA 让策略先预测“下一步哪些区域会动、空间几何会怎样、哪些语义仍然重要”，再把这些抽象的未来知识交给动作扩散模型；它预测的是对控制有用的未来，而不是像素本身。

核心贡献

【Paper】 论文贡献可以拆成四点：

用动态区域（dynamic region）、单目深度（depth）和 DINOv2/SAM 语义特征组成 comprehensive world knowledge forecasting。
将三类 <dream> query 分开，并使用 block-wise structured attention 阻止它们互相读取，减少跨模态信息泄漏。
用 denoising Diffusion Transformer（DiT）从 <action> query 的 latent 中生成多步连续动作，形成 perception–prediction–action loop。
在 CALVIN、LIBERO 和 Franka 真实机器人上验证，CALVIN ABC-D 平均完成长度为 4.44，真实任务成功率为 76.7%。

2. 背景与相关工作

【Paper】 直接回归动作的 VLA 通常只学习当前观测到动作的映射，缺少显式的 look-ahead reasoning。另一类方法借助视频或图像生成器预测未来画面，但整帧预测有两个问题：背景像素带来冗余监督，生成结果未必包含“哪个物体将移动”这样的控制关键量。

【Analysis】 DreamVLA 处在两条路线之间：它保留统一 Transformer 的多模态融合，却把未来预测目标改成结构化知识；同时，DiT 不负责“想象画面”，只负责在 latent 条件下建模动作的条件分布。这样做把表示学习和控制解码的职责分开。

3. 问题定义

【Paper】 在时间步 $t$，输入包括语言指令 $l$、当前 RGB 观测 $o_t$ 和本体状态 $s_t$。统一模型 $mathcal{M}$ 通过 <dream> queries 生成未来世界表示：

$$ \mathbf{w}_{t+n}=\mathcal{M}(l,o_t,s_t\mid\texttt{}). $$

随后预测未来知识 $\hat p_{t+n}=[\hat f_{t+n},\hat d_{t+n},\hat c_{t+n}]$，其中 $f$ 是动态区域，$d$ 是深度，$c$ 是语义特征；<action> query 则条件化 DiT 生成 $n$ 步动作 $\hat a_{t:t+n-1}$。

【Code】 官方实现 models/dreamvla_model.py 的默认 action 维度为 7：6 维机械臂位姿增量加 1 维夹爪信号；action_pred_steps 决定动作 chunk 长度。模型还可选 RGB、depth、trajectory、DINO 和 SAM 预测头，训练参数通过 utils/arguments_utils.py 暴露。

| 要素 | DreamVLA 定义 | | --- | --- | | Observation | RGB 图像、语言、6 维 arm state 与 2 维 gripper state | | Vision encoder | 默认 MAE ViT；可切换 DINOv2 + SigLIP 特征 | | Multimodal fusion | CLIP text projector、Perceiver Resampler、GPT-2 风格 Transformer | | World knowledge | 动态区域、深度、DINOv2/SAM 语义特征 | | Action representation | 连续 7 维 action chunk | | Action decoder | MLP 或 DiT；论文主方法使用 Diffusion Transformer | | Robot / datasets | CALVIN、LIBERO、DROID 预训练与 Franka 真实任务 |

4. 方法

4.1 Overall Architecture

【Paper】 三类输入先经过 modality-specific encoder，再与三组 <dream> query 和 <action> query 拼接到 GPT-2 风格的统一 Transformer。动态、深度、语义 query 分别产出对应的 world knowledge；action query 汇总当前与未来 latent，交给 DiT。

【Analysis】 数据流可以压缩成一句话：language + RGB + proprioception → world embedding → dynamic/depth/semantic prediction → action embedding → diffusion action chunk。完整训练和推理步骤分别放在 4.4 与 4.5，避免把同一条流水线重复描述。

4.2 核心模块

(1) 多模态编码与 query

【Paper】 语言由 CLIP text embedding 投影；视觉帧由 MAE 获得 patch 表示并经过 Perceiver Resampler 压缩；proprioception 由线性层编码。每个时间步附加可学习 query：dynamic、depth、semantic 三类 <dream> query，以及动作 query。

【Code】 DreamVLA.__init__ 中 num_resampler_query 默认是 9；不同知识头默认各自拥有两组 query（当前/未来 token），share_query=True 时才共享表示空间。代码同时定义 arm_state_encoder、gripper_state_encoder 与对应的 action projector，因此 proprioception 并非论文摘要中可忽略的附加输入。

(2) Dynamic-region forecasting

【Paper】 CoTracker 从演示视频提取随末端执行器或可动物体移动的区域，目标是预测“哪里会变”，而不是回归完整 optical flow 或未来 RGB。动态区域重建损失采用 masked reconstruction / ELBO 形式。

【Analysis】 二值区域比稠密 flow 更贴近控制接口：策略只需知道动作相关区域，不必拟合每个背景像素的精确速度。消融实验中移除 dynamic-region 信号造成的性能下降最大，也支持了这个取舍。

(3) Depth 与 semantic forecasting

【Paper】 depth query 预测未来单目深度；有深度传感器时使用标注，没有时以 Depth-Anything 作为 teacher。semantic query 预测未来 DINOv2 和 SAM 特征，用对比学习保持目标区域的语义辨识度。

【Code】 对应实现是可选的 depth_decoder、dino_feat_decoder、sam_feat_decoder。这些 decoder 都是两层 ViT Block 加线性预测层；推理时可只保留 latent，不必执行像素级 decoder，从而降低延迟。代码还提供 use_dpt_head，用 Depth Anything V2 的 DPT head 输出深度图。

(4) Block-wise structured attention

【Paper】 每个 <dream> 子 query 可以读共享的图像、语言和状态 token，却不能直接读取另外两类 <dream> query；<action> query 也遵循时间因果约束。这样 dynamic 的高频运动细节不会污染 depth，semantic 也不会反向泄漏到 motion 表示。

【Code】 generate_attention_mask 构造显式的 $-\infty$ mask。函数按时间步分块，禁止未来块被当前块读取，并将 observation/action prediction token 与上下文 token 的可见边界单独设置；这比普通 causal mask 更具体，是论文结构化注意力在实现中的直接落点。

(5) Diffusion Transformer action head

【Paper】 action query 得到的 latent 与 world embedding 处于同一空间。论文认为简单 MLP 难以把共享 latent 中的感知预测信息转成多模态动作，因此使用 DiT 迭代去噪，将高斯噪声变成物理上连贯的动作序列。

【Code】 models/action_model/action_model.py 提供 DiT-S/B/L 三种规模；ActionModel.loss 随机采样扩散时间步，对动作 chunk 加噪并以噪声 MSE 训练。推理通过 create_ddim(ddim_step=10) 使用 DDIM 采样。仓库也保留 ActionModelFM 的 flow-matching 变体，但论文主实验描述的是 diffusion 版本。

4.3 关键公式

世界知识预测

$$ \hat p_{t+n}=\mathcal P(\mathbf w_{t+n})=[\hat f_{t+n},\hat d_{t+n},\hat c_{t+n}]. $$

【Paper】 $\mathcal P$ 是三类轻量预测头的集合；$\hat f$ 标记未来动态区域，$\hat d$ 编码几何，$\hat c$ 保存高层语义。这个分解把“未来”从像素空间改写成动作相关的结构化空间。

深度损失

$$ \mathcal L_{depth}=\frac1{HW}\sum_{i,j}(\hat d^{(i,j)}-\alpha d^{(i,j)})^2, \quad \alpha=\frac{\sum_{i,j}\hat d^{(i,j)}d^{(i,j)}}{\sum_{i,j}(d^{(i,j)})^2}. $$

【Paper】 $\alpha$ 消除单目深度的全局尺度不确定性，因此监督重点是相对深度关系，而非绝对米制尺度。

语义 InfoNCE

$$ \mathcal L_{sem}=-\log\frac{\exp(\hat c_{t+n}^{\top}c_{t+n}/\tau)}{\sum_k\exp(\hat c_{t+n}^{\top}c_k/\tau)}. $$

【Paper】 正样本是同一未来位置的特征，空间错位特征作为负样本，$\tau$ 是温度系数。

DiT 去噪目标

$$ \mathcal L_{DiT}=\mathbb E_{\tau,\epsilon}\left|\epsilon-\epsilon_\theta(\sqrt{\bar\alpha_\tau}a+\sqrt{1-\bar\alpha_\tau}\epsilon,\tau,\mathbf c)\right|_2^2. $$

【Paper】 $a$ 是真实动作 chunk，$\mathbf c$ 是 action latent，$\epsilon_\theta$ 预测加入的噪声；反向扩散因此可以从随机样本恢复多种可行动作。

4.4 Training

【Paper】 训练同时优化动态区域、深度、语义和动作损失。论文报告使用 AdamW、初始学习率 $10^{-3}$、weight decay $10^{-4}$、5% warm-up、batch size 64，并在 8 张 A800 上训练 20 epochs；损失权重为 $\lambda_{dyn}=0.1$、$\lambda_{depth}=0.001$、$\lambda_{sem}=0.1$、$\lambda_{DiT}=1$。

【Code】 仓库的命令行默认值并不完全等同于论文配置（例如 learning_rate 默认 $10^{-4}$、weight_decay 默认 0.1），实际复现实验需要使用项目提供的配置覆盖这些默认值。代码支持 CALVIN、DROID、LIBERO 预训练/微调和 real finetune 数据加载器。

4.5 Inference

【Paper】 推理时模型输入当前观测和语言，先获得 world embedding，再由 action query 条件化 DiT。未来知识 decoder 可以跳过，因为 action latent 已经承载了预测结果；DiT 从高斯噪声开始反向扩散，输出动作 chunk，并执行其中的当前步动作。

【Code】 eval_utils_calvin.py 与 eval_utils_libero.py 调用模型得到 arm/gripper action，再将夹爪值阈值化为环境需要的离散信号。LIBERO evaluator 维护 all_time_actions，用指数权重融合重叠 chunk；CALVIN evaluator 也保留可选的 action ensemble 开关。

4.6 代码实现对照

| 论文概念 | 官方代码位置 | 对照结论 | | --- | --- | --- | | 统一 VLA | models/dreamvla_model.py::DreamVLA | 统一 backbone 同时产出知识与动作 latent | | 结构化 attention | generate_attention_mask | 显式 block mask，时间块之间保持因果性 | | DiT action head | models/action_model/action_model.py | DiT-S/B/L，默认 action dim=7 | | 扩散损失 | ActionModel.loss | 随机 timestep + q_sample + noise MSE | | 数据与训练 | train.py, utils/data_utils.py | 支持 CALVIN/DROID/LIBERO/real/OXE 路径 | | 推理与评估 | utils/eval_utils_calvin.py, utils/eval_utils_libero.py | chunk 执行与可选 ensemble |

【Analysis】 论文把“推理时跳过 decoder”描述成设计优势，而代码中是否启用某个 decoder 由 obs_pred、depth_pred、dino_feat_pred、sam_feat_pred 等 flag 决定。因此复现时不能只看论文图，还要检查运行配置。

5. 实验

5.1 Experimental Setup

【Paper】 仿真部分使用 CALVIN ABC-D 和 LIBERO 四个 suite；真实实验使用 Franka Panda、两台 RealSense D415（第三视角和腕部视角），覆盖 pick、place 与抽屉开关。真实任务每个任务收集 100 条 demonstration，并与 Diffusion Policy、Octo-Base、OpenVLA 比较。

5.2 Main Results

【Paper】 CALVIN ABC-D 结果如下，指标为每个连续任务长度的成功率和平均完成长度：

| 方法 | 1 | 2 | 3 | 4 | 5 | Avg. Len. | | --- | ---: | ---: | ---: | ---: | ---: | ---: | | OpenVLA | 91.3 | 77.8 | 62.0 | 52.1 | 43.5 | 3.27 | | UNIVLA | 95.5 | 85.8 | 75.4 | 66.9 | 56.5 | 3.80 | | Seer | 96.3 | 91.6 | 86.1 | 80.3 | 74.0 | 4.28 | | VPP | 95.7 | 91.2 | 86.3 | 81.0 | 75.0 | 4.29 | | DreamVLA | 98.2 | 94.6 | 89.5 | 83.4 | 78.1 | 4.44 |

【Paper】 LIBERO 的平均成功率为 92.6%，在 Spatial/Object/Goal/Long 四个 suite 上分别为 97.5/94.0/89.5/89.5；真实 Franka 任务总体成功率为 76.7%。

5.3 Ablation Study

【Paper】 消融回答了几个关键问题：

只预测 dynamic region 的收益最大；单独预测 depth、DINO 或 SAM 可能因辅助损失噪声而低于 vanilla VLA。
同时预测五类知识后，移除 dynamic region 的下降最明显；移除 DINO 甚至可能略有提升，因此后续配置偏向 SAM 语义。
用完整未来知识预测优于只重建当前 RGB/depth/semantic 的 auxiliary task。
由 CoTracker 生成 mask 比直接预测 optical flow 更稳健。
structured attention 优于 vanilla causal attention；每种知识使用独立 query 优于共享 query。
每种 modality 使用 9 个 query 的效果优于 4 或 16 个，后者分别受容量不足或冗余竞争影响。

5.4 Generalization

【Analysis】 DreamVLA 的泛化证据来自三种变化：CALVIN 的长时序组合、LIBERO 的空间/物体/目标/长程 suite，以及 Franka 的真实相机与物体变化。共同点是动作必须依赖未来状态而非单帧外观；动态区域提供的控制相关归纳偏置因此更可能跨场景复用。

6. 方法分析

6.1 为什么有效？

【Analysis】 方法有效的关键不是“多加三个预测头”，而是把预测目标和动作因果链对齐。dynamic mask 直接告诉策略哪些像素将参与交互，depth 约束可达空间，semantic feature 保留目标身份；DiT 再把这些互补信号转成多模态、时间连贯的 action chunk。结构化 attention 则防止辅助任务通过共享 latent 互相污染。

6.2 核心创新

预测对象的创新：从整帧未来图像转向 comprehensive yet compact world knowledge。
信息路由的创新：三类 dream query 独立建模，并以 block mask 保持表示干净。
控制头的创新：用 latent-conditioned DiT 做逆动力学，而不是让语言模型回归动作。
系统层面的统一：训练与推理都经过 perception–prediction–action loop，不依赖推理时额外调用视频生成模型。

6.3 与已有方法的本质区别

【Analysis】 与直接 VLA 的区别是“先形成未来状态再动作”；与视频/子目标图像方法的区别是“预测动作相关知识而非像素”；与单独 world model 的区别是“world embedding 和 action latent 在同一端到端 Transformer 中联合优化”。

6.4 关键假设

由 CoTracker 提取的动态区域能够稳定代表动作相关区域。
Depth-Anything 的 teacher 误差不会把错误几何写入 policy。
DINO/SAM 特征的空间对比关系足以表达任务语义。
各类知识可以通过 query 分离而不损失必要的跨模态交互。
DiT 的条件 latent 包含足够信息，使推理时省略显式 decoder 仍能保持控制质量。

7. 局限性

7.1 作者明确提出的局限

【Paper】 论文指出未来工作仍需降低推理成本、探索更丰富的世界知识和更大规模真实机器人数据；现有系统依赖预训练特征提取器和离线标注流程，尚未覆盖开放环境中的所有动态因素。

7.2 自己分析得到的局限

【Analysis】 首先，动态 mask 是二值摘要，可能丢失速度、方向和接触力信息；当两个物体都在运动时，mask 也不表达哪一个运动由当前指令引起。其次，深度与 DINO/SAM 的未来监督来自 teacher 或预提取特征，teacher 的时空对齐误差会进入表示。最后，structured mask 是人为先验：若某任务需要 motion 与 semantics 的细粒度互相解释，完全切断 query-to-query edge 可能反而限制表达能力。代码层面还存在较多配置开关，论文默认设置与 argparse 默认值不一致，复现门槛并不低。

8. 启发与研究思考

【Analysis】 DreamVLA 给出的更一般结论是：机器人 world model 不一定要生成“看起来真实”的未来，而应生成“能改变决策”的未来。对后续研究，我认为有三条路线值得继续：

把 dynamic mask 升级为带方向和不确定性的 object-centric motion token，同时保持紧凑性。
让结构化 attention 从固定 block mask 变成可学习路由，在需要时允许 semantic→motion 的受控通信。
将 DiT 的多样轨迹与安全约束、碰撞预测或视觉触觉反馈联合起来，测试 world embedding 在分布外接触任务中的可靠性。

3D Diffusion Policy（DP3）论文精读：用稀疏点云提升少样本视觉运动泛化

Wed, 26 Aug 2026 00:00:00 GMT

1. 论文概述

一句话总结

【Paper】 3D Diffusion Policy（DP3）不再把视觉输入当作二维纹理，而是从单个深度相机恢复稀疏 3D 点云，再用很小的 PointNet 风格编码器提取 64 维几何特征，条件化动作扩散模型。论文的关键判断是：在机器人控制中，正确的 3D 几何归纳偏置比更大的视觉 backbone 更重要。

核心贡献

【Paper】

提出把稀疏点云与 Diffusion Policy 结合的 DP3，统一覆盖高维灵巧手和低维平行夹爪控制。
设计仅含三层 MLP、max-pooling、projection head 和 LayerNorm 的 DP3 Encoder，输出 64 维紧凑表示。
只用单视角深度、bounding-box crop 与 farthest point sampling（FPS），在 72 个仿真任务上平均成功率 74.4%，比图像 Diffusion Policy 相对提升 24.2%。
在 4 个真实任务中每个任务仅用 40 条示教，平均成功率达到 85%，并在空间、视角、外观和实例变化下保持泛化。
真实部署中 DP3 的安全违规率为 0%，而图像和深度 baseline 分别为 32.5% 和 25.0%；作者同时强调这一安全观察主要是定性评估。

2. 背景与相关工作

【Paper】 视觉模仿学习通常从 RGB 图像回归动作，但少样本机器人控制有两个冲突：RGB 保留了丰富外观，却让模型容易记住训练视角和颜色；深度包含几何，却常以二维图像或体素形式输入，空间关系仍需网络自行推断。已有 Diffusion Policy 能表达多模态、时间相关的连续动作分布，但其视觉条件仍主要来自图像编码器。

【Analysis】 DP3 的问题切入点并不是提出新的 diffusion sampler，而是改变 condition 的坐标系：让网络直接看到与动作执行相同的 3D 空间。这样，训练分布外的目标位置或轻微视角变化更像点云中的平移/局部几何变化，而不是完全不同的像素模式。

3. 问题定义

【Paper】 给定少量专家轨迹，学习视觉运动策略 $\pi: \mathcal{O}\mapsto\mathcal{A}$。每个时间步的观测包含单视角深度生成的点云 $P_t$ 与机器人位姿/关节状态 $q_t$，策略输出未来 $H$ 步连续动作序列 $A_t=(a_t,\ldots,a_{t+H-1})$，只执行其中前 $N_{act}$ 步后重新规划。

Observation：$84\times84$ 深度图经相机内外参转为点云；裁剪工作空间后 FPS 到 512 或 1024 点。默认不使用 RGB 颜色。
Action representation：仿真任务沿用各环境连续控制；真实任务使用 Franka 末端相对位置控制与 Allegro 手指相对关节角控制，动作维度为 22。
Embodiment：Adroit、Bi-DexHands、DexArt、DexDeform、DexMV、HORA、MetaWorld，以及 Allegro hand 和 Franka gripper。
Objective：学习条件分布 $p(A_t\mid P_{t-To+1:t},q_{t-To+1:t})$，而非单峰的动作均值。

4. 方法

4.1 Overall Architecture

【Paper】 数据流是“深度图 → 相机坐标系点云 → crop/FPS → DP3 Encoder → 3D feature，与 robot state 拼接 → Conditional U-Net Diffusion Policy → 动作序列”。训练和推理的逐步过程分别见 4.4 与 4.5。

4.2 核心模块

稀疏点云预处理

输入：单帧深度和相机内外参。
中间步骤：去除桌面、地面等冗余点；在固定 bounding box 内保留工作空间；用 FPS 选择 512/1024 个点。
输出：$P\in\mathbb{R}^{N\times3}$（可选 RGB 时为 6 通道）。
为什么需要：crop 降低背景干扰，FPS 比均匀采样更稳定地覆盖 3D 空间，也减少 PointNet 的计算量。

DP3 Encoder

【Paper】 每个点经过三层 MLP，随后用 permutation-invariant max-pooling 聚合所有点，再通过 projection head 得到 64 维几何向量 $v$；LayerNorm 交错在 MLP 中以稳定训练。机器人状态通过独立的小型 MLP 编码后与 $v$ 拼接。

【Code】 model/vision/pointnet_extractor.py 中的 DP3Encoder 默认只取 point_cloud[..., :3]，PointNetEncoderXYZ 输出 64 维，状态 MLP 默认输出 64 维，最终 observation feature 为两者拼接。代码支持把 imagined robot 点云拼到输入中，但默认配置未启用。

Conditional Diffusion Policy

【Paper】 决策模块从高斯噪声动作序列开始，使用 1D Conditional U-Net 进行反向去噪。视觉特征和最近 To=2 步状态作为 global condition；动作序列长度默认 H=16，每次执行 N_act=8 步。

【Code】 policy/dp3.py 在训练时将归一化动作加入噪声，在随机 diffusion timestep 上预测目标；推理时从 torch.randn 初始化轨迹，调用 scheduler 的 10 步 DDIM 反向过程，再反归一化并切出 [To-1:To-1+N_act] 的动作窗口。

4.3 关键公式

前向加噪与训练目标

$$ \tilde A^k=\bar\alpha_k A^0+\bar\beta_k\epsilon^k,\qquad \mathcal L=\operatorname{MSE}\bigl(A^0,\epsilon_\theta(\tilde A^k,k,v,q)\bigr) $$

这里 $A^0$ 是示教动作序列，$\epsilon^k\sim\mathcal N(0,I)$，$k$ 是随机采样的训练时间步，$\bar\alpha_k,\bar\beta_k$ 由 noise schedule 决定。论文和默认配置使用 prediction_type: sample，因此网络目标是恢复干净动作样本；若切换为 epsilon prediction，目标才是噪声本身。

反向采样

$$ A^{k-1}=\alpha_k\left(A^k-\gamma_k\epsilon_\theta(A^k,k,v,q)\right)+\sigma_k z,\quad z\sim\mathcal N(0,I) $$

其中 $\alpha_k,\gamma_k,\sigma_k$ 由 DDIM scheduler 给出。DP3 的创新不在这些系数，而在 condition $v$ 的 3D 几何质量。

4.4 Training

【Code】 官方 dp3.yaml 使用 AdamW（learning rate $10^{-4}$，weight decay $10^{-6}$）、batch size 128、cosine schedule、500 步 warm-up、EMA；MetaWorld 训练 1000 epochs，其他仿真和真实任务 3000 epochs。训练 timestep 为 100，默认 DDIM 在推理时取 10 步。

4.5 Inference

【Paper】 策略采用 receding-horizon：每次根据最新观测生成一段动作，只执行前几步，再重新感知。这样既保留动作序列的时间一致性，也能在执行过程中纠正误差。

4.6 代码实现对照

【Code】 官方仓库把实现拆为 policy/dp3.py、model/vision/pointnet_extractor.py、model/diffusion/conditional_unet1d.py、dataset/*_dataset.py 和 config/{dp3,simple_dp3}.yaml。数据集返回形状为 obs: (T, …)、action: (T, Da) 的字典；compute_loss 对每个 batch 随机采样 timestep 并屏蔽条件位置。simple_dp3.yaml 是简化版本，README 报告其推理速度可达 25 FPS，精度损失不大。

【Analysis】 论文强调 512/1024 点足够；README 还建议在自己的任务上尝试更长的 horizon/action horizon，并优先使用 global position action。它们是工程建议，不是论文主实验的固定结论。

5. 实验

5.1 Experimental Setup

【Paper】 仿真覆盖 7 个 domain、72 个任务，包含灵巧手、双手、可变形物体、铰接物体和 MetaWorld 平行夹爪；每个 seed 在训练中每 200 epochs 评估 20 episodes，报告 3 个 seed 的均值和标准差。真实实验使用单个 RealSense L515，4 个任务各 40 条人类 teleoperation 示教：Allegro hand 的 Roll-Up、Dumpling、Drill，以及 gripper 的 Pour。

5.2 Main Results

| 设置 | DP3 | Diffusion Policy | 相对变化 | | ------------------------------------ | -------: | ------------------------: | ---------: | | 72 个仿真任务平均成功率 | 74.4 | 59.8 | +24.2% | | 真实任务平均成功率（10 trials/task） | 85.0 | 35.0（RGB）/20.0（Depth） | 明显提升 |

【Paper】 仿真中 DP3 在 Adroit、Bi-DexHands、DexArt、DexMV、HORA 和各难度 MetaWorld 上均优于图像 baseline，仅 DexDeform 与图像 policy 的差距方向相反（87.8 vs 90.5）。DP3 通常约 500 epochs 即收敛，而图像 policy 更慢或停在次优解。

真实任务逐项成功率为 Roll-Up 90%、Dumpling 70%、Drill 80%、Pour 100%。这说明 3D 表示同时适用于高维 Allegro hand 和低维 gripper。

5.3 Ablation Study

【Paper】 在 6 个任务上，完整 DP3 平均成功率为 78.3。去掉点云 crop 后降到 45.3；去掉 LayerNorm 为 73.0；使用 epsilon prediction 为 67.0；加入颜色为 72.0；将 DDIM 换成 DPM-solver++ 为 48.3。去掉 projection head 几乎不影响精度（77.7），但会增加计算量。

| 点云表示/编码器 | 平均成功率 | | ----------------------------------------------------- | ---------------------: | | Point cloud + DP3 Encoder | 78.3 | | Oracle state | 76.8 | | RGB image | 40.7 | | Depth image | 32.0 | | Voxel | 32.3 | | PointNet / PointNet++ / PointNeXt / Point Transformer | 15.7 / 2.2 / 2.3 / 1.0 |

【Analysis】 结果同时支持两点：深度信息只有在合适的 3D 表示中才真正有用；轻量编码器的归纳偏置比“更大、更通用”的预训练点云模型更适合少样本控制。

5.4 Generalization

【Paper】 真实实验中，DP3 在 Pour 的 5 个未见空间位置成功 4 次；在 Drill 中仅用绿色方块训练，却对 5 种颜色全部成功；把方块替换为 mouse、Espeon、cup、mug、hand 等日常物体时 5/5 成功；Roll-Up 的 3 个轻微相机视角变化也全部成功。相比之下，RGB/Depth baseline 在这些设置中大多失败。

6. 方法分析

6.1 为什么有效？

【Analysis】 点云把“目标在图像右上角”转换成“目标位于机器人坐标系中的某个 3D 区域”，动作与观测共享坐标系；FPS 又让稀疏输入覆盖物体轮廓。于是 diffusion model 主要学习几何到动作的映射，而不是记忆颜色、纹理和相机像素布局。紧凑的 64 维 feature 还降低了 condition 维度，使少量示教足以约束动作分布。

6.2 核心创新

【Analysis】 真正的创新是“表示选择 + 简化工程”的组合：单视角点云、crop/FPS、无颜色输入、轻量 PointNet、sample prediction 和 receding-horizon。每个组件都朴素，但共同减少了 domain nuisance，使 Diffusion Policy 在真实机器人上变得可用。

6.3 与已有方法的本质区别

DP3 与图像 Diffusion Policy 的主要差异是 condition modality，而非 diffusion backbone；与 voxel/implicit 3D 方法相比，它不构造稠密空间网格或昂贵的预训练 3D 表征，而是直接在点集上做 permutation-invariant 聚合。与“堆大 encoder”的路线相反，DP3 证明控制任务更需要任务对齐的几何偏置。

6.4 关键假设

相机内外参和机器人工作空间可标定，点云能转换到稳定坐标系。
单个视角能看到完成任务所需的关键几何；严重遮挡时论文没有给出保证。
任务动作主要由局部几何和机器人状态决定，颜色不是必要信息。
训练与部署的点云质量相近；README 特别提醒低质量 D435 点云可能导致失败。

7. 局限性

7.1 作者明确提出的局限

【Paper】 视角泛化实验只覆盖轻微变化，较大的相机位姿变化可能难以处理；安全性结论主要是定性观察，作者没有给出理论解释。论文也未声称 DP3 解决了严重遮挡、多视角融合或任意机器人形态迁移。

7.2 自己分析得到的局限

【Analysis】 固定 bounding box 需要为每个机器人/场景重新标定；裁剪过严会丢失接触前的上下文，过松又会引入背景。点云只保留 XYZ 时，对材质、可见性和语义类别缺少区分；而真实任务的 40 条示教仍依赖昂贵 teleoperation。最后，10 步 DDIM 采样虽已实用，但长 horizon 或高维双臂动作仍可能带来延迟和误差累积。

8. 启发与研究思考

先选坐标系，再选 backbone。 如果观测和动作天然在 3D 空间中，先把表示变换到该空间，往往比换更大的视觉模型更有效。
少样本控制应优先消除 nuisance。 去掉颜色不是信息损失，而是主动让策略对外观不敏感；crop/FPS 也是数据质量控制，而非单纯压缩。
DP3 是很好的 VLA/Policy 基线。 后续工作可以把语言 embedding、触觉或历史 latent 作为额外 condition，同时保留点云几何通道。
值得研究的方向：SE(3)-equivariant 点云 encoder、自适应 crop、多相机遮挡补全、flow matching 加速，以及对安全违规率的可验证约束。

Ctrl-World 论文精读：让世界模型在想象中评估和改进机器人策略

Wed, 26 Aug 2026 00:00:00 GMT

1. 论文概述

一句话总结

【Paper】 Ctrl-World 从预训练的 Stable Video Diffusion（SVD）出发，加入多视角联合预测、位姿条件的稀疏历史记忆和逐帧动作条件，让世界模型能够预测机器人动作造成的未来视觉变化；因此，一个通用 VLA policy 可以和它在想象空间中反复交互，而不必每次都真的运行机器人。

核心贡献

【Paper】

提出面向 policy-in-the-loop 的 controllable world model：输入 DROID 的三路相机观察与 action chunk，输出空间一致的多视角未来帧。
用 pose-conditioned memory retrieval 把稀疏历史帧重新引入上下文，用 frame-level action conditioning 将每个动作与对应未来帧对齐，从而缓解长时漂移和动作控制不精确。
在 95,599 条轨迹、564 个场景的 DROID 数据上训练；模型可在新相机布置上零样本生成超过 20 秒的轨迹，并在 10 秒交互评测中取得更低的 FVD（97.4）。
在新的 DROID 设置中，world-model rollout 能正确反映不同通用策略的 instruction-following 排名；用想象中筛选出的成功轨迹微调 π₀.₅-DROID 后，下游任务成功率从 38.7% 提升到 83.4%，平均提升 44.7 个百分点。

【Analysis】 论文的关键不是“给视频模型加一个动作向量”这么简单，而是同时修复了现代 VLA 的三个接口问题：它们需要多视角输入、动作通常是高频 chunk、闭环 rollout 又会把小误差不断累积。Ctrl-World 将这三个约束一起放进生成模型设计中。

2. 背景与相关工作

【Paper】 真实机器人评估需要在多个任务、物体和初始状态上重复 rollout；发现失败后，传统做法还要重新收集带专家标签的数据。这个循环昂贵、缓慢，而且很难针对“陌生指令”快速迭代。动作条件视频模型提供了另一条路径：先预测动作将造成的视觉结果，再在预测世界里继续运行 policy。

已有 action-conditioned world model 往往只生成单个第三人称视角，因而看不到手腕相机中的接触细节；有些模型也没有逐帧控制，无法表达“只移动 3 cm”和“移动 6 cm”的差异。单次生成看起来合理，并不代表它能接受 policy 的下一段动作并保持长时一致。Ctrl-World 的目标是把 world model 变成一个可交互的 simulator，而不只是视频预测器。

【Analysis】 这也解释了为什么论文把 wrist-view 当成一等公民：在抓取、滑动、折叠等任务中，真正决定成败的局部接触常常只在手腕视角可见。多视角不是为了增加展示图片，而是为了减少部分可观测造成的 hallucination。

3. 问题定义

【Paper】 在时刻 $t$，机器人观察为：

$$ o_t=[I_t^1,\ldots,I_t^N,q_t], $$

其中 $I_t^i$ 是第 $i$ 个相机的图像，$q_t$ 是机器人位姿；语言指令记为 $l$。通用 policy 输出长度为 $H$ 的 action chunk：

$$ a_{t+1:t+H}\sim\pi(\cdot\mid o_t,l). $$

world model $W$ 接收当前观察和该 action chunk，预测执行每一步后的多视角观察：

$$ o_{t+1:t+H}\sim W(\cdot\mid o_t,a_{t+1:t+H}). $$

将最后的预测观察 $o_{t+H}$ 送回 policy，便得到下一段动作 $a_{t+H+1:t+2H}$。反复执行这一过程，就能得到完全在想象空间中的长时轨迹。

【Paper】 DROID 实验使用一个 wrist-view 和两个随机布置的 third-view 相机；每个视频帧分辨率为 $192\times320$，每个交互 chunk 对应 15 个动作、约 1 秒。

4. 方法

4.1 Overall Architecture

【Paper】 模型以预训练 SVD 的时空 U-Net 为 backbone：历史多视角 latent、当前帧和加噪未来帧进入 spatial-temporal transformer；动作先被投影为每帧的条件 embedding，并与历史和未来位姿一起通过 frame-wise cross-attention 注入。整体数据流是“稀疏历史帧 + 当前多视角帧 + action/pose 条件 → 联合去噪未来多视角视频”。

【Code】 官方实现用 StableVideoDiffusionPipeline 加载 SVD，再以 UNetSpatioTemporalConditionModel 替换原始 U-Net；CrtlWorld（代码中的拼写）冻结 VAE 和 image encoder，只训练带动作条件的 U-Net，并另行加载 CLIP text encoder。

4.2 核心模块

多视角联合预测

【Paper】 $N$ 个相机图像在 token 维度拼接，模型在一次 forward 中同时预测所有相机的未来帧。这样同一时刻不同视角共享 transformer 的信息，wrist-view 的接触状态可以约束 third-view 的全局结果，反过来也一样。

【Code】 Dataset_mix.__getitem__ 从三个 camera id 读取 latent，并把每个相机的 $4\times24\times40$ latent 沿高度拼成 $4\times72\times40$；推理后再按相机拆回三路视频。代码没有把三路相机当作三个独立样本训练。

Pose-conditioned memory retrieval

【Paper】 长 rollout 中只保留最近帧会造成误差累积，全部历史又会让上下文无限增长。作者以 stride $m$ 从过去采样 $k$ 帧，并把对应的机械臂位姿通过 frame-wise cross-attention 投影到这些历史帧。未来帧也有对应的 action-derived Cartesian pose，因此模型可以用“当前要到达的位姿”检索过去相似状态，重新锚定物体和手臂的空间关系。

【Analysis】 它不是经典的外部向量数据库，而是把历史视觉和 pose 一起放回视频 transformer。所谓 retrieval 主要发生在注意力权重中：论文 Figure 4 展示预测 $t=4$ 秒时，模型会强关注 pose 相近的 $t=0$ 帧。

Frame-level action conditioning

【Paper】 预训练视频模型通常只接受 image/text 条件，动作只能粗粒度地影响结果。Ctrl-World 将 policy 输出的 action 转换到 Cartesian-space pose，并让未来第 $j$ 帧视觉 token 只需关注对应的第 $j$ 个 pose embedding，从而建立一一对应的时间对齐。

【Code】 Action_encoder2 由三层 MLP（输入 → 1024 → 1024 → 1024）组成；frame_level_cond=True 时保留 $(B,T,D)$ 的时间维，关闭时才将整段动作 flatten 成一个条件。代码中的动作实际是 Cartesian pose 加 gripper，共 7 维，并按数据集统计量归一化到 $[-1,1]$。

预训练初始化与扩散目标

【Paper】 模型初始化自约 1.5B 参数的 Stable Video Diffusion。除新建的 action-projection MLP 外，其余参数沿用预训练权重；训练时对未来 latent 加噪，并以 $\hat{x}_0$ 重建干净目标。

【Code】 models/ctrl_world.py 中 VAE、image encoder 和 text encoder 均 requires_grad_(False)，U-Net 开启 gradient checkpointing；训练脚本 scripts/train_wm.py 由 Accelerate 启动，README 给出 2×8 张 A100/H100、总 batch size 64、约 2–3 天的完整训练配置。

4.3 关键公式

给定未来视频 latent $x_0=o_{t+1:t+H}$，扩散训练在随机步 $t'$ 加入高斯噪声：

$$ x_{t'}=\sqrt{\bar\alpha_{t'}}x_0+\sqrt{1-\bar\alpha_{t'}}\epsilon, \qquad \epsilon\sim\mathcal N(0,I). $$

其中 $\bar\alpha_{t'}$ 是 scheduler 的累计信号系数，$t'$ 是扩散时间步，$\epsilon$ 是与 latent 同形状的噪声。网络输入由稀疏历史、当前帧和 $x_{t'}$ 拼接而成，条件集合为：

$$ c=[q_{t-km},\ldots,q_t, a'{t+1:t+H}, o{t-km},\ldots,o_t]. $$

训练目标是：

$$ \mathcal L=\mathbb E_{x_0,\epsilon,t'} \left|\hat{x}0(x{t'},t',c)-x_0\right|_2^2. $$

这里 $a'$ 表示转换到 Cartesian space 的动作位姿；损失只在未来视频上计算，动作通过条件分支影响视频生成，而不是额外回归一个 action head。

【Analysis】 这与“联合预测视频和动作”的方法不同：Ctrl-World 的 action 是外部 policy 提供的控制输入，模型学习的是 action → visual consequence 的 forward dynamics。这样才可以在推理时替换 action，观察不同动作会把世界带向哪里。

4.4 Training

【Paper】 DROID 含约 76k 条成功和 19k 条失败轨迹。训练样本随机取历史帧和未来帧：默认历史 7 帧，间隔约 1–2 秒；未来 15 个动作覆盖约 1 秒。三路相机同时预测，损失为加噪未来 latent 的 reconstruction MSE。

【Code】 数据预处理先用 dataset_example/extract_latent.py 把 RGB 编码到 SVD latent，再由 dataset_meta_info/create_meta_info.py 生成样本索引和 state/action 统计量。Dataset_mix 会随机选择历史 stride（1 或 2），偶尔将历史间隔置零；这使模型既看到短期连续信息，也看到更稀疏的检索上下文。

4.5 Inference

【Paper】 推理时给定初始观察和语言，policy 先输出一个 action chunk，Ctrl-World 生成未来 15 帧；只把最后的预测观察送回 policy 生成下一段动作。这个循环可以执行 20 次以上。策略评估中，初始观察来自验证集快照或新的 DROID 场景；策略改进中则通过改写指令或随机重置初始位姿制造多样 rollout。

【Code】 rollout_interact_pi_eval.py 对接 Physical Intelligence 的 openpi checkpoint。代码把 π₀.₅ 的 joint velocity 通过动力学模型和 forward kinematics 转为 15 步 Cartesian pose，再交给 Ctrl-World；README 还提供 keyboard、轨迹 replay 和 policy-in-the-loop 三种入口。每个 1 秒 interaction 在 A100 上约 10 秒、H100 上约 5 秒，说明论文中的想象 rollout 仍然是高算力离线工具，而非实时控制器。

4.6 代码实现对照

| 论文概念 | 官方实现 | 代码事实 | | --- | --- | --- | | SVD backbone | models/pipeline_stable_video_diffusion.py、models/ctrl_world.py | 从 SVD 加载 VAE、image encoder、scheduler 与 U-Net 权重 | | 动作投影 | Action_encoder2 in models/ctrl_world.py | 三层 1024 维 MLP；可选择逐帧条件或整段条件 | | 多视角输入 | dataset/dataset_droid_exp33.py | 三路 latent 拼成 (T, 4, 72, 40)，推理后拆分 | | 历史记忆 | forward_wm 与 rollout 脚本中的 his_cond buffer | 历史视频 latent 随 rollout 保存并再次作为条件 | | 数据预处理 | dataset_example/extract_latent.py、dataset_meta_info/create_meta_info.py | 先编码 latent，再生成样本索引和归一化统计量 | | 训练入口 | scripts/train_wm.py | Accelerate 多卡训练，配置来自 config.py | | Policy-in-the-loop | scripts/rollout_interact_pi_eval.py | 调用 openpi 的 π₀.₅，将 joint action 转成 Cartesian pose | | Checkpoint | README 的 Hugging Face yjguo/Ctrl-World | 公开 SVD、CLIP、Ctrl-World checkpoint 与 DROID 数据说明 |

【Code】 官方仓库是可运行的 PyTorch 实现，但完整 DROID 数据约 370 GB，π₀.₅ 还要单独按 openpi 的依赖和 checkpoint 配置；因此“能复现 demo”和“从头复现论文训练”之间有明显的硬件与数据门槛。

5. 实验

5.1 Experimental Setup

【Paper】 DROID 平台是带 Robotiq gripper 的 Panda，包含一个 wrist-view 与两个随机 third-view。作者从 95,599 条轨迹中留出 2% 验证集，随机采样 256 个 10 秒片段；每轮输入 15-step action chunk，自回归生成 10 轮。对比 WPE、IRASim 和 Ctrl-World 的 single-view 版本，指标包括 PSNR、SSIM、LPIPS、FID、FVD。

【Paper】 policy 评估使用公开的 π₀、π₀-FAST 和 π₀.₅，任务覆盖 Pick-and-Place、Towel-Folding、Drawer、Wipe-Table、Close-Laptop、Pull-tissue 和 Stack。改进实验选择空间理解、形状理解、毛巾折叠方向和新物体四类下游任务。

5.2 Main Results

【Paper】 在 10 秒长轨迹上，完整 Ctrl-World 的 third-view 指标为 PSNR 23.56、SSIM 0.828、LPIPS 0.091、FID 25.00、FVD 97.4；相较最强的 single-view/多视角基线，FVD 更低，说明视频分布和时序质量更好。完整多视角版本也优于只预测 third-view 的 Ctrl-World，证明 wrist-view 并非冗余输出。

【Paper】 Figure 5 展示了 wrist 相机视野大幅变化时的长期一致性：模型会从其他相机推断被遮挡区域，并从历史记忆取回相似状态。定性结果中，WPE、IRASim 和 single-view Ctrl-World 会出现物体瞬移或抓取 hallucination，而联合多视角模型能更准确地保持接触关系。

5.3 Ablation Study

【Paper】 消融结果直接对应三项设计：

| 设置 | Third-view FVD | Wrist-view FVD | 解释 | | --- | ---: | ---: | --- | | 完整 Ctrl-World | 97.4 | 127.1 | 多视角、memory、逐帧条件全部启用 | | 去掉 memory | 105.5 | 133.1 | 长时锚定变弱，误差更易累积 | | 去掉 frame-level condition | 122.7 | 179.1 | action 与视觉帧失去精确对齐 | | 去掉 joint prediction | — | 158.1 | wrist 与其他视角不能联合约束 |

【Paper】 Figure 4 还显示，即使 action 只相差几厘米，完整模型也能生成不同的未来；去掉 memory 后预测变模糊，去掉逐帧 pose condition 后控制精度下降。由此可见，三项模块分别负责“找回过去”“对齐动作”和“跨视角补足信息”，不是重复的正则化技巧。

5.4 Generalization

【Paper】 只在公开 DROID 上训练的 Ctrl-World 被直接用于新的 DROID 场景和新的相机位置。world-model 与真实世界的 instruction-following 相关性拟合线为 $y=0.87x-0.04$；成功率相关性为 $y=0.81x-0.11$。它能够正确排序 π₀、π₀-FAST、π₀.₅，但倾向于低估真实执行成功率。

【Paper】 策略改进实验中，每个任务生成 400 条想象轨迹，只保留 25–50 条人工判断成功的轨迹，再对 π₀.₅ 做 2k steps supervised fine-tuning。四类任务平均成功率从 38.7% 增至 83.4%；这是 +44.7 个百分点，而非相对百分比提升。

【Analysis】 评估和改进的收益来自不同层面：相关性实验只要求 world model 的“相对判断”稳定，不要求每个碰撞细节都物理精确；SFT 则依赖它能产生足够多的成功示范。后者因此更容易受到错误成功轨迹的影响，论文使用人工筛选而不是自动 reward model，成本仍然存在。

6. 方法分析

6.1 为什么有效？

【Analysis】

视频提供密集的 forward-dynamics 监督。 每个动作都对应一段可观察的视觉变化，模型不必把所有能力压缩成单个动作回归误差。
wrist-view 降低接触事件的不确定性。 把局部相机和全局相机联合建模，相当于为同一物体状态提供多个投影。
memory retrieval 把长时生成变成反复重锚定。 模型不需要从第一帧一直“记住”物体位置，而可以在历史中找到相似 pose 的视觉证据。
逐帧条件提高 action sensitivity。 action chunk 的每一步都有对应 pose embedding，模型更容易区分 3 cm 与 6 cm 的结果。

6.2 核心创新

【Paper】 真正的创新组合是：预训练视频 diffusion backbone、可控多视角视频生成、pose-conditioned memory、frame-level action conditioning，以及 policy-in-the-loop 的评估/改进闭环。单独的多视角预测、动作条件或想象 rollout 都已有先例；Ctrl-World 的贡献在于把它们组织成适配现代 VLA 接口的 world model。

6.3 与已有方法的本质区别

| 维度 | 单视角 action-conditioned video model | Ctrl-World | | --- | --- | --- | | 输入 | 一个第三人称视角 | third-view + wrist-view 等多视角 | | 动作条件 | 常是整段或粗粒度条件 | 每个未来 frame 对应一个 pose/action condition | | 长时一致性 | 依赖连续 rollout，容易漂移 | 稀疏历史 + pose 检索重新锚定 | | 使用方式 | 评估视频质量或离线生成 | 与 VLA policy 交替闭环交互 | | 下游用途 | 生成样本 | 评估 policy 排名，并筛选成功轨迹做 SFT |

6.4 关键假设

【Analysis】 方法依赖以下假设：

多视角 RGB 和机械臂 pose 足以描述任务所需的状态，触觉和力信息不是决定性变量；
DROID 的动作分布覆盖了测试时需要的细粒度控制；
历史中存在与当前 pose/物体状态足够相似的帧，memory 才能有效重锚定；
world model 的视觉 plausibility 与策略成功之间有稳定相关性。

论文没有证明这些假设在强接触、遮挡严重、滑动/碰撞主导或超出 DROID 分布的任务上仍然成立。

7. 局限性

7.1 作者明确提出的局限

【Paper】 作者明确指出：

复杂碰撞、物体滑动、旋转等低层物理仍不够精确，导致 world model 低估真实成功率；
真实 policy 失败后可能会重试，而想象 rollout 不一定复现这种 retry 行为；
精确交互和长时推理任务仍可能失败，性能对初始观察敏感；
论文的训练数据和推理过程需要多卡 GPU，完整 DROID 数据约 370 GB，复现成本高。

7.2 自己分析得到的局限

【Analysis】

筛选环节仍是人工瓶颈。 每个任务生成 400 条轨迹但只保留 25–50 条，说明想象空间的扩大并没有自动消除标注成本。
成功轨迹的选择可能放大模型偏差。 如果 world model 对某种错误接触产生“看起来成功”的视频，SFT 会把 hallucination 反向写入 policy。
动作与位姿转换绑定 DROID embodiment。 代码通过 joint velocity、动力学模型和 FK 转成 Panda 的 Cartesian pose；迁移到不同机器人并不是只换一个 checkpoint。
生成速度限制在线使用。 README 报告单次 interaction 在 H100 上约 5 秒，当前系统更适合离线评估、数据合成和研究迭代，而不是替代真实控制器。

8. 启发与研究思考

【Analysis】 Ctrl-World 把“世界模型是否准确”拆成了更有操作性的三个问题：它能否响应微小动作差异？能否在多视角下保持同一物体状态？能否让 policy 的相对表现排序与真实世界一致？这比只看 FVD 更接近机器人研究真正关心的可用性。

一个值得继续探索的方向是把人工成功筛选替换成不确定性感知的 reward model：world model 可以同时输出视觉轨迹和置信度，只有在多视角一致、接触事件可信时才写入 policy 数据。另一个方向是把真实 rollout 的失败片段增量加入 memory 和训练集，形成“世界模型评估 → 定位失败 → 合成纠正数据 → 真实验证”的闭环。

【Analysis】 对 Embodied AI 而言，Ctrl-World 的更深层启发是：预训练视频模型不一定要直接充当 policy。它也可以先充当一个可查询的 consequence model，让 policy 的能力评估、失败分析和少量数据微调共享同一套想象空间；但这要求未来的世界模型对物理失败保持保守，而不只是生成视觉上漂亮的未来。

Cosmos Policy 论文精读：把视频扩散模型变成策略、世界模型与规划器

Wed, 26 Aug 2026 00:00:00 GMT

1. 论文概述

论文名称：《Cosmos Policy: Fine-Tuning Video Models for Visuomotor Control and Planning》

作者：Moo Jin Kim、Yihuai Gao、Tsung-Yi Lin、Yen-Chen Lin、Yunhao Ge、Grace Lam、Percy Liang、Shuran Song、Ming-Yu Liu、Chelsea Finn、Jinwei Gu

机构：NVIDIA、Stanford University

会议 / 期刊：ICLR 2026

论文链接：arXiv

代码链接：nvlabs/cosmos-policy

项目主页：Cosmos Policy

模型与数据：Hugging Face collection

一句话总结

【Paper】 Cosmos Policy 不再为动作另造 action head，而是把 proprioception、action chunk、未来图像和 value 都编码成 latent frame，插入 Cosmos-Predict2-2B 的原生视频扩散序列；一次微调同时得到直接策略、世界模型和值函数，再用 rollout 数据校准后进行 best-of-N 规划。

核心贡献

【Paper】

提出 latent frame injection：不修改视频模型结构，只覆盖占位 latent frame，就能加入机器人状态、动作和值等新模态。
用一个统一扩散模型联合学习 $pi(a,s',V(s')\mid s)$、$p(s',V(s')\mid s,a)$ 和 $p(V(s')\mid s,a,s')$，避免多阶段训练与独立模块。
直接策略在 LIBERO 与 RoboCasa 达到 98.5% 和 67.1% 平均成功率，并在 ALOHA 双臂任务取得 93.6 平均完成度。
收集失败与成功的 rollout，微调 planning model，通过世界模型预测未来状态、value function 排序候选动作；困难 ALOHA 任务平均提升 12.5 个百分点。
公开训练、评测和部署代码，以及模型检查点和训练数据。

2. 背景与相关工作

【Paper】 视频生成模型从互联网视频中学习时间因果、隐式物理和运动模式，而典型 VLA 主要从静态图文对中学习语义。把视频模型迁移到机器人控制有潜力，但已有方法往往需要先微调视频、再训练 action module，或增加 inverse dynamics / action diffuser 等结构。

论文将路线分成三类：

Video-based policy：利用视频先验预测未来画面，再由额外模块解码动作；优点是能利用时空知识，缺点是系统复杂。
Unified video-action model：动作和视频一起预测，但通常从头设计或训练，无法直接继承大规模视频模型权重。
VLA：视觉语言模型擅长开放词汇和指令跟随，却未必具备视频模型已经学到的细粒度动力学先验。

【Analysis】 Cosmos Policy 的关键取舍是“迁移学习算法本身，而不是只迁移特征”。它接受视频扩散模型擅长表示高维、多模态、时间相关分布这一事实，然后把机器人动作当成另一种“帧”来建模。

3. 问题定义

【Paper】 机器人任务被写成有限时域 MDP $⟨S,A,T,R,H⟩$。给定时刻 $t$ 的观测状态 $s_t$ 与语言任务描述，策略输出长度为 $K$ 的动作 chunk；执行后到达未来观测 $s'$，并以稀疏终端奖励计算 return。

Observation：多视角 RGB 图像、机器人 proprioception 和文本任务描述。
Action：连续动作序列 $a_{t:t+K-1}\in\mathbb{R}^{K\times d_{act}}$；不同 benchmark 的 $K$ 不同。
Future state：未来 proprioception 与各相机图像。论文为简洁称其为 state，但严格来说是 observation 近似。
Value：未来状态的期望累计回报，取 Monte Carlo return $G_t=\gamma^{H-t}R(s_H,a_H)$。
Embodiment：LIBERO 和 RoboCasa 中的单臂 Franka Emika Panda；真实环境使用双臂 ALOHA（两台 ViperX 300）。

【Code】 官方仓库支持 libero、robocasa、aloha 三套评测。cosmos_utils.py 将相机、proprio 和语言 embedding 组织成模型序列，动作通过 ACTION_DIM 与配置中的 chunk_size 解码并反归一化。

4. 方法

4.1 Overall Architecture

Cosmos-Predict2-2B 原本接收首帧和文本、生成视频。Cosmos Policy 保留其 Wan2.1 VAE tokenizer、EDM 风格 latent diffusion transformer 与 T5 文本条件，只在 latent 序列中插入新帧：

【Paper】 数据流可以概括为：当前观测 $s$ 和语言条件进入一串 clean latent frames，action、未来状态 $s'$ 与 value 的位置保留为待生成帧；扩散模型只对目标帧加噪并进行去噪，得到三类输出。

【Code】 ALOHA / RoboCasa 的默认 latent 顺序是 [blank, current proprio, wrist image(s), third-person image(s), action, future proprio, future images, value]；LIBERO 使用 9 个 latent frame，RoboCasa 与 ALOHA 使用 11 个。首个 blank frame 是 Wan2.1 的 (1+T) 时间压缩所需占位符。

4.2 核心模块

Latent frame injection

输入：已由 VAE 编码的图像 latent，以及归一化到 $[-1,1]$ 的 proprio、动作和值。
输出：形状不变但语义被覆盖的 latent 序列。
做法：将低维向量展平并重复，填满一个 $C'\times H'\times W'$ latent volume，覆盖对应 blank frame。
为什么需要：不增加网络输入输出头，扩散 transformer 仍只处理原生 latent token。

【Code】 policy_text2world_model.py 的 replace_latent_with_action_chunk 与 replace_latent_with_proprio 完成覆盖；推理时 get_action 对 action latent 求平均、恢复 chunk 形状，再做 unnormalize。value 是整个 latent volume 的均值，不需要 VAE 解码。

统一的 Policy / World Model / Value Function

Policy 输入 / 输出：$s\rightarrow(a,s',V(s'))$，以 demo 样本为主。
World model 输入 / 输出：$(s,a)\rightarrow(s',V(s'))$，用 rollout 样本学习环境后果。
Value function 输入 / 输出：$(s,a,s')\rightarrow V(s')$；微调 planning checkpoint 时可 mask 掉 $s,a$，变成真正的 $V(s')$。
为什么联合训练：未来状态和值提供辅助监督，使动作预测不只拟合瞬时控制量，还要与可达状态和任务完成度一致。

【Paper】 初始训练 batch 按 50% policy、25% world model、25% value function 划分。三种任务使用同一套 latent 序列，只改变 clean conditioning mask 和 target mask。

Diffusion sampler 与噪声分布

【Paper】 基础 Cosmos-Predict2 的 log-normal 噪声对高 $σ$ 权重不足。Cosmos Policy 以 0.7 概率采样原 log-normal、以 0.3 概率从 $[1,85]$ 均匀采样；推理时令 $σ_{max}=80$、$σ_{min}=4$，避免接近零噪声的末端步骤降低精度。

【Code】 HybridEDMSDE 和 CosmosPolicySampler 实现混合噪声与去噪采样；动作、未来状态和值可以并行生成，也可按 action → future state → value 自回归生成。

Best-of-N planning

【Paper】 planning model 对每个候选 action 采样 3 次未来状态、每个未来状态采样 5 次 value，共 15 个 value 预测；使用 majority_mean，先按阈值判断多数预测成功或失败，再在多数组内求均值，降低双峰分布中的离群值影响。

4.3 关键公式

基础视频扩散目标

Cosmos-Predict2 使用 EDM denoising score matching：

$$ \mathcal{L}{EDM}=\mathbb{E}{x_0,c,n,\sigma}\left[|D_\theta(x_0+n;\sigma,c)-x_0|_2^2\right] $$

其中 $x_0$ 是 clean latent sequence，$c$ 是 T5 文本条件，$n\sim\mathcal{N}(0,\sigma^2I)$，$D_\theta$ 是 diffusion transformer。Cosmos Policy 只改变 $x_0$ 中部分 latent 的语义和 conditioning mask，核心损失仍是同一个去噪目标。

联合条件分布

三种训练视图对应：

$$ \pi(a,s',V(s')\mid s),\qquad p(s',V(s')\mid s,a),\qquad p(V(s')\mid s,a,s'). $$

第一个学习直接动作策略，第二个学习动作造成的未来观测，第三个学习给定未来状态后的回报。输入 mask 决定哪些 latent 是条件、哪些 latent 是 target。

Value target

稀疏终端奖励下，样本 return 为：

$$ G_t=\gamma^{H-t}R(s_H,a_H),\qquad V^\pi(s_t)=\mathbb{E}_{\tau\sim\pi}[G_t]. $$

代码中 compute_monte_carlo_returns 为每个 transition 写入该 return，并把它复制到 value latent 的所有位置。

Best-of-N 选择

给定候选动作 ${ a^{(i)}}_{i=1}^N$，规划器选择：

$$ i^=\arg\max_i;\operatorname{Agg}_{j,k}V^{(i,j,k)}(s'^{(i,j)}),\qquad a^{}=a^{(i^*)}. $$

$j$ 索引未来状态 ensemble，$k$ 索引 value ensemble，Agg 是 majority-mean 而非简单平均。

4.4 Training

【Paper】 初始 post-training 只使用目标机器人上的 demonstration。LIBERO 过滤失败示教训练 policy，但保留全部示教训练 world model/value；RoboCasa 同样处理。后续 planning model 使用 648 条 rollout（包含来自不同策略的 rollout 及额外 ALOHA ziploc-bag rollout），并把 batch 比例改为 10% policy、45% world model、45% value。

【Code】 LIBERODataset、RoboCasaDataset 和 ALOHADataSet 负责 HDF5 读取、图像增强、动作/proprio 归一化、chunk padding 与 Monte Carlo return；trainer.py 通过 sample mask 选择三种 loss。

主要超参数（【Paper】）：

| Benchmark | 训练步数 | GPU / global batch | action chunk | 执行策略 | | --------- | -------: | ------------------ | ------------------: | -------------------- | | LIBERO | 40K | 64×H100 / 1920 | 16 | 执行完整 chunk | | RoboCasa | 45K | 32×H100 / 800 | 32 | 执行前 16 步后重查询 | | ALOHA | 50K | 8×H100 / 200 | 50（25 Hz 下 2 秒） | 执行完整 chunk |

4.5 Inference

【Paper】 不做 planning 时使用并行解码：一次生成 action、future state、value，后两者可丢弃；LIBERO/RoboCasa 使用 5 个 denoising steps，ALOHA 使用 10 个。planning 时使用自回归解码，先产生动作，再预测未来状态和值。

【Code】 get_action 先把多相机图像 resize 到 224、读取 T5 embedding、注入 proprio 与图像；采样后从 action latent 恢复 chunk 并 unnormalize。planning 代码使用 N 个 GPU 并行执行候选分支，默认 real-world best-of-N 为 $N=8$。

4.6 代码实现对照

【Code】 官方实现与论文的对应关系如下：

| 论文概念 | 代码位置 | 实际行为 | | ---------------- | ----------------------------------------------------- | ------------------------------------------------ | | latent injection | models/policy_text2world_model.py | 用重复向量覆盖 action/proprio latent volume | | 视频策略模型 | models/policy_video2world_model.py | 通过 mask 切换 policy/world/value 训练目标 | | 数据与 return | datasets/*_dataset.py、datasets/dataset_common.py | 读取 HDF5、chunk padding、Monte Carlo return | | 推理与解码 | experiments/robot/cosmos_utils.py | 图像预处理、采样、latent 解码和动作反归一化 | | 评测部署 | experiments/robot/{libero,robocasa,aloha} | 三套 benchmark 的配置、环境和控制循环 | | 模型配置 | cosmos_policy/config 与各 experiment config | state_t、相机数量、chunk size、denoising steps |

【Analysis】 代码显示“无架构修改”并不意味着无需工程适配：每个 embodiment 都要定义 latent frame 顺序、相机数量、统计量、图像翻转/JPEG 处理和执行 horizon；真正复用的是 denoiser 和其采样机制。

5. 实验

5.1 Experimental Setup

【Paper】 LIBERO 包含 Spatial、Object、Goal、Long 四个 suite，每 suite 500 条示教；RoboCasa 有 24 个厨房任务，每任务仅使用 50 条人工示教；ALOHA 使用 4 个双臂任务、185 条示教，并测试 in-distribution 与 OOD 初始状态。

ALOHA 控制频率为 25 Hz，输入 14 维关节状态、一个 top-down 相机和两个 wrist 相机；动作 chunk 为 50 步。RoboCasa 每任务 50 trials、5 个场景、3 个随机种子；LIBERO 每 suite 500 trials、3 个种子。

5.2 Main Results

【Paper】 结果显示，Cosmos Policy 在不同数据规模和 embodiment 上都保持竞争力：

| Benchmark | Cosmos Policy | 代表性对手 | 训练数据对比 | | ---------------- | ------------: | ------------------------------: | ------------------------------ | | LIBERO 平均 SR | 98.5% | CogVLA 97.4%、OpenVLA-OFT 97.1% | 4 个 suite，各 500 demos | | RoboCasa 平均 SR | 67.1% | FLARE 66.4%、Video Policy 66.0% | 50 demos/task，而对手多为 300+ | | ALOHA 平均完成度 | 93.6 | π0.5 88.6、OpenVLA-OFT+ 62.0 | 185 demos，总计 101 trials |

LIBERO 的四个 suite 分别为 Spatial 98.1、Object 100.0、Goal 98.2、Long 97.6。【Analysis】 Long suite 的高分说明 action chunk 与视频时空先验不仅改善短程抓取，也有助于长时序任务。

论文还观察到：π0.5 在 ziploc bag 的高精度抓取上容易丢失滑块，OpenVLA-OFT+ 在多颗糖果任务中会落在两个目标之间。【Analysis】 这与 Cosmos Policy 直接建模连续多模态 action distribution 的设计相吻合，但仅凭这些案例不能推出对所有任务都优于 VLA。

5.3 Ablation Study

【Paper】 LIBERO 消融：去掉 auxiliary targets，平均 SR 从 98.5 降到 97.0；从随机初始化训练，降到 94.6。RoboCasa 逐步移除 value/world-model 样本和 policy 的辅助目标后，只有 action 的 barebones policy 降到 44.4%。

【Analysis】 消融把贡献拆成两层：预训练视频先验提供初始化，future state/value 辅助任务提供表征约束。RoboCasa 中从 67.1 降到 44.4 的大幅变化，说明未来状态预测比单纯增加一个 value head 更像是策略学习的关键正则。

5.4 Generalization

【Paper】 ALOHA 同时评测训练分布内与 OOD 初始摆放。Cosmos Policy 在四任务平均分最高，并在“put candies in bowl”和“put candy in ziploc bag”这类多模态、毫米级精度任务上优势最明显。

rollout 微调后的 planning model 能预测基础策略容易漏掉的失败，例如 ziploc bag slider 脱手。与无规划 policy 相比，模型式规划在两个困难任务上平均提升 12.5 分。

模型式 $V(s')$ 规划优于直接学习 $Q(s,a)$ 的 model-free 版本；论文将原因归因于世界模型提供的动力学结构，以及有限 rollout 数据下 Q 函数更容易过拟合。

6. 方法分析

6.1 为什么有效？

【Analysis】 有三条互相补强的路径：

视频先验：Cosmos-Predict2 已在大规模视频中学习物体运动与时间一致性，微调不必从随机权重开始。
统一 latent 空间：动作、proprio、图像和值共享 attention 与噪声建模，模型能把“动作是否会导致可达未来状态”纳入同一预测过程。
多模态采样：扩散采样保留多个可行 action mode，避免 L1/L2 回归把不同抓取策略平均成一个不可执行动作。

6.2 核心创新

真正的新意不是“视频模型用于机器人”这一方向本身，而是把适配接口压缩成 latent frame injection + mask：新模态只需能归一化成向量、填入 latent volume，并定义其在序列中的位置，就可以复用同一 denoiser。这样 policy、world model 和 value function 不是三个网络，而是同一网络的三种条件化方式。

6.3 与已有方法的本质区别

| 维度 | 典型 VLA | 视频策略 + 独立动作模块 | Cosmos Policy | | ------------ | ----------------- | -------------------------------- | --------------------------- | | 预训练先验 | 静态图文语义 | 视频动力学，但常需多阶段 | 直接继承 Cosmos-Predict2 | | 动作输出 | token 或回归 head | 独立 diffuser / inverse dynamics | 原生 latent diffusion frame | | 世界模型和值 | 通常分开 | 多为额外模块 | 同一模型、不同 mask | | 规划 | 常无或外接 | 依赖额外接口 | rollout 微调后 best-of-N | | 主要代价 | 动作量化或均值化 | 系统复杂 | 推理搜索延迟高 |

6.4 关键假设

目标机器人数据足以让视频模型理解新增 latent frame 的语义；论文没有证明跨 embodiment 零样本迁移。
单个 action chunk 后的未来状态足以支持一层 best-of-N 搜索；更深树搜索未被验证。
rollout 的成功/失败标签和观测足够覆盖策略分布外的关键错误。
对低维模态做重复填充不会损害 transformer 对其数值结构的读取；这是有效的工程编码，而非信息最优编码。

7. 局限性

7.1 作者明确提出的局限

【Paper】

模型式规划在 ALOHA 上生成一个 action chunk 约需 4.9 秒，难以应对快速动态任务。
准确的 planning model 需要相当数量的 rollout，少数据学习仍是开放问题。
当前只做一层 best-of-N，尚未扩展到更长预测 horizon 或更深搜索树。

7.2 自己分析得到的局限

【Analysis】

每种机器人都要重新定义 latent 顺序、相机预处理和数据统计，所谓“无架构修改”仍包含明显的 embodiment engineering。
future image 是高维生成目标，训练 loss 低并不等价于可用于控制的视觉预测准确；论文主要用任务成功率间接验证。
规划使用固定 success threshold 和 majority-mean，面对奖励连续、风险敏感或长尾失败时可能不够校准。
直接执行完整 action chunk 而不是 receding horizon，降低了搜索开销，却减少了中途纠错机会。
训练与评测依赖大规模 H100 资源（LIBERO 64 张、RoboCasa 32 张），社区复现实验的硬件门槛较高；官方 README 的单 GPU 说明主要针对推理。

8. 启发与研究思考

【Analysis】 这篇工作给 Embodied AI 的启发可以概括为“把接口设计成数据，而不是模块”：

统一生成器的边界：只要不同模态能被放进同一序列并定义清晰的 mask，策略、动力学和价值估计可以共享一个大模型；这为加入触觉、语言反馈或接触事件留下接口。
失败数据的价值：示教主要告诉模型“怎么成功”，rollout 才能告诉世界模型“哪些动作会失败”。规划性能提升来自数据分布扩展，而不只是模型变大。
速度与质量的可调旋钮：RoboCasa 一步 denoising 仍有 66.4% 成功率，说明采样步数、chunk 长度和搜索宽度可以按机器人控制频率折中。
下一步实验：值得验证跨任务/跨 embodiment 的 latent schema 是否能共享、如何进行多步 imagination、如何用蒸馏或 consistency sampling 把 4.9 秒搜索压到实时范围。

BagelVLA 论文精读：用交错语言计划与视觉预见解决长时域操作

Wed, 26 Aug 2026 00:00:00 GMT

1. 论文概述

【Paper】 长时域机器人任务同时需要回答“下一步做什么”“场景会变成什么样”和“机械臂该怎样运动”。既只做语言规划、又只做视觉预测的 VLA，往往无法把两种 foresight 对齐到动作。BagelVLA 基于 Bagel 的统一理解/生成模型，引入 2B action expert，把三种生成交错到一个 Mixture-of-Transformers（MoT）框架中。

一句话总结

【Paper】 给定全局指令 $L$ 和当前观测 $v_t$，模型先生成当前子任务 $l_t$，再预测该子任务完成后的关键帧 $v_{t+k}$，最后在两者条件下生成动作 chunk $a_t$；Residual Flow Guidance（RFG）让动作只读取关键帧 flow 的初始步，从而把视觉预见成本压到单步。

核心贡献

【Paper】统一交错策略。 在单一 MoT 序列中联合学习 linguistic planning、visual forecasting 和 action generation。
【Paper】Residual Flow Guidance。 用当前图像作为噪声初始化的结构先验，单步 denoising 即可提取未来动态特征。
【Paper】两阶段数据引擎。 先用通用 VQA、手部视频和机器人关键帧训练语言/视觉能力，再用带动作标签的数据学习控制。
【Paper】跨环境验证。 在 Calvin、RoboTwin、ALOHA-AgileX 基础任务及长时域任务上显著优于 $π0$、RDT、UP-VLA 和 VPP。

2. 背景与相关工作

【Paper】 RT-2/OpenVLA 把动作离散成 token，表达简单但连续控制受限；$π0$、RDT 等用 diffusion/flow 生成连续动作，却通常把语言规划和视觉预见作为外部模块。VPP、Cosmos Policy 证明未来视觉表示可以帮助控制，但缺少强 VLM 时，复杂指令分解仍然薄弱。另一方面，Bagel、Chameleon 等 unified understanding-and-generation 模型能在文本与图像间交错推理，却没有机器人动作接口。

【Analysis】 BagelVLA 的关键切入点不是再堆一个 world model，而是让“语言解释”和“视觉结果”成为动作 expert 的显式条件，并保持三种 token 在共享 self-attention 中的信息流。

3. 问题定义

【Paper】 一条演示轨迹写作 $\tau_i={(v_1,l_1,a_1),\ldots,(v_T,l_T,a_T)}$，其中 $v_t$ 包含多视角图像和 proprioception，$l_t$ 是阶段子任务描述，$a_t$ 是动作 chunk。传统策略学习 $p_\theta(a_t|v_t,L)$；BagelVLA 改为最大化：

$$ p_\theta(l_t,v_{t+k},a_t|v_t,L)=p_\theta(l_t|v_t,L)p_\theta(v_{t+k}|v_t,L,l_t)p_\theta(a_t|v_t,L,l_t,v_{t+k}). $$

相关检查项：Vision Encoder（SigLIP2）、Language Model（Qwen2.5）、Multimodal Fusion（MoT）、Observation（图像/语言/proprioception）、Action Representation（flow-matched 连续 chunk）、Training Objective（CE + 两个 flow loss）、Dataset（通用多模态与机器人数据）、Action Horizon（论文默认 chunk 48）。论文没有公开可复现的官方代码仓库，项目页仍标注 “Code is coming soon”，因此以下代码对照仅限公开网页信息。

4. 方法

4.1 Overall Architecture

【Paper】 当前观测和全局指令进入 7B understanding/generation experts，生成子任务文本与关键帧 latent；2B action expert 读取这些中间状态、proprioception 和原始视觉特征，输出连续动作。三类 token 按时间阶段组成统一 interleaved sequence。

4.2 核心模块

【Paper】Understanding expert：Qwen2.5-LLM-7B 结构，SigLIP2 编码观测，autoregressive 生成 $l_t$，用 CE loss 训练。
【Paper】Generation expert：使用 FLUX VAE latent 与 flow matching 预测关键帧。它同时 attend 输入图像的 VAE/ViT 特征和文本条件。
【Paper】Action expert：独立的约 2B Transformer，输入 proprioception、动作噪声、语言计划、图像 latent 的中间状态，预测动作 velocity；KV cache 和异步执行使其可高频运行。
【Paper】MoT 连接：三个 expert 保留各自的参数和职责，却通过共享 self-attention 交换跨模态上下文。

4.3 关键公式

令关键帧 clean latent 为 $x_0$、Gaussian noise 为 $\epsilon$、动作 clean chunk 为 $a^1$，flow timestep 为 $\tau\in[0,1]$：

$$x^\tau=(1-\tau)x_0+\tau\epsilon,\qquad v^x=\epsilon-x_0.$$

$$a^\tau=(1-\tau)a^0+\tau a^1,\qquad v^a=a^1-a^0.$$

4.4 Training

【Paper】 Stage 1 只训练 understanding/generation experts：2.98M 通用 QA、310k human-hand episodes、146k + 297k open robot episodes 和 75k 自采机器人 episodes。Stage 2 引入动作标签，联合微调三个 expert：Calvin ABC split、RoboTwin 2,500 episodes、ALOHA basic 3,000 episodes、ALOHA long-horizon 1,500 episodes。

4.5 Inference

【Paper】 论文比较 Complete Denoise、Joint Denoise 和 Single-step Denoise。默认 RFG 属于最后一种：只执行关键帧 flow 的初始步，动作 expert 读取该步 KV；文本和关键帧 expert 每次更新较慢，动作 expert 可用 proprioception 高频刷新。单张 RTX 5090 上 chunk=48 时约 40Hz；启用异步执行后报告 72Hz。

4.6 代码实现对照

【Code】 截至论文项目页（2026-08-26），代码按钮链接到空的 GitHub 首页并写着 “Code is coming soon”。因此没有可核验的 model definition、DataLoader、loss 实现、checkpoint 或 evaluation script。本文不把论文伪代码冒充官方实现；后续开源后应重点核对 MoT attention mask、RFG 噪声初始化和异步 KV 更新。

5. 实验

5.1 Experimental Setup

【Paper】 仿真包含 Calvin ABC-D（单步任务）和 RoboTwin 2.0（50 tasks，clean/randomized、未见指令）；真实实验使用 ALOHA-AgileX 双臂平台，覆盖 9 类基础技能和两类长时域任务：按指定顺序堆方块、计算并摆放符号方块。每项真实任务运行 20 次。

5.2 Main Results

| 基准 | 最强对比 | BagelVLA | 观察 | | --- | ---: | ---: | --- | | Calvin ABC-D 平均完成长度 | VPP 4.329 | 4.405 | OOD 背景/颜色仍保持操作精度 | | RoboTwin Clean 成功率 | UP-VLA 52.92% | 75.26% | 文本计划带来明显增益 | | RoboTwin Randomized 成功率 | $\pi0$ 16.34% | 20.87% | 随机化场景更难但仍领先 | | 真实基础任务平均成功率 | $\pi0$ 65.0% | 75.5% | 未见物体 pick-place 为 85% |

5.3 Ablation Study

| 方案 | 延迟/动作 chunk | Calvin ABC-D | | --- | ---: | ---: | | Complete Denoise | 6.04s | 2.480 | | Joint Denoise | 2.90s | 2.038 | | Single-step（纯噪声） | 1.23s | 3.345 | | RFG | 1.23s | 3.600 |

【Paper】 去掉 textual planning 后 RoboTwin Clean/Randomized 为 54.00/19.20；完整模型为 75.26/20.87。去掉 keyframe forecasting 后为 56.72/15.92。长时域真实任务中，完整模型在堆方块和符号计算的成功率分别为 73.3% 与 63.3%，规划准确率为 95% 与 85%。

5.4 Generalization

【Paper】 真实未见物体 pick-place、RoboTwin randomized 和 Calvin ABC-D 都显示出泛化优势。【Analysis】 语言计划负责把全局指令拆成可验证的局部目标，RFG 则把背景不变性编码进 flow 初态；二者分别缓解 semantic OOD 与 visual OOD，但细粒度接触控制仍是成功率低于规划准确率的主要原因。

6. 方法分析

6.1 为什么有效？

【Analysis】 交错因子分解把长任务的信用分配切成“语义目标 → 视觉结果 → 动作”三步。子任务文本提供离散的阶段边界，关键帧提供连续的物理状态锚点，动作 expert 不必仅从全局指令和当前像素猜测未来。

6.2 核心创新

【Paper】 真正的新意是 interaction scheme，而非单独的 world model 或 action flow：Single-step + RFG 让视觉生成成为低延迟的 predictive feature extractor；MoT 则允许理解、生成、控制共享上下文但保持参数专门化。

6.3 与已有方法的本质区别

【Analysis】 VPP/Cosmos 主要把未来视觉作为外部条件，语言规划仍在另一路；传统 hierarchical policy 则通常先离线生成 subgoal 再执行。BagelVLA 在每个 action chunk 的同一上下文中在线地产生语言和视觉中间变量，因而能根据新观测重新规划。

6.4 关键假设

【Paper】 一个关键帧足以概括当前子任务的主要视觉结果。
【Analysis】 语言子任务边界可由人工或 VLM 标注稳定恢复；边界错误会同时污染视觉和动作监督。
【Analysis】 从当前帧加噪的 RFG 初态不会抹掉执行所需的细微接触信息。

7. 局限性

7.1 作者明确提出的局限

【Paper】 长时域实验中 planning accuracy 明显高于最终 success rate，说明动作映射和 fine-motor precision 仍受模型与数据集限制。完整/联合 denoising 还会遭遇 OOD 中间视觉状态和更高延迟。

7.2 自己分析得到的局限

【Analysis】 论文只在双臂平台和有限任务族上验证；72Hz 依赖 KV 异步假设，换相机频率、机器人本体或更长动作 horizon 可能失效。项目页尚未公开代码与权重，数据标注（尤其自动生成子任务）的噪声、计算成本和复现实验难以独立评估。

8. 启发与研究思考

【Analysis】 BagelVLA 提示 VLA 的“思考 token”不必局限于文字：一个短子任务、一张粗略未来帧和一段动作 chunk 可以构成可观测的中间计划。后续值得研究：（1）让模型根据不确定性决定是否执行完整视觉 denoising；（2）用触觉或 3D state 替代单一 RGB 关键帧；（3）把 planning accuracy 与接触级控制误差联合训练；（4）开源后系统测量 RFG 对不同背景、相机和 embodiment 的迁移边界。

ASPIRE 论文精读：让机器人像软件工程师一样积累技能

Wed, 26 Aug 2026 00:00:00 GMT

1. 论文概述

【Paper】 ASPIRE（Agentic Skill Programming through Iterative Robot Exploration）研究一个很具体但常被忽略的问题：机器人程序失败后，coding agent 究竟能看到什么、如何知道是哪一个 primitive 出错、修复能否被下一个任务复用。论文把“训练”重新定义成持续的程序调试与技能积累，而不是梯度下降。

一句话总结

【Analysis】 ASPIRE 的关键闭环是：让 agent 看见每次感知、规划、抓取和控制调用的证据，针对失败写出可执行修复，在多个配置上验证后把“失败特征—适用条件—修复策略”写进技能库，再用这些技能和进化式候选搜索解决后续任务。

核心贡献

【Paper】

提出闭环 Robot Execution Engine，以 per-primitive multimodal traces 取代只有任务成功/失败的粗反馈。
提出持续增长的 Skill Library；只有通过 debug 配置验证的修复才会被提炼成可复用、可跨 embodiment 的 in-context skill。
提出在可执行机器人程序空间上的 Evolutionary Search，保留多个候选策略，避免单轨迹修复陷入局部循环。
在 LIBERO-Pro、Robosuite、BEHAVIOR-1K 和 YAM 双臂真实机器人上验证，展示跨任务、长时程和 sim-to-real 的收益。

2. 背景与相关工作

【Paper】 传统 code-as-policy 方法让大模型组合 perception、planning API 和低层控制 primitive，但常见执行接口只返回一段 rollout 的结果。机器人失败可能来自目标定位、碰撞约束、抓取姿态、接触动力学或长时程恢复；只有“任务失败”无法告诉 agent 下一步该检查哪一层。

【Analysis】 这与软件工程 agent 的差距很像：编译器错误、单元测试和 stack trace 让程序员能定位问题，而机器人 coding agent 若只拿到最终视频，就只能反复猜测。另一个缺口是经验不积累：现有方法通常在每个 episode 结束后丢弃修复，解决第 100 个任务的 agent 和第 1 个任务一样“没有记忆”。

3. 问题定义

【Paper】 给定任务描述 $\tau$、允许调用的机器人 API 和初始程序 $P^0$，系统要在有限的执行预算内找到在 held-out 环境配置上成功的程序 $P^\star$，并从验证过的修复中提取技能集合 $\mathcal G$。

Observation：API 调用前后的 RGB keyframe、深度、SAM3 overlay、物体位姿、grasp candidates、motion-planning 结果、参数、返回值和错误状态。
Action representation：Python code-as-policy 程序；程序调用感知、几何、抓取、导航和控制 API，而不是直接输出固定维度 action vector。
Embodiment：MuJoCo Playground 上的 Franka/LIBERO、Robosuite 单臂与双臂、BEHAVIOR-1K 移动操作，以及 YAM 双臂真实工作站。
学习目标：debug split 上提高成功率，并让修复模式在 validation split、未见任务或另一种 API 上复用。

4. 方法

4.1 Overall Architecture

【Paper】 Coordinator 为每个任务派生 Actor coding agent。Actor 在执行引擎中写程序、运行、查看 trace、诊断并修复；Coordinator 审核结构化发现，把可复用修复写入共享技能库。Evolutionary Search 同时维护多个候选程序，下一代以高分程序和残余失败 trace 为条件。

数据流可概括为：task + skills → actor 生成程序 → execution engine 记录 trace → agent 修复/验证 → coordinator 提炼 skill → 下一任务检索。

4.2 核心模块

Robot Execution Engine

【Paper】 每次 primitive 调用都会记录 API 名称、输入、输出、耗时、返回状态，以及调用前后的关键帧和相关数组。引擎不把整段视频塞给模型，而是围绕调用缓冲证据，让 agent 逐层缩小失败范围。

例如 BEHAVIOR-1K 的 radio pickup 中，感知成功返回 radio 位姿，但 navigate_to_pose 连续返回 PLANNING_ERROR；trace 显示目标落在桌边约 20 cm 的碰撞缓冲区内。修复因此是从多个角度采样导航目标，而不是修改感知 prompt。

Continual Skill Library

【Paper】 技能不是完整任务脚本，而是异质的修复知识：定位消歧、导航恢复、抓取约束、motion primitive、场景推理和调试工作流。每条技能包含 failure signature、when-to-apply guard、repair strategy 和可选代码草图。

【Code】 aspire/sim/cap/skills/library.py 用 JSON 持久化 Skill(name, code, docstring, occurrences, source_tasks, promoted)。extract_from_code() 从成功 trial 的顶层函数中提取技能；get_promoted_skills(min_occurrences=2) 自动把跨多次出现的函数标为 promoted，并可注入执行 namespace。trial.py 只有在 task_completed 且配置开启 evolve_skill_library 时才提取并保存。

Evolutionary Search

【Paper】 搜索对象是可执行程序本身。每轮由 agent 根据 Top-3 历史候选、技能库和失败 trace 产生 $K$ 个候选，全部在 debug 配置执行，保留最高分者及其 trace，直到达到阈值或耗尽轮数。搜索结束后，只有在 validation 配置上通过的模式才进入技能库。

4.3 关键公式

【Paper】 令历史候选集合为 $\mathcal H$，第 $i$ 轮候选为 ${P_i^k}_{k=1}^K$，执行函数返回任务分数 $r$ 与 trace bundle $Z$：

$$ (r_i^k, Z_i^k) = \operatorname{Execute}(P_i^k, S_{\rm dbg}),\qquad k^\star = \arg\max_k r_i^k $$

若 $r_i^{k^\star} > r^\star$，则更新当前最优程序 $P^\star$。达到 $r^\star \ge \theta$ 后，在独立验证集执行：

$$ (r_{\rm val}, Z_{\rm val}) = \operatorname{Execute}(P^\star, S_{\rm val}),\qquad \mathcal G = \operatorname{ExtractValidatedPatterns}(\mathcal H, P^\star, r_{\rm val}, Z_{\rm val}) $$

其中 $S_{\rm dbg}$ 是用于产生修复的 seed，$S_{\rm val}$ 是 held-out seed，$K$ 是每轮候选数，$T$ 是最大轮数，$\theta$ 是成功阈值。【Analysis】 这里的“参数更新”不是神经网络权重更新，而是程序文本、候选排序和外部技能库状态的更新。

4.4 Training

【Paper】 ASPIRE 没有传统意义上的 optimizer、batch 或 checkpoint。仿真 coding agent 固定为 Claude Code + Claude Opus 4.6（1M context），写 CaP-X Python 程序；真实机器人实验使用 Codex GPT-5.5 reasoning-xhigh。学习数据是任务环境的 debug seeds 和执行 trace，训练信号是程序在环境中的成功/失败与诊断证据。

4.5 Inference

【Paper】 推理阶段不是固定 policy forward pass，而是“程序执行—观察—再生成”的闭环。LIBERO-Pro/Robosuite 为每个任务生成一个程序并跨 held-out seeds 执行；BEHAVIOR-1K 使用 incremental block execution，根据当前 multimodal trace 生成下一段代码。真实机器人仍使用自己的 perception、标定和控制 API，技能只作为 in-context guidance。

4.6 代码实现对照

【Code】 官方仓库的关键落点如下：

| 论文概念 | 代码位置 | 实际行为 | | ---------------- | --------------------------------------------- | --------------------------------------------------------------------------------------------------------------- | | Trace logger | aspire/sim/cap/integrations/trace_logger.py | TracedApiMixin 包装 API 函数，记录参数、返回摘要、耗时、异常，并在 trial 结束时写 trace.json 与 keyframes。 | | Skill Library | aspire/sim/cap/skills/library.py | JSON 持久化技能，按出现次数自动 promotion，并可注入 namespace。 | | Skill extraction | aspire/sim/cap/skills/extractor.py | 正则提取成功代码中的顶层函数及 docstring。 | | Trial hook | aspire/sim/cap/envs/trial.py | 仅在 evolve_skill_library=true 且 task completed 时提取技能。 | | 实验入口 | aspire/sim/.claude/*/fix-loop、evosearch | 通过 runbook 管理 debug/eval seed、重放和候选搜索，而不是一个端到端训练脚本。 |

【Analysis】 论文中的“技能验证”比最小 SkillLibrary 类更严格：论文要求跨 debug 配置、遵守 API policy 并由 coordinator 审核；代码提供持久化和 promotion 机制，具体审核流程主要由 .claude runbook 和 agent 协议承担。

5. 实验

5.1 Experimental Setup

【Paper】 LIBERO-Pro 使用每任务 15 个 debug seeds、50 个 held-out eval seeds；Robosuite 使用 25 个 debug seeds、100 个 eval trials；BEHAVIOR-1K 使用 26–35 学习、1–25 评估，并报告 navigation 与 task success。对比 CaP-Agent0、OpenVLA、$\pi_0$ 和 $\pi_{0.5}$。

5.2 Main Results

【Paper】

| Benchmark | ASPIRE 结果 | 对比观察 | | ------------------ | -----------------: | -------------------------------------------------------------------------------------------------- | | LIBERO-Pro overall | 72% | CaP-Agent0 18%，ASPIRE 在 Object/Goal/Spatial 的 Pos+Task 平均增益分别达 77、41.5、42.5 个百分点。 | | Robosuite mean | 81% | CaP-Agent0 68%；双臂 handover 从 20% 提升到 92%。 | | BEHAVIOR-1K soda | Nav 92%，Task 88% | 超过 Human 的 80%/72% 与 CaP-Agent0 的 84%/72%。 | | BEHAVIOR-1K radio | Nav 100%，Task 88% | CaP-Agent0 task success 为 56%，ASPIRE 提升 32 个百分点。 |

5.3 Ablation Study

【Paper】 LIBERO-Pro 消融中，不含执行引擎和进化搜索的 base system 宏平均成功率为 14%；加入 Robot Execution Engine 后升至 62%；再加入 Evolutionary Search 达到 72%。随着搜索轮数增加，前几轮收益最大，之后仍有提升但出现 diminishing returns。

5.4 Generalization

【Paper】 用 LIBERO-90 累积的技能库零样本迁移到 LIBERO-Pro Long：$N=90$ 时 Pos 22.6%、Task 38.3%、Overall 30.5%，而 CaP-Agent0 Overall 仅 3.8%。库规模从 $N=0$、25、50 增大到 90 时，平均成功率整体上升，说明短任务修复可组合到更长任务。

【Paper】 真实 YAM 双臂迁移中，仿真技能包括 soda-can pickup、bowl-on-plate placement 和 drawer push/pull。加入技能后，soda-can 成功率从 13/20 提升到 19/20，总 token 从 61.94M 降至 6.58M；drawer 从 0/20 提升到 11/20，总 token 从 334.917M 降至 81.67M；bowl placement 两组均为 20/20，但 token 从 8.65M 降至 5.11M。

6. 方法分析

6.1 为什么有效？

【Analysis】 第一，trace 把“不可观测的失败”变成可定位的局部事件，减少盲目改 prompt。第二，程序空间天然可读、可编辑，修复可直接变成函数级技能。第三，候选群体保留了不同策略，能绕开单一修复路径的局部最优。最后，技能库让跨任务的边际成本下降，形成经验复利。

6.2 核心创新

【Analysis】 真正的创新不是单独提出日志、RAG 或 evolutionary search，而是把三者组织成“执行证据 → 程序修复 → 验证晋升 → 未来检索”的持续闭环，并把学习产物从权重换成可审计的 sensorimotor code。

6.3 与已有方法的本质区别

【Paper】 CaP-Agent0 主要依赖视觉差分、预定义技能和每 episode 的 test-time retry；ASPIRE 让技能由 agent 从成功修复中发现，并在任务之间持久化。与端到端 VLA 相比，ASPIRE 不学习固定 action token policy，而是搜索可解释、可执行、可迁移的程序。

6.4 关键假设

【Analysis】 方法依赖四个假设：API 足够表达任务；trace 能暴露根因而非只记录表象；语言模型能把证据转成合法修复；不同任务/embodiment 之间存在可抽象的失败模式。任一假设失效，技能检索可能变成噪声或错误代码复用。

7. 局限性

7.1 作者明确提出的局限

【Paper】 论文将系统定位为初步的 continual learning 证据，尤其是 sim-to-real 只评估了三个技能和一个 YAM 平台；真实机器人仍需 agent 适配新的 perception、calibration 和 control API，而非直接部署仿真程序。长时程任务的搜索和 token 成本也仍然很高。

7.2 自己分析得到的局限

【Analysis】

代码技能抽取目前以顶层函数和出现次数为核心，函数名相同不代表语义相同，跨任务 promotion 可能误合并。
论文结果依赖强大的闭源 coding agent、1M context 和大量执行预算；换模型后的收益尚未系统报告。
进化搜索需要多次真实/仿真 rollout，安全性、并发资源和 wall-clock 成本会限制开放世界部署。
失败 trace 仍由预先实现的 logger 采集；未被 API 暴露的接触力、遮挡或硬件故障无法自动诊断。

8. 启发与研究思考

【Analysis】 ASPIRE 给 embodied AI 的启发是：下一代“模型规模”可能表现为可验证经验的规模，而不是参数量。值得继续追问：能否用类型系统或单元测试约束技能库，避免错误 promotion？能否把 trace 压缩成结构化世界模型，降低 token 和视频存储？能否让技能检索感知 embodiment 差异，并在执行前自动生成 API adapter？如果这些问题得到解决，robot policy 的持续学习就可能从“重新训练一个 checkpoint”转变为“维护一个会成长的机器人代码仓库”。

AIM：带空间价值图的意图感知统一世界-动作模型论文精读

Wed, 26 Aug 2026 00:00:00 GMT

1. 论文概述

论文名称：《AIM: Intent-Aware Unified world action Modeling with Spatial Value Maps》

作者：Liaoyuan Fan、Zetian Xu、Chen Cao、Wenyao Zhang、Mingqi Yuan、Jiayu Chen

论文链接：arXiv:2604.11135

代码 / 项目页：截至本文撰写时，arXiv 页面、LaTeX 源码和论文正文未提供可核验的官方代码或项目链接；因此下文不会虚构代码行为。

一句话总结

【Paper】 AIM（Intent-Aware Unified world action Modeling）认为，视频模型知道“场景将如何变化”，但动作还需要知道“应该在哪里、以什么意图交互”。它在未来 RGB 与动作之间加入对齐的 Spatial Value Map，再用 intent-causal attention 强制动作分支只能通过价值图获得未来信息，最后冻结视频和值图分支，仅用稠密空间奖励和稀疏任务奖励对动作头做 GRPO 后训练。

核心贡献

【Paper】

提出空间价值图作为显式的控制接口，把抓取、放置和接触区域编码为与未来画面对齐的热图。
基于 Wan2.2-TI2V-5B 构建 mixture-of-transformers（MoT），在一个模型中联合建模未来视频、价值图与连续双臂动作。
设计 intent-causal attention：未来 RGB 不得直接流向动作 token，动作只能读取价值图所汇聚的意图信息。
提出 self-distillation RL：固定视频和值图专家，只更新动作头，用价值图投影得到的 dense reward 引导闭环控制。
构建约 30K 条 RoboTwin 2.0 仿真轨迹，AIM 在 50 个任务上达到 Easy 94.0%、Hard 92.1% 平均成功率。

2. 背景与相关工作

【Paper】 传统 VLA 通常直接学习 $p(amid o,c)$：输入观测和语言，输出动作。这类 imitation policy 能复现示教，却没有显式表示动作将导致的未来状态。Video-based world-action model 则尝试同时预测未来视频和动作，但有两种困难：

如果动作和未来 RGB 共享同一表示，动作头要从密集的外观变化中寻找少量接触线索，逆动力学学习很难。
如果视频模型和动作模型串联，系统要维护额外的接口，且视频先验难以端到端影响动作。

论文将 AIM 与已有路线的区别概括为“增加一个面向意图的空间中间层”：它不是把 value map 当作普通辅助 perception head，而是把价值图放进未来预测与动作解码之间的因果路径。

【Analysis】 这里的关键不是“热图通常比 RGB 更小”，而是价值图把未来状态转换成了控制问题需要的坐标：从“画面变成什么样”变成“下一步应该在哪个像素附近发生交互”。

3. 问题定义

【Paper】 给定同步多视角观测和历史动作：

$$ \mathcal{H}t={o{t-k:t},a_{t-k:t-1}}, $$

AIM 预测未来 $h$ 步的 RGB 帧 $X^+$、空间价值图 $M^+$ 和动作 chunk $A^+$。其核心分解为：

$$ p(X^+,M^+,A^+\mid\mathcal{H}_t) =p(X^+,M^+\mid\mathcal{H}_t) p(A^+\mid\mathcal{H}_t,M^+). $$

Observation：头部相机与左右腕部相机组成的同步 RGB 多视角视频；历史动作也进入 prefix。
Language：任务指令由预训练 T5 编码，直接注入视频分支。
Action：双臂连续控制向量，包含平移、旋转和夹爪等量；论文未给出统一的维度记号以外的任务级动作维度表。
Value map：与未来 RGB 帧空间对齐的 $H\times W\times3$ 图。Pick 任务标注抓取接触区域，Place 任务标注放置接触区域。
Embodiment / benchmark：RoboTwin 2.0 的 50 个仿真双臂操作任务，评测 Easy 与 Hard 两种设置。

【Analysis】 价值图并非传统标量 $V(s)$：它是带像素位置的局部可行性估计。论文在 RL 阶段把动作落点投影回图像，再读取该位置的值，因此图像坐标和机器人动作之间必须有可用的相机标定。

4. 方法

4.1 Overall Architecture

【Paper】 AIM 由 Wan2.2-TI2V-5B 初始化的视频生成模型和一个较窄的 action head 组成。三类未来 token（RGB、value map、action）从噪声开始；视频分支共同去噪 RGB 与价值图，动作头去噪连续动作。每层只共享 masked self-attention，前馈网络保持分支专属。数据流是：多视角视频与语言进入视频先验 → 生成未来 RGB 与价值图 → 价值图通过受限注意力传给动作头 → 输出动作 chunk。

4.2 核心模块

Multi-view packing 与 VAE tokenization

【Paper】 三个相机被拼成 T-pose canvas：头部相机位于顶部，左右腕部相机放在两侧。RGB 帧与 ASVM（action-based spatial value map）共享 Wan2.2 VAE：

$$ z_t^o=E_{\mathrm{vae}}(\tilde{x}t),\qquad z_t^m=E{\mathrm{vae}}(\tilde{m}_t). $$

价值图输入在初始化时是全黑图像，表示没有先验的空间意图；模型在 flow-matching 去噪过程中逐渐生成热点。动作向量通过轻量 MLP $E_a$ 变成 action token，文本通过 T5 变成语言 token。

Mixture-of-Transformers

视频、价值图和动作流分别拥有自己的 $Q,K,V$ 投影，但投影到共同的 attention 维度后共享一次 masked self-attention，再投影回各自隐藏空间。视频流额外通过 cross-attention 接收 T5 指令；动作头不直接接收语言 token，而是从共享的世界和值图表示间接获得任务语义。

Intent-causal attention

【Paper】 三类未来 token 可见范围不同：

$$ \begin{aligned} \mathcal{V}x&=[z_t^o,z{t-k:t-1}^o,z_{t-k:t-1}^a,z^\ell,z^x],\ \mathcal{V}m&=[z_t^o,z{t-k:t-1}^o,z^x,z^m],\ \mathcal{V}a&=[z_t^o,z{t-k:t-1}^a,z^m,z^a]. \end{aligned} $$

因此：未来视频可以看历史和语言；价值图可以看当前观测与未来视频；动作只能看当前观测、历史动作和未来价值图，不能直接看未来 RGB。这条可见性约束把未来视觉信息压缩成显式的“意图接口”。

Spatial value-map annotation

【Paper】 Pick 任务使用仿真的接触检测 API 获取夹爪与物体的接触点云，投影到图像平面后用高斯核平滑，形成抓取 affordance heat map。Place 任务在物体质心速度低于阈值、达到稳定放置时提取物体与支撑面的接触区域，并生成放置可行性热图。高斯核宽度会随相机参数和深度调整，以维持跨视角的有效支持范围。

4.3 关键公式

联合预测目标

$$ \mathcal{L}=\mathcal{L}{\mathrm{rgb}} +\lambda_m\mathcal{L}{\mathrm{map}} +\lambda_a\mathcal{L}_{\mathrm{act}}. $$

其中 $\mathcal{L}{\mathrm{rgb}}$ 和 $\mathcal{L}{\mathrm{map}}$ 是未来 RGB 与价值图的 flow-matching 速度场损失，$\mathcal{L}_{\mathrm{act}}$ 是动作头的 inverse-dynamics 损失；$\lambda_m,\lambda_a$ 控制两类辅助目标的权重。【Paper】 论文没有在正文中给出所有实验的具体权重表。

稠密空间奖励

$$ r_t=\lambda_d r_t^{\mathrm{dense}}+\lambda_s r_t^{\mathrm{sparse}},\qquad r_t^{\mathrm{dense}}=M_t(\Pi(p_t)). $$

$p_t$ 是动作预测的落点或末端执行器目标，$\Pi$ 是相机投影，$M_t$ 是冻结价值头在该时刻的图。动作落在高价值区域时得到更高 dense reward；任务成功信号提供 sparse reward。

GRPO / PPO-style clipped objective

$$ \mathcal{L}_{\mathrm{GRPO}}(\phi)=\mathbb{E}_t\left[\min\left( \rho_t(\phi)\hat A_t, \operatorname{clip}(\rho_t(\phi),1-\epsilon,1+\epsilon)\hat A_t \right)\right], $$

$$ \rho_t(\phi)= \frac{\pi_\phi(a_t\mid\mathcal{H}t,m{t+1:t+h})} {\pi_{\phi_{\mathrm{old}}}(a_t\mid\mathcal{H}t,m{t+1:t+h})}. $$

其中 $\hat A_t$ 为联合奖励下的 advantage，$\epsilon$ 是 clipping 系数。论文称这一过程为 self-distillation：冻结的价值图头在在线环境中为动作头提供自监督信号。

4.4 Training

【Paper】 Stage I 在 30K 条 RoboTwin 仿真轨迹上做监督训练，联合学习未来视频、价值图和动作。Stage II 从 Stage I checkpoint 出发，冻结视频生成模型和值图头，只更新 action head；环境交互产生 sparse task reward，价值图投影产生 dense reward，再用 GRPO 更新策略。

4.5 Inference

【Paper】 部署时 AIM 以 chunk 为单位自回归 rollout。每一步根据历史观测、历史动作和语言生成未来 RGB、价值图及动作；新 chunk 被追加到 transformer prefix，旧 token 通过 KV cache 复用，不必重复计算完整历史。动作分支读取预测价值图而非未来 RGB，因此未来想象既服务于控制，又被空间接口隔离。

4.6 代码实现对照

【Code】 论文未提供可核验的官方 GitHub 仓库、训练脚本或配置文件，本文无法进行代码级对照。以下内容仅来自论文：Wan2.2-TI2V-5B 初始化、T-pose 多视角拼接、30K RoboTwin 轨迹、MoT、intent-causal attention 和 GRPO 后训练。若后续释出代码，应重点核查 action token 的维度、flow-matching sampler、mask 实现、相机投影与 reward 权重，因为这些细节会直接影响复现结果。

5. 实验

5.1 Experimental Setup

【Paper】 数据集包含约 30K 条 RoboTwin 2.0 仿真操作轨迹，每条轨迹同步保存多视角视频、动作序列、任务 ID 和逐步价值图标注。评测覆盖 50 个任务，分别在 Easy 与 Hard 设置下报告 success rate（SR）。对比方法包括 $\pi_{0.5}$、X-VLA、Motus、Fast-WAM、Giga-World、LingBot-VA，以及未经过 RL 的 Stage1。

5.2 Main Results

【Paper】 平均成功率如下：

| 方法 | Easy | Hard | 备注 | | --- | ---: | ---: | --- | | $\pi_0$ | 65.9% | 58.4% | 外部 baseline | | $\pi_{0.5}$ | 82.7% | 76.8% | 外部 baseline | | X-VLA | 72.8% | 72.8% | 外部 baseline | | Motus | 88.7% | 87.0% | unified world-action baseline | | Fast-WAM | 91.9% | 91.8% | 外部 baseline | | Giga-World | 87.0% | 85.0% | 外部 baseline | | LingBot-VA | 92.9% | 91.6% | 外部 baseline | | Stage1 | 93.0% | 92.0% | AIM，无 RL 后训练 | | AIM | 94.0% | 92.1% | Stage1 + action-head GRPO |

相对 Motus，AIM 在 Easy / Hard 分别提升 5.3 / 5.0 个百分点；相对 $\pi_{0.5}$ 提升 11.3 / 15.3 个百分点。作者特别指出，Place Mouse Pad、Scan Object、Turn Switch 等接触敏感或阶段依赖任务的收益更明显：Easy / Hard 成功率分别达到 97/95%、100/98% 和 100/98%。

【Analysis】 Stage1 到 AIM 只增加 1.0 和 0.1 个百分点，说明 RL 的平均收益有限，但它验证了“价值图可作为动作头的在线 dense teacher”。真正的大部分性能来自视频先验、空间中间表示与监督联合训练的组合，而不是单独依赖 RL。

5.3 Ablation Study

【Paper】 论文给出的消融重点是：

去掉空间价值图 / 辅助目标后，动作头失去显式的接触意图接口，性能下降。
Stage1（监督训练）为 93.0% / 92.0%，加入 self-distillation RL 后为 94.0% / 92.1%。
在接触敏感和长时序任务上，带 intent-causal attention 的 AIM 比直接从未来 RGB 解码动作的统一模型更稳定。

论文正文没有提供每个 mask 变体、奖励权重和价值图分辨率的完整数值表，因此不应把上述趋势扩展成未报告的精确增益。

5.4 Generalization

【Paper】 Easy 与 Hard 的差距只有 1.9 个百分点（94.0% → 92.1%），但论文没有给出跨机器人 embodiment、真实机器人或零样本新任务的实验。作者观察到，价值图热点会随操作阶段移动，并集中在抓取、放置和接触区域，而不是一般显著性区域。

【Analysis】 这更像是“同一仿真任务分布内的难度泛化”，不能等同于 sim-to-real 或跨 embodiment 泛化。真实部署仍需验证深度变化、标定误差和接触动力学偏差对投影 dense reward 的影响。

6. 方法分析

6.1 为什么有效？

【Analysis】

把未来状态转换成动作坐标：RGB 预测关注外观，价值图关注交互位置；动作头不必从整张未来图中寻找接触线索。
因果隔离减少 shortcut：动作不能直接读取未来 RGB，必须经过价值图，因此“看到某个物体纹理就回归某个动作”的捷径受到限制。
视频先验负责可达性：Wan2.2 生成的未来帧提供时间与场景演化先验，价值图再从这些未来状态中提取控制相关区域。
dense + sparse reward 互补：价值图提供局部、连续的学习信号，任务奖励提供最终成功约束。

6.2 核心创新

真正的创新组合是 spatial value map + intent-causal attention + selective RL：价值图不是额外可视化，而是唯一允许未来信息进入动作分支的通道；RL 也不更新整个世界模型，而是把冻结价值专家蒸馏给 action head。这使“世界建模”和“动作优化”之间形成清晰的责任边界。

6.3 与已有方法的本质区别

| 维度 | 直接 VLA | 典型 unified world-action | AIM | | --- | --- | --- | --- | | 未来建模 | 通常没有 | 预测未来 RGB 与动作 | 预测未来 RGB、价值图与动作 | | 动作接口 | 观测 / 语言 → action | 共享未来视觉表示 | 未来价值图 → action | | 空间意图 | 隐式 | 隐式或辅助头 | 显式对齐热图 | | 注意力约束 | 常规 causal mask | 共享或简单 mask | intent-causal mask，禁止 RGB→action 直连 | | 后训练 | imitation / RL 视方法而定 | 多模块优化 | 冻结视频和值图，只用 GRPO 更新 action head |

6.4 关键假设

接触区域可以由仿真物理状态可靠投影到相机平面；现实中的遮挡和标定误差不会完全破坏监督。
一个未来 horizon 内的价值图足以表达动作意图；更长任务可由 chunk-wise rollout 递归解决。
价值图的局部响应与任务成功相关，能够作为 dense reward，而不是仅仅成为显著性图。
共享 attention、分支专属 FFN 足以适配 RGB、价值图和动作三种统计不同的 token。
30K 仿真轨迹覆盖了 RoboTwin 的主要接触模式；跨环境与真实机器人迁移仍未被证明。

7. 局限性

7.1 作者明确提出的局限

论文正文没有单独列出完整的 limitations 小节，主要可从实验范围和方法描述中确认：

【Paper】

实验集中在 RoboTwin 2.0 仿真，未报告真实机器人部署结果。
数据集与价值图标注依赖仿真接触事件和精确相机投影。
论文只展示单步 chunk-wise 自回归控制，没有评估更深层的树搜索或多步模型式规划。

7.2 自己分析得到的局限

【Analysis】

价值图可能自洽但不真实：RL dense reward 读取的是模型自己预测的图；如果价值头产生系统性错误，action head 可能学会迎合错误热点。
空间接口增加标定依赖：$M_t(\Pi(p_t))$ 需要把 3D 动作目标投影到正确相机，手眼标定误差会同时污染奖励和训练解释。
RGB 预测质量未被直接度量：成功率提升不能证明未来帧在像素或物理层面准确；视频分支可能只生成足够支持价值图的“控制相关幻觉”。
仿真标签与真实接触有鸿沟：真实世界的摩擦、柔性物体和部分遮挡难以像仿真一样获取接触点云。
RL 增益依赖奖励权重：论文未公开完整的 $\lambda_d,\lambda_s$、采样规模和 GRPO 超参数，复现和公平比较仍有不确定性。
计算成本可能很高：Wan2.2-TI2V-5B 与多路未来生成对实时控制的延迟、显存和能耗没有系统报告。

8. 启发与研究思考

【Analysis】 AIM 提供了一个很有用的设计原则：统一模型不一定要让所有模态彼此直接可见，更重要的是为不同任务定义“谁可以读取谁”的语义接口。

从 value map 推广到 affordance field：抓取和放置可扩展为接触法向、风险、可操作性或不确定性图，让动作头读取的不只是成功概率。
把价值图变成可校准的接口：可以用 ensemble、温度标定或 conformal prediction 估计空间值的不确定性，避免 action head 盲信错误热点。
多步规划与 receding horizon：当前方法按 chunk 自回归，但没有树搜索；未来可让价值图评估多个候选 chunk，并在每个真实观测后重新规划。
跨 embodiment 的 token schema：T-pose packing 和相机投影依赖具体机器人。若把价值图坐标改成机器人无关的 3D / object-centric 表示，可能减少迁移成本。
真实世界的自蒸馏闭环：仿真价值图可以作为预训练 teacher，真实机器人只需用少量成功/失败信号校准 action head，从而降低真实数据采集压力。

Adaptive Action Chunking 论文精读：让 VLA 在推理时自己决定执行多长

Wed, 26 Aug 2026 00:00:00 GMT

1. 论文概述

论文名称：《Adaptive Action Chunking at Inference-time for Vision-Language-Action Models》

作者：Yuanchang Liang、Xiaobo Wang、Kai Wang、Shuo Wang、Xiaojiang Peng、Haoyu Chen、David Kim Huat Chua、Prahlad Vadakkepat

会议 / 期刊：CVPR 2026

论文链接：arXiv:2604.04161

代码链接：Adaptive-Action-Chunking/gr00t-multi-sample

项目主页：adaptive-chunking.github.io

一句话总结

【Paper】 现有 VLA 通常在推理时固定执行长度：chunk 太长，机器人不能及时利用新观测；chunk 太短，又会带来重规划开销和 chunk 间的 mode-jumping。AAC（Adaptive Action Chunking）让模型并行采样多条 action chunk，用连续动作和离散夹爪动作的预测熵估计不确定性，再在每个观测时刻选择合适的执行长度。

核心贡献

【Paper】

将“推理时 action chunk size 的选择”明确为 VLA 部署中的独立问题，并展示固定长度对不同任务并不总是合适。
提出无需额外训练、无需修改网络结构的 AAC：从多条候选 action chunk 估计 action entropy，以熵曲线的一阶差分选择 chunk size。
用最小 action magnitude 约束避免模型在近似静止状态下过度自信，保证执行的 chunk 至少包含足够运动。
在 RoboCasa、LIBERO、LIBERO-Pro、$pi_{0.5}$ 和真实 Realman 机械臂上验证，平均成功率与 OOD 鲁棒性均优于固定 chunk baseline。

【Analysis】 AAC 的创新点不在于训练一个新的 Policy，而在于把“模型已经生成的多个可能动作”重新解释为一个可用于控制频率调度的置信度信号。这使它可以作为 GR00T、$pi_{0.5}$ 等 flow-matching action head 的推理插件。

2. 背景与相关工作

【Paper】 Action Chunking 指在一次 observation 后预测一段动作，并连续执行其中一部分，再重新规划。它能降低单步 Behavior Cloning 的 compounding error，已经成为 ACT、Diffusion Policy、GR00T、$pi_0$ 和 SmolVLA 等方法的常见范式。

固定执行长度却有结构性矛盾：

| 执行策略 | 优点 | 风险 | | -------- | ---------------------------- | ---------------------------------------------------- | | 长 chunk | 少调用 VLA，动作时间一致性好 | 对新观测反应慢，精细接触阶段容易错过修正机会 | | 短 chunk | 频繁闭环，能及时纠偏 | 推理开销大，连续 chunk 之间容易不连续或 mode-jumping |

【Paper】 BID、TV-BID 和 SGAC 可以改善 chunk 融合或一致性，但仍使用整个 episode 固定的 chunk size；基于强化学习的自适应方案又依赖手工 value function 或仿真 reward，难以直接迁移到真实机器人。AAC 的目标是只依赖当前 Policy 的预测本身。

3. 问题定义

【Paper】 设一个带 flow-matching action head 的 VLA 在时刻 $t$ 根据观测 $o_t$ 生成长度为 $H$ 的动作序列：

$$ \mathbf A_t^n = {\mathbf a_t^n, \mathbf a_{t+1}^n, \ldots, \mathbf a_{t+H-1}^n},\quad n=1,\ldots,N. $$

每个动作可包含连续的末端平移、旋转和离散夹爪状态。AAC 要从这些候选中决定执行前 $h^*\le H$ 步：

$$ h^*(o_t)=\text{chunk selector}({\mathbf A_t^n}_{n=1}^{N}). $$

以论文中的 7-DoF 单臂为例，动作是 $[\Delta x,\Delta y,\Delta z,\Delta R_x,\Delta R_y,\Delta R_z,G]$。RoboCasa 使用 Franka Panda 与三路 RGB 视角；LIBERO 使用前视和腕部 RGB 视角。两套 benchmark 都以 GR00T N1.5 为基础 Policy，训练 action horizon 为 16。

【Code】 官方客户端将 Policy 返回的张量整理为 (N, T, 7)：前 3 维是 action.end_effector_position，接着 3 维是 action.end_effector_rotation，第 7 维是 action.gripper_close。默认 n_samples=20，并在每次重新规划时选择 chunk size，再执行选定 chunk 的前缀。

4. 方法

4.1 Overall Architecture

【Paper】 VLM 根据图像、语言和状态提供条件，Diffusion / Flow-Matching action head 并行生成 $N$ 条长度为 $H$ 的候选轨迹；AAC 统计每个未来时刻的动作熵，选出 $h^$ 后只执行前 $h^$ 步，再获取新观测并重复该过程。

4.2 核心模块

多候选 Action Chunk

输入：当前视觉、语言指令和 proprioception，以及 $N$ 份独立初始噪声。
中间模块：GR00T 的 VLM backbone、state encoder、action encoder、DiT action head、action decoder。
输出：形状约为 (N, H, action_dim) 的干净动作 chunk。
为什么需要：扩散模型本身输出连续值而非 token 概率；多次采样可以用样本统计量近似当前观测下的动作分布。

【Code】 deployment_scripts/action_head_utils.py 从 torch.randn(batch_size, action_horizon, action_dim) 初始化噪声，随后进行 Euler flow-matching 更新。批次维度直接承载多样本，因此多候选动作可以一次 batched forward 完成。

Action Entropy Estimator

连续平移和旋转视为高斯样本，用协方差矩阵的 log-determinant 计算 Gaussian differential entropy；二值夹爪用 Bernoulli / Shannon entropy。三者加权求和形成每个时间步的总熵。

【Code】 action_entropy_v2.py 的 gaussian_entropy_from_samples 对样本协方差加 1e-6 I 后用 Cholesky 求 log-det；样本数 $N\le1$ 时返回 0。bernoulli_entropy_from_samples 以样本中夹爪关闭的比例估计 $p_1$，并对概率裁剪到 $[10^{-9},1-10^{-9}]$。

Chunk Size Selector

AAC 不直接寻找熵最小的时刻，而是先计算前缀 chunk 的平均熵，再寻找曲线的一阶差分最大处。直觉是：在前缀长度增加到某个阶段后，后续动作的不确定性出现明显跃迁，那里是“继续 open-loop 执行”与“重新观察”之间的折中点。

Minimum Action Magnitude

【Paper】 仅靠熵可能在模型预测“原地不动”时给出过短 chunk。作者定义平移、旋转和夹爪切换的总动作幅度，并要求它超过阈值。

【Code】 action_magnitude 默认考察 $k=2,\ldots,16$，平移使用前缀位移的范数，旋转使用四元数复合后的范数，夹爪状态变化加权 0.2。move_th=3 时，代码取第一个幅度超过阈值的长度，并与熵选择结果取最大值。

4.3 关键公式

对第 $i$ 个未来时刻，连续动作样本的协方差为 $\Sigma_i$，维度为 $d$，则 Gaussian entropy 为：

$$ E_{\mathrm{gauss}}^i=\frac12\log\left((2\pi e)^d\det(\Sigma_i)\right). $$

夹爪样本中关闭比例为 $p_i$，则：

$$ E_{\mathrm{grip}}^i=-p_i\log p_i-(1-p_i)\log(1-p_i). $$

平移、旋转和夹爪熵相加：

$$ E^i=E_{\mathrm{pos}}^i+E_{\mathrm{rot}}^i+E_{\mathrm{grip}}^i. $$

长度为 $h$ 的前缀平均熵为：

$$ \overline E_h=\frac1h\sum_{i=t}^{t+h-1}E^i. $$

论文给出的 selector 是：

$$ h^*=\max\left(\arg\max_h(\overline E_{h+1}-\overline E_h),\xi\right), $$

其中 $\xi$ 是最小长度约束。【Code】 实现中先对 chunk_mean 做 np.diff 和 np.argmax，将候选长度下限设为 2；随后计算幅度对应的 min_id，返回 max(min_id, best_k_entropy)。补充材料给出的 movement energy 阈值是 $\alpha=3$。

4.4 Training

【Paper】 AAC 本身不引入训练目标。实验从公开 GR00T N1.5 checkpoint 出发，只微调 diffusion head，冻结 Eagle-2 VLM backbone 和 vision projector。RoboCasa 使用 MimicGen 生成的 100 条 demo，每个任务微调 90 epochs；LIBERO 的 40 个任务联合训练 90 epochs；训练使用 8 张 NVIDIA A800 与 mixed precision。

因此，训练阶段的策略仍是普通 GR00T 的 flow-matching action head；AAC 仅在测试时读取多个候选输出。

4.5 Inference

【Paper】 在每个 observation timestep，模型并行采样 $N$ 条候选 chunk，计算每个未来时刻的动作熵和前缀平均熵，得到 $h^$；随后只执行第一条候选 chunk（默认 chunk id 为 0）的前 $h^$ 步，执行完再重新观测。

【Code】 inference_client_action_entropy.py 将输出切成 position / rotation / gripper 三组，调用 select_chunk_size(..., method='gaussian_bernoulli', move_th=3)，裁剪到 :chunk_size 后逐步执行。可选的 backward chunk-id selector 会比较当前候选与上一次未执行动作的重叠部分；默认配置使用第 0 条候选。

<Algorithm number={2} title='Adaptive Action Chunking Inference' inputLabel='输入' outputLabel='输出'

4.6 代码实现对照

| 论文描述 | 官方代码位置 | 实际行为 | | ------------------ | -------------------------------------------------------------- | ------------------------------------------------------------------------------------------------------------------- | | 多样本 action head | gr00t-multi-sample/deployment_scripts/action_head_utils.py | 在 batch 维生成多份噪声并执行相同 Euler flow-matching 更新 | | 熵估计与 selector | libero/action_optimization/action_entropy_v2.py | 支持 gaussian_bernoulli、gaussian_only、variance、separate、binning 五种实验模式，默认 benchmark 使用前者 | | 最小动作幅度 | 同上 action_magnitude / find_first_idx | $k=2\ldots16$，阈值由 move_th 传入，默认实验命令为 3 | | 推理循环 | libero/benchmark_scripts/inference_client_action_entropy.py | 每次请求后裁剪动作 chunk，执行完 chunk 才发起下一次请求 | | 默认样本数 | scripts/policy_server_robocasa.py、policy_server_libero.py | n_samples=20 |

【Analysis】 论文把 AAC 描述为通用的 inference-time 算法，但官方仓库目前主要围绕 GR00T server 与 LIBERO/RoboCasa client 组织；$pi_{0.5}$ 的结果来自对应 benchmark 客户端的适配，而不是一个完全独立的统一推理 API。

5. 实验

5.1 Experimental Setup

【Paper】 RoboCasa 包含 24 个厨房操作任务，分为 Relocation、Container、Rotation、Button 四组；LIBERO 包含 Spatial、Long、Object、Goal 四个 suite，每组 10 个任务。仿真评估分别使用 RoboCasa 每任务 100 次 rollout、LIBERO 每任务 50 次 rollout。

真实实验使用 Realman 单臂机器人与 Mycobot gripper，两路 RGB（腕部和侧视），每个任务采集 50 条 SpaceMouse 示教，训练 300 epochs，每任务评估 20 次、每次最多 600 action steps。

5.2 Main Results

| 方法 | RoboCasa Avg. | LIBERO Avg. | LIBERO-Long | | ------------------ | ------------: | ----------: | ----------: | | GR00T，固定 $h=16$ | 59.7 | 94.1 | 88.8 | | GR00T，固定 $h=8$ | 61.2 | 94.7 | 93.4 | | GR00T + AAC | 62.0 | 95.0 | 92.8 |

【Paper】 在 RoboCasa 上 AAC 的平均成功率为 62.0%，比默认 GR00T 的 59.7% 提升 2.3 个百分点；Rotation 组由 57.6% 提升到 61.4%。LIBERO 平均由 94.1% 提升到 95.0%，其中最难的 LIBERO-Long 相对默认配置提升 4 个百分点（88.8%→92.8%）。

固定长度并没有一个普适最优值：LIBERO-Spatial 在 $h=4$ 时达到 94.0%，而 LIBERO-Goal 在 $h=16$ 时达到 96.8%。AAC 的优势是可以在同一 episode 的不同语义阶段切换长度。

5.3 Ablation Study

【Paper】 样本数实验显示，LIBERO 成功率从 1 个样本的 94.1% 增加到 20 个样本的 95.0%，40 个样本达到 95.5%；相应单张 A800 的推理时间为 83.0、106.0 和 157.0 ms。作者因此在主要 benchmark 中采用 20 个样本，约增加 20 ms 延迟。

补充材料的消融还报告：去掉 minimum action magnitude 后，RoboCasa 平均成功率从 62.0% 降至 60.6%；加入 backward coherence 进行候选 chunk 选择后，平均成功率为 62.5%，比默认选择第一条候选高 0.5 个百分点。【Analysis】 这说明熵 selector 是主要收益来源，而幅度约束负责防止极短、近似 idle 的异常决策；候选 chunk id 的系统性选择仍未解决。

5.4 Generalization

【Paper】 将 AAC 接到 $pi_{0.5}$ 后，LIBERO 平均成功率从 97.0% 提升到 97.9%，Spatial / Long / Object 分别为 99.1% / 95.2% / 99.2%。在 LIBERO-Pro 的位置扰动 OOD 设置中，GR00T 的平均成功率由 3.9% 提升到 6.3%，$pi_{0.5}$ 由 30.9% 提升到 34.8%。

真实任务结果如下：

| 任务 | GR00T | GR00T + AAC | | --------------------------- | ----: | ----------: | | Banana pick-and-place | 70.0% | 90.0% | | Emergency button | 65.0% | 75.0% | | Toy → drawer → close drawer | 65.0% | 80.0% | | 平均 | 67.0% | 82.0% |

作者还展示了香蕉抓取的安全性对比：固定 chunk 的 GR00T 在低质量早期动作下会撞到桌面，而 AAC 会在高熵阶段缩短执行并及时重规划。

6. 方法分析

6.1 为什么有效？

【Analysis】 AAC 利用的是一个简单但有用的闭环信号：多次采样若在某个未来时刻分歧变大，说明当前 observation 对 action head 来说并不确定。此时缩短 chunk 会更快取得新观测；反之，候选动作集中时，长 chunk 可以减少调用次数并保持轨迹平滑。

关键是 selector 不只看当前一步熵，而是看前缀平均熵的变化。这把“未来几步是否仍值得 open-loop 执行”转成一个可比较的曲线，而不是依赖绝对熵阈值，从而减轻不同任务和动作尺度之间的校准问题。

6.2 核心创新

Inference-time only：不引入额外 reward、value model 或训练参数。
Mixed action spaces：Gaussian differential entropy 与 Bernoulli entropy 可以在同一个 selector 中合并。
动态控制频率：chunk size 随 episode 的语义阶段变化，而非整个任务固定一个超参数。
可插拔：官方实现只改变多候选采样和执行前缀，保留原 VLA backbone 与 action head。

6.3 与已有方法的本质区别

| 方法 | chunk size 如何确定 | 是否需要训练 / 任务 reward | AAC 的区别 | | -------------------------- | --------------------------- | -------------------------- | ---------------------------- | | 固定 chunk | 手工网格搜索 | 否 | AAC 每次观测都重算 | | ACT / EMA | 固定执行长度，融合重叠动作 | 否 | 主要解决平滑，不决定动态长度 | | BID / TV-BID | 候选 chunk 搜索与一致性分数 | 否 | AAC 用预测分布熵作为长度信号 | | RL-based adaptive chunking | 学习 value / selector | 通常需要 | AAC 不依赖任务 reward |

6.4 关键假设

【Paper】 方法隐含以下假设：

多候选采样的离散程度能够反映动作不确定性；
较低 action entropy 通常意味着更可靠的动作；
当前预测分布足以决定接下来执行多少步，无需额外环境模型；
批量生成 $N$ 条候选 chunk 的额外成本可以由并行硬件摊平。

【Analysis】 这些假设在多模态任务或存在系统性偏差时可能失效：候选样本可能一致地犯同一个错误，因而低熵并不等于正确。

7. 局限性

7.1 作者明确提出的局限

【Paper】 补充材料指出，当前对候选 chunk id 的选择仍较简单；backward coherence 只带来有限增益，如何联合一致性与前瞻性选择最佳候选值得进一步研究。作者也承认每个任务的最优 chunk size 尚未被完全达到。

7.2 自己分析得到的局限

多样本成本与时延：20 个样本在 A800 上约增加 20 ms；边缘设备或更大 action horizon 可能无法承受。
熵的尺度敏感性：代码默认位置、旋转和夹爪权重均为 1，只有 gripper movement magnitude 使用 0.2；换机器人、归一化方式或 action dimension 后需要重新校准。
高熵不一定代表错误：真正的多模态决策、视觉遮挡和接触动力学都可能导致合理但分散的候选动作。
候选相关性：并行样本仅由初始噪声区分，若 flow-matching head 的随机性不足，熵估计的有效样本数会低于 $N$。
动作幅度阈值仍是超参数：move_th=3 和 $\alpha=3$ 并非完全免调参；论文只在给定的机器人与归一化设置中验证。

8. 启发与研究思考

【Analysis】 AAC 给 VLA 部署带来的启发是：推理时不一定只能在“每一步重算”和“固定长度 open-loop”之间二选一。模型输出中的分布信息本身可以成为控制器的调度信号。

几个值得继续探索的方向：

把 entropy 与视觉 novelty、接触事件或 proprioception prediction error 融合，避免“低熵但系统性错误”；
学习跨 embodiment 的熵校准与 action-component 权重，而不是手工设定；
联合优化 chunk size 与 chunk id，直接从候选轨迹中选择既可靠又与历史连续的动作；
研究在长时任务中用不确定性预测触发主动观察、触觉查询或安全减速；
将 AAC 推广到非 flow-matching 的 diffusion policy、离散 action token policy 和双臂 action space。

A2A 论文精读：用历史动作替代高斯噪声的 Flow Matching 策略

Wed, 26 Aug 2026 00:00:00 GMT

1. 论文概述

论文名称：《Action-to-Action Flow Matching》

作者与机构：Jindou Jia、Gen Li 等，Nanyang Technological University MARS Lab。

论文链接：arXiv · 代码：JIAjindou/A2A_Flow_Matching · 项目主页：A2A

一句话总结

【Paper】 A2A（Action-to-Action Flow Matching）把机器人最近执行的本体感知动作序列当作生成起点，而非从 $\mathcal N(0,I)$ 采样；在共享的动作 latent 空间中学习从历史 chunk 到未来 chunk 的条件流，因此可用轻量 MLP 在最少一次 Euler step 中产生动作。

核心贡献

【Paper】

提出 action-to-action 的条件 Flow Matching：从历史动作分布运输到未来动作分布，利用相邻控制片段的物理连续性缩短生成路径。
以 CNN action autoencoder 建立 512 维统一 latent space，并以视觉条件驱动 AdaLN-MLP Flow Net；训练时联合 flow matching、动作重建和 inference consistency。
在五个仿真任务、Franka 的 Pick Cube 与 Open Drawer 真机任务上与八种方法比较，并报告单步平均推理延迟 0.56 ms。
研究视觉扰动、初始状态不确定性与历史动作加噪；此外把同一“历史到未来”的思路扩展为 F2F 视频预测。

2. 背景与相关工作

【Paper】 Diffusion Policy 与 flow-based policy 能够建模示教动作的多模态性，但通常以随机高斯噪声为初始状态，须经过多轮反向去噪或 ODE 积分。对图像生成这很自然；对连续控制，机器人却持续拥有当前姿态、低层跟踪后的执行结果和最近运动趋势。

【Paper】 既有方法往往将当前 proprioception 与图像特征简单拼接，使它只是静态 condition；A2A 的问题更强：能否让一个时间窗口内的历史动作成为生成分布的 source，并显式学习它到未来动作分布的 transport？

【Analysis】 这里的改变不等于“多输入一个 state”。它更改了生成问题的边界条件：标准 Flow Matching 学习 noise $\rightarrow$ action；A2A 学习 history-action $\rightarrow$ future-action。若相邻 chunk 的动力学确实平滑，后者的起点天然更靠近终点，少步积分才有成立的空间。

3. 问题定义

【Paper】 记历史动作为 $\mathbf a_{\le t}={\mathbf a_{t-n+1},\ldots,\mathbf a_t}$，历史图像为 $\mathbf I_{\le t}={\mathbf I_{t-m+1},\ldots,\mathbf I_t}$，预测目标为 $\mathbf a_{>t}={\mathbf a_{t+1},\ldots,\mathbf a_{t+n}}$。$n$ 是 action horizon，$m$ 是 observation horizon；论文实验取 $n=m=8$。

【Paper】 动作定义随任务而变：仿真使用 joint angles，真机使用 end-effector states。论文特别说明 source 应来自本体反馈所反映的已执行动作，而不是仅使用上一个 policy command，以吸收低层跟踪误差。

| 要素 | A2A 中的角色 | | ------------------------------------- | ---------------------------------------------------------- | | RGB observation | 经过 ResNet-18 和线性投影，形成全局条件 $\mathbf c$ | | 历史 action / proprioceptive feedback | 经 CNN 压缩为流的起点 $\mathbf z_0$ | | 未来 action chunk | 经另一个 CNN 编码为目标 $\mathbf z_1$，最后由 decoder 还原 | | Policy output | 长度为 $n$ 的连续 future action sequence |

4. 方法

4.1 Overall Architecture

【Paper】 图像序列经 ResNet-18 得到条件 $\mathbf c$；历史动作经三层 1D CNN 得到起点 $\mathbf z_0$；Flow Net 在 $\mathbf c$ 条件下把它运输为 $\mathbf z_1$，残差 MLP decoder 输出未来 action chunk。

4.2 核心模块

历史—未来动作的共享 latent

【Paper】 A2A 用 action encoder $E_a$ 将历史序列压缩为 $\mathbf z_0=E_a(\mathbf a_{\le t})$，并将未来目标编码到同一空间；decoder $D_a$ 将生成后的 $\mathbf z_1$ 还原为 $\hat{\mathbf a}_{>t}$。论文的动机是：动作原空间中的近邻关系未必利于 transport，而高维 latent 可让起点和终点的分布对齐得更好。

【Code】 roboverse_learn/il/policies/a2a/action_ae.py 的 CNNActionEncoder 使用 3 个 kernel size 5、stride 2 的 Conv1d + ReLU 层，默认配置的 encoder / decoder hidden dimension 和 latent dimension 都为 512。decoder 是输入投影、4 个 MLP block 与输出投影组成的残差式 MLP。

视觉条件与 Flow Net

【Paper】 视觉条件路径先提取最近 $m$ 帧视觉特征，再经 MLP 投影为全局 $\mathbf c$。Flow Net 使用 4 个 AdaLN-MLP block 预测时间相关的向量场 $\mathbf v_\tau$，不需要 U-Net 或 Transformer 的序列注意力。

【Code】 a2a_policy.py 将每帧特征拼接后用 obs_projector 投到 512 维；utils/models/flow_net.py::SimpleFlowNet 为 timestep 添加 sinusoidal embedding，再将 global_cond 加到时间 embedding 上，经过 4 个 FlowNetLayer 预测速度。论文图中的 AdaLN-MLP 与该实现一致。

可控随机性：A2A-Noise

【Paper】 纯历史 source 带来很强的确定性，但在动作本身有多个可行模式时可能塌缩到单一轨迹。论文在 encode 前向历史动作注入小幅 Gaussian noise，以保留一定多模态性。

【Code】 a2a_noise_policy.py 提供 A2ANoiseImagePolicy，在训练和 predict_action 中都调用 _add_history_noise；这不是对 Flow Net 输入的重新采样，而是先扰动 history state，再编码为 $\mathbf z_0$。

4.3 关键公式

【Paper】 对一般 Flow Matching，概率路径满足：

$$ \frac{d\mathbf x_\tau}{d\tau}=\mathbf v_\tau(\mathbf x_\tau),\qquad \mathbf x_\tau=(1-\tau)\mathbf x_0+\tau\mathbf x_1, $$

其中 $\tau\in[0,1]$，$\mathbf x_0$ 为 source，$\mathbf x_1$ 为 data target。A2A 以 $\mathbf z_0$ 和 $\mathbf z_1$ 代替 noise 与 raw action，拟合条件 vector field $f_\theta$：

$$ \mathcal L_{FM}=\mathbb E_{\tau,\mathbf z_0,\mathbf z_1} \left|f_\theta(\mathbf z_\tau,\tau,\mathbf c)-\mathbf v_\tau(\mathbf z_\tau,\tau,\mathbf c)\right|_2^2. $$

【Paper】 为保证 latent 可解码且少步 ODE 的落点可执行，论文再加入：

$$ \mathcal L_{AE}=\mathbb E\left|\mathbf a_{>t}-D_a(E_a(\mathbf a_{>t}))\right|_1, $$

$$ \mathcal L_{IC}= \left|\hat{\mathbf z}1-E_a(\mathbf a{>t})\right|1+ \lambda_0\left|D_a(\hat{\mathbf z}1)-\mathbf a{>t}\right|1, \qquad \mathcal L{total}=\lambda_1\mathcal L{FM}+\lambda_2\mathcal L_{AE}+\lambda_3\mathcal L_{IC}. $$

这里 $\hat{\mathbf z}_1$ 是从 $\mathbf z_0$ 经离散 ODE 得到的 prediction，$\lambda_0$ 平衡 latent 与动作空间的一致性；实验中取 $\lambda_0=0.5,\lambda_1=1,\lambda_2=0.5,\lambda_3=1$。

4.4 Training

【Paper】 每个 batch 抽取历史动作、图像序列和未来 action chunk，在 $\tau\sim\mathcal U[0,1]$ 处构造线性路径，训练 vector field；同时让 autoencoder 重建未来 chunk，并将有限步 ODE 的输出拉回 target latent / action。所有实验采用 batch size 32，仿真表格的主比较使用 100 demonstrations、30 epochs。

【Code】 A2AImagePolicy.compute_loss 先对 observation 与 action normalization；视觉走 obs_encoder，历史部分取 nobs['agent_pos'][:, :n_obs_steps]，未来部分取从 n_obs_steps - 1 开始的 n_action_steps 个 action。配置 a2a.yaml 默认 6 个 sampling steps、consistency_weight=1、encoder reconstruction weight 0.5、flow reconstruction weight 0.5；代码还可选 InfoNCE contrastive loss，但默认配置将其设为 0。

4.5 Inference

【Paper】 推理从当前已执行动作历史得到 $\mathbf z_0$，而非采样 Gaussian noise。以 $K$ 个 Euler step 迭代 $\mathbf z\leftarrow\mathbf z+f_\theta(\mathbf z,\tau,\mathbf c)/K$，最后 decode 成未来动作。论文报告多步通常更稳，但 A2A 在单步也可得到高质量动作。

【Code】 TorchFlowMatcher.sample 的实现从传入的 start 开始，以 dt=1/K 循环调用 Flow Net；predict_action 随后 action_decoder、反归一化，并返回整个预测 chunk。仓库的真实部署说明再次强调应把机器人反馈的 executed actions 放入 history buffer。

4.6 代码实现对照

【Code】 官方实现与论文的主要映射如下；其中 agent_pos 命名为 state，与论文中“executed action / proprioceptive feedback”的概念应在具体机器人接口中对齐。

| 论文模块 | 代码位置 | 实际实现 | | ---------------------- | ----------------------------------------------- | --------------------------------------------------------------- | | A2A policy | roboverse_learn/il/policies/a2a/a2a_policy.py | compute_loss、predict_action 与 latent 可视化入口 | | 动作 encoder / decoder | .../a2a/action_ae.py | CNN 压缩 8 帧时间序列，4-layer MLP 解码 action chunk | | 条件 Flow Matching | il/utils/flow/flow_matchers.py | ConditionalFlowMatcher 训练速度场、Euler 采样 | | AdaLN-MLP Flow Net | il/utils/models/flow_net.py | SimpleFlowNet 将时间与 visual condition 调制进 4 个 MLP block | | A2A-Noise | .../a2a/a2a_noise_policy.py | 对 history states 先加 Gaussian noise，再编码和采样 | | 默认超参数 | il/configs/policy_config/a2a.yaml | latent 512、6 步采样、ResNet-18、512 hidden dim |

【Analysis】 代码让“论文的单步能力”与“默认可复现实验设置”分开：默认是 6 步，而非 1 步。这是合理的性能—稳健性选择，也意味着 0.56 ms 不是所有配置的默认端到端延迟承诺。

5. 实验

5.1 Experimental Setup

【Paper】 仿真评估覆盖 Roboverse 中五个任务：ManiSkill 的 Stack Cube、Pick Cube，RLBench 的 Close Box，以及 LIBERO 的 Open Drawer、Pick-Place Bowl；另在 Franka 上做 Pick Cube 和 Open Drawer 真机实验。对比对象包括 DDPM-UNet / DiT、DDIM-UNet、FM-UNet / DiT、Score-UNet、ACT 和 VITA。

【Paper】 主表控制模型规模、chunk size 与 batch size 尽可能一致。五任务成功率的比较采用 100 demonstrations、30 epochs；真机 Pick Cube 用 30 条轨迹训练 100 epochs，Open Drawer 用 30 条轨迹训练 300 epochs，均以 10 次 trial 评估。

5.2 Main Results

【Paper】 在五个仿真任务的主表中，A2A（6 steps）的成功率为 Close Box 92%、Pick Cube 92%、Stack Cube 86%、Open Drawer 92%、Pick-Place Bowl 90%；它在前四项最高，后者略低于 VITA 的 92%。作为比较，ACT（1 step）为 82%、86%、32%、80%、60%。

【Paper】 Close Box 的推理成本图显示，固定 30 epochs 时，4 steps 已达到约 80% 成功率、6 steps 为约 88%，继续增加步数的边际收益趋小；单步设置在约 32 epochs 后超过 90%。在同一 RTX 5090 32GB 上测得，A2A 单步平均 0.56 ms，6 步仍低于 1 ms；论文将这个优势归因于较短 transport 与纯 MLP 运算。

【Paper】 真机实验中，A2A 在 30 条训练轨迹下的 in-distribution Pick Cube 与 Open Drawer 均报告 100% 成功率；替换为未见发光方块时，A2A 为 80%，两种 UNet 基线为 0%。这些数值来自每种设置 10 次 trial，应理解为小样本实验的估计值。

5.3 Ablation Study

【Paper】 结构消融固定 Close Box、100 demonstrations、30 epochs，flow 方法使用 6 steps。Flow-latent（A2A）与 Reg-latent 在训练分布上都能达到较高成功率，但在环境扰动下前者更稳；直接在 raw action space 做 Flow Matching，无论采用 UNet 还是 MLP，都弱于 latent-space flow。

【Analysis】 该消融支持的不是“生成必然优于回归”，而是一个更具体的结论：在本实验的轻量结构、少数据和视觉扰动下，history-informed latent flow 的组合比匹配的 latent regression 更能保留泛化。论文也观察到 ACT 在某些标准任务上很有竞争力。

5.4 Generalization

【Paper】 Close Box 的分级随机化中，Level 0 只有初始物体位姿变化；Level 1 再加背景，Level 2 再加光照，Level 3 再加相机视角。六步 A2A 在 Level 0–3 分别为 100%、38%、42%、38%，均高于表中的基线；单步 A2A 为 100%、20%、16%、22%。

【Paper】 方法同时暴露出对 action history 偏差的敏感性：初始关节位姿被扰动时性能下降。论文发现向历史动作加入小噪声能改善这种不确定性下的表现，并报告在 Level 1 上，STD 0.02 的历史噪声可将结果从 20% 提升到 52%。

6. 方法分析

6.1 为什么有效？

【Analysis】 A2A 的关键先验是局部连续性：在一次短 action horizon 内，未来控制序列通常不是与刚执行序列无关的样本。因此 encoder 可以学习使 $p(\mathbf z_0)$ 和 $p(\mathbf z_1)$ 接近的表征，Flow Net 要解决的是“沿当前运动趋势转弯多少”，而不是“从全空间任意高斯点找到可执行轨迹”。

【Analysis】 与直接回归相比，flow 仍保留了可积分的连续生成过程；与噪声初始化的生成相比，source 又带有机器人刚刚发生的真实动态。inference consistency 将训练时的 vector-field 拟合和推理时的有限步 Euler 落点绑定，正好针对少步部署的误差来源。

6.2 核心创新

source distribution 的替换：用历史 executed actions，而非 Gaussian noise，定义生成起点。
latent-space action transport：历史与未来各自编码，却在同一 512 维空间中对齐。
面向采样的监督：除 flow loss 外，直接约束有限步 ODE 后的 latent 与 decoded action。
噪声作为策略旋钮：不是放弃 history prior，而是在它上面注入小扰动，换回多模态性和初始状态鲁棒性。

6.3 与已有方法的本质区别

| 方法范式 | 起点 | 本体信息的作用 | A2A 的差异 | | ------------------ | ---------------------------- | ---------------- | -------------------------------------------- | | Regression / ACT | observation 到动作的确定映射 | 常与视觉特征拼接 | A2A 保留显式连续 transport，而非一次直接预测 | | Diffusion Policy | 高斯噪声 | 多作为条件 | A2A 将历史序列提升为 source distribution | | 常规 Flow Matching | 多为噪声或简单 source | 常作为条件 | A2A 用 action-to-action 的相邻动力学缩短路径 | | VITA | 视觉到动作 flow | 主要依赖视觉 | A2A 用可反馈的历史动作提供物理连续先验 |

6.4 关键假设

【Analysis】 A2A 隐含以下条件：控制信号在局部时间内平滑；反馈 history 与当前视觉时间对齐；过去 chunk 对未来 chunk 有预测性；低层控制能及时报告已执行结果。若任务需要突发切换、离散决策或接触后快速反向，source 与 target 不再邻近，单步优势就会变弱。

7. 局限性

7.1 作者明确提出的局限

【Paper】 A2A 依赖动作的物理连续性，因此对以平滑连续控制为主的任务最适合；binary gripper open / close 等离散、开关式动作维度从该 prior 获益有限。总损失还包含多个人工设置的权重；论文将自适应 loss weighting 和连续—离散混合动作视为未来方向。

7.2 自己分析得到的局限

【Analysis】

论文的少步结论建立在短 horizon、特定模型规模和任务集上；当 action chunk 变长、存在遮挡或需要重规划时，历史 source 与未来 target 的距离可能明显增加。
使用历史 executed actions 要求实时反馈可靠、时间戳一致；真实硬件的滤波、延迟或丢包会把 source 推离论文设定的分布。
真机每种条件 10 次 trial，虽然展示了趋势，但对 100% / 80% 这类比例的统计不确定性仍较大；还缺少更长时程、多接触与安全约束任务的报告。
小噪声可恢复多模态性，却引入 noise scale 这一新的部署超参数；不同动作尺度、机器人和扰动水平下很难预先保证同一 STD 合适。

8. 启发与研究思考

【Analysis】 A2A 值得带走的不是“永远不用高斯噪声”，而是一个 source design 原则：生成式机器人策略应优先寻找任务中已有、可测量且与目标分布相邻的状态，而不是机械复用视觉生成的初始化方式。

可学习 source mixer：由网络在 history latent、Gaussian noise 和 task-plan latent 间自适应插值，以应对连续与突变动作并存的任务。
时序可信度建模：按反馈延迟、接触事件和视觉变化估计 history 的可信度，必要时增加积分步数或回退到更保守策略。
长时程分层：高层生成 subgoal / constraint，低层使用 A2A 完成短的 physically continuous transport。
将 F2F 的未来观测预测接入 policy，检验“状态—动作—观测”是否能共享同一种邻近 source 到 future target 的表征。

WARP-RM 论文精读：用时间扭曲学习相对进度奖励

Tue, 25 Aug 2026 00:00:00 GMT

1. 论文概述

【Paper】 《WARP-RM: A Warp-Augmented Relative Progress Reward Model for Data Curation》针对一个很实际的问题：人类遥操作数据越收集越多，却不可避免地混入停顿、犹豫、失败后恢复和局部重复修正。把这些片段全部等权交给 Behavior Cloning（BC），策略就会把“慢”和“卡住”也学进去；但按 episode 粗暴丢弃又会丢掉其中有价值的恢复动作。

WARP（Warp-Augmented Relative Progress）不要求人工标注子任务边界，而是把成功示教视频以连续变化的速度、随机方向和局部反转重新采样。模型学习的不是“当前帧位于任务的绝对百分之几”，而是一个局部的 signed progress velocity：正值表示向目标推进，接近零表示停滞，负值表示回退。随后 WARP-BC 把这个信号下沉到 action chunk 级别，用于过滤和重加权 BC 损失。

一句话总结

【Analysis】 WARP-RM 的关键不是再训练一个更大的视觉模型，而是把“示教播放速度”变成自监督标签，从而获得比 episode 长度更细粒度的质量信号；WARP-BC 再把高进度片段变成更高的训练权重。

核心贡献

【Paper】

提出 WARP 自监督算法：在成功示教上采样非均匀、带反转的时间轨迹，生成 signed relative progress 标签。
提出 WARP-RM：冻结 DINOv3 ViT-B/16，用双向 Transformer 预测每个窗口中每帧的累计相对进度。
提出 WARP-BC：把重叠窗口聚合成 dense frame-level velocity，并用 action chunk 末帧速度做门控与连续重加权。
在双臂 T-shirt folding、真实 bottle-in-bin 和 MuJoCo bottle-in-bin 上验证，显示在混合质量数据扩大时，WARP-BC 比 vanilla BC 更稳健。

论文报告的代表性结果是：T-shirt folding 的 D2 数据集上 WARP-BC 达到 19/20 成功，而 vanilla BC 只有 2/20；吞吐量从 1.5/h 提升到 27.4/h。这些数字来自论文 Table 1，不能外推成所有机器人或所有任务都能获得同样增益。

2. 背景与相关工作

【Paper】 长时序模仿学习通常同时面对两个矛盾：

高质量片段稀缺，完全丢弃低质量 episode 会缩小数据覆盖并删除恢复行为；
低质量片段若不处理，BC 会模仿停顿和失败后的局部挣扎，导致 rollout 在训练分布的坏区域中循环。

已有数据筛选方法大致分三层：

| 粒度 | 典型做法 | 主要问题 | | --- | --- | --- | | Dataset / episode | 用影响函数、互信息或 episode 长度保留整条轨迹 | 轨迹内好坏片段无法区分 | | Frame / chunk | 学习 progress reward，再重加权 action chunk | 需要可靠的局部进度标签 | | VLM / preference | 让视觉语言模型比较轨迹或判断语义里程碑 | 查询昂贵，时间分辨率通常较低 |

【Paper】 ReWiND、VIP、LIV 等工作大多把进度放在绝对时间轴上：归一化帧号或跨示教时间对齐可以作为简单监督，但长时序遥操作中，同一个归一化时间可能对应完全不同的状态。SARM、ARM 使用更细粒度的 reward model，却依赖人工标注的阶段边界或偏好数据。SCIZOR 也使用自监督的时间距离信号，但 WARP 进一步用 signed、局部、连续的相对速度给 action chunk 加权。

【Analysis】 WARP 的设计选择可以理解为把“任务进度”拆成两个更容易学习的因素：一是局部视觉变化是否沿着成功示教的方向发生，二是变化相对参考节奏有多快。它因此不需要先解决跨示教的全局时间对齐。

3. 问题定义

【Paper】 一条成功示教由固定频率 RGB 观测序列组成：

$$ \mathcal{D}{\mathrm{ref}} = {o_0, o_1, \ldots, o{T-1}}. $$

给定一个长度为 $N$ 的窗口，WARP 选择源帧索引 $i_0,\ldots,i_{N-1}$。索引可以递增、递减或在中间改变方向。模型输入是视觉特征 $\phi(o_{i_j})$，目标是窗口起点到每个位置的归一化累计位移：

$$ y_j = \frac{i_j-i_0}{C_{\mathrm{norm}}}, \qquad j=0,\ldots,N-1. $$

任务不是直接输出机器人动作，而是为下游动作数据提供质量信号：

Input / Observation：遥操作 RGB 视频；论文主实验使用单路视觉输入。
Output：每帧 signed progress velocity $\hat v_t$，以及由其积分得到的相对进度曲线。
Action representation：下游策略使用约 1 秒 action chunks；WARP-RM 不改变动作维度。
Robot / Embodiment：实体双臂 I2RT YAM；任务包括从随机皱缩状态折叠 T-shirt，以及将塑料瓶放入箱子。
Dataset：成功示教用于训练 WARP-RM；政策数据按 episode 时长构造 D1/D2/D3 等质量 tier。
Policy objective：带 WARP 权重的 flow-matching BC 损失。

这里的“reward”不是环境交互中由传感器得到的稀疏奖励，也不是带 value baseline 的严格 RL advantage。论文明确把 $\hat v_{\mathrm{end}}$ 称为 advantage 的经验代理。

4. 方法

4.1 Overall Architecture

【Paper】 数据流可以压缩为一句话：32 帧 RGB 窗口 → 冻结 DINOv3 特征 → temporal-diff 拼接与线性投影 → 双向 Transformer → 每帧 30-bin relative-progress 分布 → 期望值、离散差分与重叠窗口平均得到 $\hat v_t$。

4.2 核心模块

Time-Warp Sampler

【Paper】 采样器首先在 log-space 生成平滑的速度序列。对每一步：

$$ z_0\sim\mathcal{N}(0,\sigma_\infty^2),\qquad z_k=\alpha z_{k-1}+\sqrt{1-\alpha^2},\sigma_\infty\epsilon_k, $$

其中 $\alpha$ 控制相邻速度相关性，$\epsilon_k\sim\mathcal{N}(0,1)$。令 $\tilde v_k=\exp(z_k)$，再把它们缩放到从 $\frac13L$ 到 $\frac53L$ 的随机路径长度，得到非负的 forward displacement。

为产生回退信号，采样 $R\sim\mathrm{Poisson}(\lambda_{rev})$ 个 reversal point，并在这些位置翻转后续速度符号；最后以 0.5 概率整体反转窗口。累积位移 $c_j=\sum_{k<j}u_k$ 后，索引为 $i_j=\mathrm{round}(i_0+c_j)$。

为什么这样做？ 独立地随机跳帧会产生不自然的速度抖动，模型可能学到采样伪影；AR(1) 让速度变化更像真实操作中的连续节奏。反向播放不是物理上严格的失败轨迹，却能提供负进度监督。

Frozen DINOv3 Vision Encoder

【Paper】 每帧由冻结的 DINOv3 ViT-B/16 编码为 768 维特征 $\phi(o_{i_j})$。冻结 backbone 将训练重点放在时序进度建模上，也避免在规模有限的机器人视频上更新大视觉模型。

Temporal-Diff Tokenizer

【Paper】 第 $j$ 个 token 为：

$$ x_j = [\phi(o_{i_j}),;\phi(o_{i_j})-\phi(o_{i_{j-1}})]\in\mathbb{R}^{1536}, $$

首帧差分置零。第一项描述当前外观，第二项显式提供局部变化方向；之后经线性层映射到 Transformer hidden dimension，并加入固定 sinusoidal positional embedding。

Bidirectional Transformer 与 Categorical Head

【Paper】 Transformer 使用 12 层、8 heads 的双向 self-attention。每个位置输出 30 个相对进度 bin 的 logits，softmax 后用 bin center 的期望得到 $\hat y_j$。论文没有直接回归连续值，而采用 two-hot target：连续标签落在两个相邻 bin 之间时，按线性插值分配概率质量。

【Code】 当前仓库的 TransformerAggregator 保留上述 relative C51 head，同时还定义了可选的 absolute-progress head、三分类 sign head 和 completion head；这些辅助头是否参与训练由 ablation 配置决定。默认生产 recipe 是 no_abs，因此不能把代码中“定义了 absolute head”误读成“论文实验训练了 absolute head”。

Overlapping-Window Aggregation

【Paper】 推理时用 canonical stride 的窗口滑过整段 episode。窗口内离散速度为：

$$ v_j=(N-1)(\hat y_j-\hat y_{j-1}). $$

一个源帧通常被多个窗口覆盖，所有覆盖该帧的预测取平均，得到 $\hat v_t$。正值对应 forward progress，零附近对应停滞，负值对应 regression。

4.3 关键公式

Two-hot categorical loss

设进度标签 $y_j$ 落在相邻 bin center $b_l,b_{l+1}$ 之间，target 概率为：

$$ p_l=\frac{b_{l+1}-y_j}{b_{l+1}-b_l},\qquad p_{l+1}=\frac{y_j-b_l}{b_{l+1}-b_l}. $$

【Analysis】 这相当于保留连续值信息，同时把优化变成分类问题。论文引用的动机是直接回归容易出现优化不稳定和容量利用不足；分类头还可以通过 bin 分布表达一定的不确定性。

WARP-BC weighting

一个动作 chunk 的终点速度 $\hat v_{\mathrm{end}}$ 被转成：

$$ w(s,a)=\hat v_{\mathrm{end}};\mathbf{1}[\hat v_{\mathrm{end}}>\tau]. $$

最终 BC 损失是：

$$ \mathcal{L}{\mathrm{BC}} =\mathbb{E}{(s,a)\sim\mathcal{D}} \left[w(s,a),\mathcal{L}{\mathrm{flow}}(\pi\theta;s,a)\right]. $$

其中 $\tau=1$ 表示只保留高于参考专家节奏的 chunk；连续权重让速度更高的片段拥有更大梯度。$w=0$ 的 chunk 会在训练前被过滤，避免保留大量无效样本而只是把 batch 权重变成零。

4.4 Training

【Paper】 WARP-RM 只在固定的高质量参考子集 $\mathcal{D}_{RM}$ 上训练。T-shirt 实验中参考集是 1,950 条最短示教（≤59.8 s），用于定义 $\hat v\approx1$ 的 canonical pace。训练数据从成功 episode 中在线采样时间扭曲窗口；视觉 encoder 冻结，Transformer 和 progress head 更新。

论文主实验参数为 $N=32$、源视频 30 Hz、窗口间 canonical stride $S=1.5$ s、$\alpha=0.5$、$\sigma_\infty=\ln2$、$\lambda_{rev}=1$、过滤阈值 $\tau=1$。这些参数是论文实验设置，不应与代码后续 recipe 的所有默认值混用。

4.5 Inference

【Paper】 对一段未见过的 demonstration，模型在每个 source-frame offset 上建立重叠窗口；窗口内预测累计进度，作离散 temporal derivative，再把多窗口预测平均到每个 frame。动作 chunk 的末帧速度直接作为 WARP-BC 的 gate 与 weight。

【Code】 当前仓库的 dense_inference_relative 会扫描每个 feature step，聚合窗口速度后 cumsum，并把累计曲线 min-max 归一化到 [0,1]。短 episode 若放不下完整 canonical window，会自动缩短 stride 并按比例 rescale velocity；这是工程上的稳健性处理，不是论文新增结论。

4.6 代码实现对照

【Code】 官方仓库 uynitsuj/WARP-RM 提供训练、特征预计算、打分、可视化和 LeRobot parquet 注入脚本。核心对应关系如下：

| 论文概念 | 官方代码 | 实际行为 | | --- | --- | --- | | 时间扭曲采样 | warp_rm/data/samplers.py | ARSampler 实现 AR(1) log-speed、path budget 和 reversals；仓库还提供 IID、ContinuousWarpSampler 等可插拔变体 | | 相对累计标签 | warp_rm/data/labelers.py | RelativeCumulativeLabeler 输出窗口起点对齐的累计 displacement；另有 delta-velocity labeler | | 视觉编码器 | warp_rm/models/backbones/dinov3.py | 通过 HuggingFace 加载冻结 facebook/dinov3-vitb16-pretrain-lvd1689m，输出 768 维 pooled feature | | 时序模型 | warp_rm/models/aggregators/transformer.py | temporal diff → Linear → sinusoidal PE → bidirectional Transformer → C51 expectation | | 训练损失 | warp_rm/core/loss.py | relative head 使用 soft-bin C51 CE；可选 absolute、sign、completion、smoothness auxiliary loss | | 密集推理 | warp_rm/visualization/inference.py | 重叠窗口速度平均、积分、归一化；支持 relative 与 delta 两种标签模式 | | 数据注入 | scripts/data/write_warp_rm_annotations.py | 写入 warp_rm_progress 与 warp_rm_signed_magnitude 到 LeRobot 数据副本 |

【Analysis】 论文把 WARP 描述成一个相对稳定的 AR(1) 采样器和 30-bin head，而当前公开代码已经演化成研究框架：sampler、labeler、融合方式、辅助头和数据布局都可替换。因此复现实验时必须锁定 commit、ablation、source_standard_stride、feature stride 和 retention threshold；直接运行仓库默认 recipe 不等于复现论文 Table 1。

5. 实验

5.1 Experimental Setup

【Paper】 论文包含三个设置：

真实 T-shirt folding：双臂 I2RT YAM，从随机皱缩的衣物开始，在 240 s 超时内完成抓取、铺平、折袖、对折两次并移到左上角；每个策略 20 次试验。
真实 bottle-in-bin：每次试验把 4 个塑料瓶放入箱子，20 次试验，共 80 个瓶子，单 trial 超时 90 s。
模拟 bottle-in-bin：MuJoCo-Warp 中每场景 6 个瓶子，128 个配对场景、60 s 超时，共 768 个瓶子；同一场景种子用于比较 vanilla BC 与 WARP-BC。

T-shirt 数据按 episode 时长分 tier：D1 ≤60 s（2,427 episodes，36.1 h）、D2 ≤90 s（4,124，71.3 h）、D3 ≤120 s（6,473，139.7 h）。更长 episode 被当作包含更多 hesitation、fumble 和 recovery 的混合质量数据。这里的长度只是实验用 proxy，不是 WARP-RM 的训练标签。

5.2 Main Results

【Paper】 T-shirt folding 的跨 tier 结果：

| 方法 | 指标 | D1 | D2 | D3 | | --- | --- | ---: | ---: | ---: | | Vanilla BC | 成功 | 20/20 | 2/20 | 0/20 | | Vanilla BC | 平均 TTC (s) | 113.8 | 199.0 | N/A | | Vanilla BC | 吞吐 (/h) | 31.6 | 1.5 | 0.0 | | WARP-BC | 成功 | 20/20 | 19/20 | 14/20 | | WARP-BC | 平均 TTC (s) | 63.9 | 118.8 | 117.4 | | WARP-BC | 吞吐 (/h) | 56.3 | 27.4 | 16.3 | | WARP-BC | 保留 action chunks | 35.7% | 34.4% | 22.5% |

【Paper】 在加入人工标注数据的 matched comparison 中，D4 = D1 ∪ DA、D5 = D2 ∪ DA。D5 上 WARP-BC 仍为 19/20，而 SARM 和 SCIZOR 都降到 2/20；DemInf 达到 18/20，但吞吐只有 25.3/h，低于 WARP-BC 的 27.4/h。SARM 依赖人工阶段边界，不能被视为完全自监督基线。

真实 bottle-in-bin 结果为：

| 方法 | 放入瓶数 | 平均每瓶时间 (s) | 吞吐 (/h) | 保留 chunks | | --- | ---: | ---: | ---: | ---: | | Vanilla BC | 59/80 | 15.9 | 147.8 | 100% | | WARP-BC | 74/80 | 11.3 | 237.8 | 30.6% |

模拟 128 配对场景中，WARP-BC 放入 598/768 个瓶子，vanilla BC 为 509/768；每场景平均 4.67 对 3.98，平均每瓶时间 8.8 s 对 10.7 s，吞吐 301.3/h 对 243.0/h。论文报告配对检验均显著：瓶数 $p<10^{-5}$、时间 $p<10^{-6}$、吞吐 $p<10^{-7}$。

5.3 Ablation Study

【Paper】 D2 上的关键消融：

| 组件 | 变体 | 成功 | 吞吐 (/h) | 保留 | | --- | --- | ---: | ---: | ---: | | Weighting | $\tau=0$ | 3/20 | 2.3 | 97.0% | | Weighting | $\tau=1$ binary | 16/20 | 18.0 | 34.4% | | Weighting | $\tau=1$ continuous | 19/20 | 27.4 | 34.4% | | Aggregation | chunk mean | 15/20 | 17.4 | 34.0% | | Aggregation | future-offset mean | 14/20 | 15.9 | 34.3% | | Aggregation | terminal $\hat v_{end}$ | 19/20 | 27.4 | 34.4% | | Sampler | IID log-normal | 18/20 | 22.8 | 28.7% | | Sampler | AR(1) | 19/20 | 27.4 | 34.4% |

【Analysis】 两个结果最能说明方法的实际创新：

binary gate 与 continuous weight 保留相同数量 chunk，但连续权重明显更好，说明“保留哪些”之外，“保留片段之间如何分配梯度”同样重要。
terminal velocity 优于 chunk mean。均值会让前半段短暂的高速进展掩盖后半段的回退；末帧 gate 更像在检查动作 chunk 的落点是否仍处于有效前沿。

5.4 Generalization

【Paper】 从 T-shirt folding 到 bottle placement，WARP-BC 在真实和模拟环境都提升成功数量、执行速度与吞吐。模拟实验的配对设计和公开评估 artifact 让统计结论比 20 次实体试验更稳定。

【Code】 官方仓库进一步公开了 MuJoCo-Warp 的复现路径、n=128 scorer self-test 和 n=512 traces。README 中的 n=512 表格（4.533 vs 3.885 bottles/scene）与论文正文的 n=128 表格（4.67 vs 3.98）属于不同评估规模，不能混写成同一个实验结果。

6. 方法分析

6.1 为什么有效？

【Analysis】 WARP-BC 的收益可能来自三个互相配合的机制：

局部而非绝对监督：不要求不同示教在同一归一化时间走到同一子任务阶段，降低跨示教对齐噪声。
符号信息：正、零、负三种状态分别对应推进、停滞和回退，能识别“动作发生了但任务没有前进”的片段。
梯度预算重分配：把有限的 policy 更新集中到高进度 chunk，而不是平均拟合整个长尾数据集。

6.2 核心创新

【Paper】 真正的新意是把 time warp 从视频表征学习中的 pretext task 变成 progress reward 的直接监督来源；再通过重叠窗口把窗口级预测变成 dense frame-level signal。

【Analysis】 WARP-BC 的另一处细节创新是终点速度门控。它不是寻找“整段 chunk 的平均质量”，而是优先保留能把策略状态推向更好区域的动作落点。

6.3 与已有方法的本质区别

| 方法 | 监督形态 | 质量粒度 | 是否需要人工标注 | | --- | --- | --- | --- | | ReWiND | 绝对时间 / 语言引导 reward | frame | 否，但依赖绝对轴 | | SARM / ARM | 阶段或 advantage reward | frame / chunk | 是或需要额外标注 | | DemInf | episode 互信息 | episode | 否 | | SCIZOR | 自监督时间距离 | frame / chunk | 否 | | WARP | signed relative progress velocity | frame → chunk | 否 |

【Analysis】 WARP 不试图学习跨任务的语义 reward，也不直接估计 RL value。它牺牲了任务语义泛化，换取高频、低成本、对单一任务数据清晰的局部质量排序。

6.4 关键假设

【Paper】 方法依赖以下假设：

成功示教中存在足够稳定的视觉进度线索；
变速重放与真实执行速度变化之间有可用的分布重叠；
最短示教可以作为 canonical pace 的近似参考；
选出的高进度 action chunk 仍覆盖策略需要的状态分布。

【Analysis】 最后一个假设尤其重要。若任务需要大量恢复动作才能覆盖危险状态，过强的 gate 可能把真正有价值的 recovery data 一起删掉。

7. 局限性

7.1 作者明确提出的局限

【Paper】 作者明确指出：

WARP-BC 仍被限制在离线示教出现过的行为范围内，不能自动产生超出数据分布的新策略；未来可结合 DAgger、offline/online RL 和迭代式 self-improvement。
实验只覆盖两个真实操作任务、一个模拟任务和单一双臂 embodiment，跨机器人、跨任务泛化尚未验证。
负进度完全由反向播放近似得到。真实 regression 是沿正常因果时间向前发生的，而反向视频可能物理上不合理，存在 spatiotemporal distribution gap。

7.2 自己分析得到的局限

【Analysis】

参考集选择会决定尺度：最短 episode 不一定是最有信息的 episode；如果最短数据存在过快操作或遗漏步骤，$\hat v=1$ 的校准会偏移。
单目视觉可辨识性有限：遮挡、深度变化或接触力不足以由 RGB 判断时，模型可能把“画面变化”当作进度。
窗口与动作 chunk 的时间尺度耦合：论文用 1.5 s 窗口 stride 和约 1 s action chunk；换成不同控制频率或 action horizon，$\tau=1$ 不一定仍然合理。
过滤可能损害 recovery coverage：高进度片段更容易是专家的顺利路径，低进度片段中却可能包含策略部署时最需要的纠错动作。
实体试验样本量有限：20 次 trial 下 19/20 与 20/20 的差异可能仍处于二项抽样噪声，吞吐和 TTC 比单看 success 更有解释力。
工程实现持续演化：当前仓库加入了 delta label、连续 Beta-CDF sampler、多相机 fusion 和辅助 head；如果不锁定版本，复现实验数字会混入代码变化。

8. 启发与研究思考

【Analysis】 WARP-RM 给数据中心机器人学习带来的启发，不是“所有数据都应该按 reward 加权”，而是：

先问标签是否真的可扩展：如果每增加一批示教就要人工标阶段，数据规模会被标注预算卡住；time warp 提供了一种把已有成功轨迹转换成 dense supervision 的路径。
局部信号可以比全局分数更实用：episode 总分适合排序数据集，action chunk 的末帧速度才直接对应策略训练的梯度入口。
质量模型要和下游目标一起评估：离线 reward correlation 更高，不保证 policy rollout 一定更好。官方复现实验也提醒，固定 retention budget、chunk 定义和 threshold 校准常常比孤立的 RM 指标更关键。
负样本的物理真实性值得继续研究：未来可以用真实失败 rollout、轻量级扰动或人类纠错片段替代纯 reverse playback，减少 synthetic negative 与真实 regression 的分布差异。
WARP 可以成为更大系统的一个数据层：它不要求替换 π₀、Diffusion Policy 或 Flow Matching policy，只需在 LeRobot 数据中注入 warp_rm_signed_magnitude，就能把质量感知接到现有 BC pipeline。

如果把论文压缩成一个研究问题，就是：在不增加人工标注的前提下，能否把“示教中哪里真正推进了任务”变成可计算、可验证、可下游使用的训练信号？ WARP-RM 给出的答案是肯定的，但它仍需要在更多 embodiment、更多失败模式和更长的在线闭环任务上接受检验。

VLA-OPD 论文精读：用 On-Policy Distillation 连接 VLA 的 SFT 与 RL

Tue, 25 Aug 2026 00:00:00 GMT

1. 论文概述

论文名称：《VLA-OPD: Bridging Offline SFT and Online RL for Vision-Language-Action Models via On-Policy Distillation》

作者：Zhide Zhong、Haodong Yan、Junfeng Li、Junjie He、Tianran Zhang、Haoang Li

机构：The Hong Kong University of Science and Technology (Guangzhou)

会议 / 期刊：arXiv 预印本（2026）

论文链接：arXiv

代码 / 项目仓库：IRPN-LAB/VLA-OPD

项目主页：VLA-OPD

一句话总结

【Paper】 VLA-OPD 把学生 VLA 的 on-policy rollout 当作“主动暴露错误状态”的机制，再用冻结教师在每个访问状态输出动作 logits，以 token-level Reverse-KL reward 进行更新；它因此绕开 sparse-reward RL 的低样本效率，同时修复 offline SFT 的 exposure bias 与 catastrophic forgetting。

核心贡献

【Paper】

提出统一的 On-Policy VLA Distillation（VLA-OPD）：学生自己与环境交互，教师只在学生访问到的状态上提供监督。
把教师分布蒸馏写成 Reverse-KL，而不是 Forward-KL 或 Hard-CE，目标是 mode-seeking，同时保留必要的 action diversity。
通过在学生行为流形上做温和更新，缓解 offline SFT 因固定数据分布造成的 catastrophic forgetting。
在 LIBERO 与 RoboTwin2.0 上验证：1-traj 初始化的 LIBERO 平均成功率从 48.9% 提升到 87.4%（Distill），再结合 GRPO 达到 93.4%。

2. 背景与相关工作

【Paper】 预训练 VLA 已具备跨任务泛化能力，但下游部署仍需要 post-training。传统 offline SFT（通常是 Behavior Cloning）在专家状态上学习，监督密集、收敛快，却没有覆盖学生自己造成的偏离状态；一旦执行误差累积，策略就进入未见过的区域。Online RL 能在学生诱导的状态分布上学习，但机器人任务常只有最终成功 / 失败的稀疏奖励，导致 credit assignment 困难、方差大、交互成本高。

论文将三种范式的取舍概括为：

| 范式 | 采样分布 | 训练信号 | 主要优点 | 主要问题 | | --- | --- | --- | --- | --- | | Offline SFT | Off-policy 专家轨迹 | 每个 token dense label | 稳定、快 | distribution shift、遗忘 | | Online RL / GRPO | On-policy 学生轨迹 | 稀疏 outcome reward | 闭环纠错、少示教 | 样本效率低、方差大 | | VLA-OPD | On-policy 学生轨迹 | 教师 token logits | dense + closed-loop | 需要可用教师 |

【Analysis】 VLA-OPD 的关键不是把 SFT 与 RL 简单串联，而是把“状态分布由学生决定”和“动作监督由教师提供”解耦：前者负责找到失败状态，后者负责给出比 0/1 成功信号更细的纠错方向。

3. 问题定义

【Paper】 将机器人操控写成 MDP $(\mathcal S, \mathcal A, \mathcal T, r, \gamma)$。状态 $s_t$ 包含视觉观测与语言指令，策略 $\pi_\theta(a_t\mid s_t)$ 输出动作，目标是最大化任务成功率。

Input / Observation：当前视觉观测与语言 instruction；论文没有把具体相机数量或统一的 proprioception 格式作为方法前提。
Output / Action：VLA 生成的离散或连续动作 token；方法在 token level 计算 teacher / student log-probability。
Student：通常由 OpenVLA-OFT 等基础模型经 1-traj（LIBERO）或 1,000-traj（RoboTwin2.0）SFT 初始化。
Teacher：冻结的高性能策略，实验中使用 SimpleVLA-RL 作为 performance oracle。
Environment / Dataset：LIBERO 的 Spatial、Object、Goal、Long 四个 suite，以及 RoboTwin2.0 的双臂任务。

4. 方法

4.1 Overall Architecture

如 Figure 1 所示，训练循环只有一条主线：学生在环境中产生 $O\rightarrow A\rightarrow O$ 轨迹，教师读取这些学生访问到的状态并给出 action logits，学生再用 Reverse-KL 目标更新。教师不执行动作，环境 rollout 只由学生完成。

4.2 核心模块

On-Policy Trajectory Sampling

输入：当前学生策略 $\pi_{\theta_k}$、prompt batch 与环境。
输出：学生诱导的轨迹集合 $\mathcal D_k={\tau_i}$。
作用：把 compounding error 造成的 failure states 显式加入训练数据，直接解决 SFT 只看专家状态的问题。

【Paper】 每一步按 $a_t\sim\pi_{\theta_k}(\cdot\mid s_t)$ 执行，下一状态按环境转移 $s_{t+1}\sim\mathcal P(\cdot\mid s_t,a_t)$ 产生。因此训练分布是 $d^{\pi_{\theta_k}}$，而不是固定的 expert distribution。

Dense Teacher Supervision

输入：学生访问的状态 $s_t$。
输出：教师动作分布 $q_t(a)=\pi_{tea}(a\mid s_t)$。
作用：在每个 token 上提供即时纠错信号，并把教师的 recovery prior 传给学生；不需要等 episode 结束才知道成功与否。

Reverse-KL Reward

【Paper】 论文使用 token-level intrinsic reward：

$$ r_t^{\mathrm{OPD}}(s_t,a_t)=-\left(\log\pi_\theta(a_t\mid s_t)-\log\pi_{tea}(a_t\mid s_t)\right) $$

学生选择的动作越接近教师高概率区域，惩罚越小。实现 policy-gradient 时，对 reward 内的 student log-probability 使用 stop_gradient，避免把 reward 计算本身的梯度重复传回策略。

4.3 关键公式

学生 on-policy 轨迹

$$ \mathcal D_k={\tau=(s_0,a_0,s_1,\ldots,s_T)\mid a_t\sim\pi_{\theta_k}(\cdot\mid s_t),;s_{t+1}\sim\mathcal P(\cdot\mid s_t,a_t)} $$

$\mathcal D_k$ 是第 $k$ 次迭代采集的数据；$\pi_{\theta_k}$ 是当时的学生；$\mathcal P$ 是环境转移。它的意义是让训练覆盖学生真实会走到的状态，包括错误状态。

Reverse-KL 目标

$$ \max_\theta;\mathcal J(\theta)=\mathbb E_{s\sim\pi_\theta}\left[-D_{KL}\left(\pi_\theta(\cdot\mid s),|,\pi_{tea}(\cdot\mid s)\right)\right] $$

这里的 KL 方向是 student $|$ teacher。与 Forward-KL 的 mode-covering 不同，Reverse-KL 倾向于选取教师的主要 mode；教师在 OOD 状态上的低置信度尾部不会被强迫完整复制。

Group-based gradient

$$ \nabla_\theta\mathcal J(\theta)\approx\frac1G\sum_{i=1}^{G}\sum_{t=0}^{T}\nabla_\theta\log\pi_\theta(a_{t,i}\mid s_{t,i}),r_t^{\mathrm{OPD}}(s_{t,i},a_{t,i}) $$

$G$ 是同一 instruction 下采样的轨迹数。增大 $G$ 能降低环境随机性带来的 Monte Carlo 方差，但也线性增加 rollout 与 teacher inference 成本。

三种目标的差异

| 目标 | 分布行为 | 论文观察 | | --- | --- | --- | | Forward-KL $D_{KL}(\pi_{tea}|\pi_\theta)$ | Mode-covering | 模仿教师不确定性，出现 entropy explosion | | Hard-CE | 只跟随 argmax | 过早 entropy collapse，损失探索多样性 | | Reverse-KL $D_{KL}(\pi_\theta|\pi_{tea})$ | Bounded mode-seeking | 聚焦有效 mode，同时保留适度随机性 |

4.4 Training

【Paper】 学生先从 SFT checkpoint 初始化。每轮从 prompt 数据集采样 batch，并对每个 prompt 采样 $G$ 条学生轨迹；随后逐状态查询冻结教师，计算 token-level Reverse-KL reward，再用 group-averaged policy gradient 更新学生。主实验 batch size 为 64、$G=8$；消融实验固定 batch size 为 32。

4.5 Inference

【Paper】 推理时只运行学生策略。它接收当前视觉观测与指令，逐步生成动作并交给机器人执行；教师不参与部署环路，因而 teacher 的作用是 post-training 时的 privileged supervision，而不是 runtime dependency。

4.6 代码实现对照

【Code】 截至本文撰写时，论文配套 GitHub 仓库 IRPN-LAB/VLA-OPD 公开内容主要是项目主页与论文图表（例如 figures/opd/figure1-1.png、训练曲线和遗忘曲线），没有可供复现实验的训练、数据加载、模型或推理脚本；项目主页上的 Code 按钮也标注为 “Coming Soon”。因此以下内容只能对照公开仓库的资产，不能把论文中的伪代码误写成已验证的代码行为。

| 论文对象 | 公开仓库现状 | 结论 | | --- | --- | --- | | Student / Teacher model | 未公开模型定义 | 论文描述，尚无代码核验 | | Rollout 与 DataLoader | 未公开 | 论文描述，尚无代码核验 | | Reverse-KL loss 与 stop_gradient | 未公开 | 论文描述，尚无代码核验 | | LIBERO / RoboTwin 配置 | 未公开 | 论文表格可读，实验脚本不可复现 | | Figure 1、训练曲线、消融图 | 已公开 PNG | 可用于核对论文图形与数值叙述 |

5. 实验

5.1 Experimental Setup

【Paper】 LIBERO 使用 Spatial、Object、Goal、Long 四个 suite；学生由每任务 1 条示教的 SFT 初始化。RoboTwin2.0 选取四个双臂协调任务，学生由每任务 1,000 条轨迹初始化。教师为 SimpleVLA-RL；比较对象包括 Student Init、稀疏奖励 GRPO 与 full-dataset offline SFT。

5.2 Main Results

【Paper】 LIBERO 平均成功率如下：

| 方法 | Spatial | Object | Goal | Long | Avg. | | --- | ---: | ---: | ---: | ---: | ---: | | SimpleVLA-RL Teacher | 94.2 | 96.1 | 94.6 | 90.7 | 93.9 | | OpenVLA-OFT Student Init.（1-traj） | 63.6 | 54.9 | 59.6 | 17.3 | 48.9 | | VLA-OPD Distill | 84.3 | 93.8 | 92.5 | 78.9 | 87.4 | | VLA-OPD Distill + GRPO | 93.4 | 95.3 | 94.5 | 90.2 | 93.4 |

【Analysis】 这里最有信息量的对照是 48.9% → 87.4%：Distill 并没有增加静态示教数据，而是把学生的失败状态转成了训练输入。再接 GRPO 的 93.4% 接近教师 93.9%，说明 OPD 更像一个高效 warm start，而不是声称完全取代 RL。

在 RoboTwin2.0 的四个双臂任务上，Student Init 平均 45.2%，VLA-OPD Distill 平均 71.1%，教师为 74.0%。这说明方法的收益不只来自单臂 LIBERO，也覆盖更长 horizon 与双臂协调。

5.3 Ablation Study

【Paper】 在 RoboTwin2.0 的 Beat Block Hammer 任务上，Reverse-KL 的成功率稳步升高；Forward-KL 早期出现超过 50 个百分点的 performance valley，Hard-CE 最终停在最低平台。对应的 entropy 曲线支持论文的机制解释：Forward-KL 复制教师尾部不确定性，Hard-CE 丢掉 soft probabilities，而 Reverse-KL 在有效 mode 内保留适度随机性。

【Paper】 group size 消融使用 $G\in{2,4,8}$。$G=8$ 最平滑、最终约 89%；$G=2$ 仍超过 80%，说明减小 rollout group 可以用更低计算成本换取可接受的梯度方差。

5.4 Generalization

【Paper】 遗忘实验在 target seen tasks 上微调，同时在四个 held-out Object / Spatial tasks 上评估。offline SFT 随 seen 成功率提升而把 unseen 成功率压到接近 0；RL 与 VLA-OPD 的 on-policy 更新显著缓解此崩塌。【Analysis】 这支持“更新锚定学生当前行为流形”的解释，但尚不足以证明对所有 backbone 或任务都能免于遗忘。

6. 方法分析

6.1 为什么有效？

【Analysis】 VLA-OPD 同时修复了两个互补的错位：状态分布由学生 rollout 决定，因此训练数据包含真正会失败的状态；动作标签由教师 logits 决定，因此每个 token 都有 dense signal。Reverse-KL 则控制教师在 OOD 状态上的不确定性不被整段复制，避免“既不果断又不稳定”的策略。

6.2 核心创新

State on-policy，label teacher-forced：学生负责提出问题，教师负责给出恢复方向。
Reverse-KL mode-seeking：不追逐教师分布的所有低概率尾部。
Post-training 组合方式：Distill 负责快速获得鲁棒起点，GRPO 可在其上继续优化最终上限。

6.3 与已有方法的本质区别

offline SFT 在固定专家轨迹上做 Forward-KL / CE；DAgger 类方法通常让专家给 on-policy 状态打 hard label；GRPO 依赖 episode-level outcome reward。VLA-OPD 的独特点是“on-policy states + token-level teacher distribution + Reverse-KL”，三者缺一都会改变它的优化性质。

6.4 关键假设

存在一个比学生更鲁棒、可以查询 logits 的冻结教师。
教师在学生访问的 OOD 状态上仍能给出有用的相对偏好。
训练环境允许足够多的学生 rollout；虽然比 sparse-reward RL 高效，但并非零交互成本。
action token 的概率分布可以稳定比较，且 teacher / student 的动作空间与 tokenizer 对齐。

7. 局限性

7.1 作者明确提出的局限

【Paper】 结论部分明确指出，后续工作将减少对特定 teacher model 的依赖。也就是说，当前方法的可扩展性仍受 teacher availability 与 teacher quality 约束。

7.2 自己分析得到的局限

【Analysis】

教师需要在每个学生状态上运行并返回 token logits；当 VLA 很大时，teacher inference 可能成为主要成本。
Reverse-KL 只会在教师概率质量足够可靠时发挥作用；如果教师在关键 OOD 状态上完全错误，dense supervision 也可能把学生带向错误 mode。
论文公开表格很完整，但截至本文撰写时 GitHub 没有训练代码、配置、checkpoint 或数据处理脚本，独立复现实验仍受限。
论文主要报告 LIBERO 与 RoboTwin2.0；对真实机器人硬件差异、长时间部署稳定性和 teacher mismatch 的系统评估仍不充分。

8. 启发与研究思考

【Analysis】 VLA post-training 可以被拆成三个可替换接口：谁产生状态、谁提供动作偏好、用什么 divergence 更新。这样一来，未来不一定要把“更强 teacher”直接蒸馏给学生，也可以研究不确定性门控、多个 teacher 的 ensemble、只在高价值 failure state 上查询 teacher，或把 Reverse-KL reward 与 replay / offline regularization 混合。

对实践者而言，VLA-OPD 给出一个清晰的工程顺序：先用极少示教得到可运行但脆弱的学生，再用 on-policy distillation 快速修复闭环错误，最后视需要接 GRPO 提升上限。对研究者而言，真正值得继续追问的是：teacher 不可靠时如何估计 epistemic uncertainty，以及能否在没有 teacher logits 的开放模型上近似同样的 bounded mode-seeking 更新。

VLA-0 论文精读：不改 VLM，直接把动作写成文本

Tue, 25 Aug 2026 00:00:00 GMT

1. 论文概述

一句话总结

【Paper】 VLA-0 重新审视了一个被主流路线忽略的方案：不新增 action token、不接专用 action head，也不改 tokenizer，而是提示一个普通 Vision-Language Model（VLM）把未来动作直接生成成数字字符串。论文以 Qwen2.5-VL-3B 为底座，配合 action decoding、ensemble prediction 和 Masked Action Augmentation，在 LIBERO 和 SO-100 上取得了出人意料的高性能。

核心贡献

【Paper】

提出 VLA-0：保持底层 VLM 的 vocabulary、tokenization 和网络结构不变，用文本形式表示机器人动作。
给出一套决定性能的训练/推理 recipe：把连续动作归一化到整数区间、限制推理时的合法 token、对重叠动作预测做 ensemble，并随机遮挡动作字符串中的字符。
在没有大规模机器人动作预训练的情况下，LIBERO 四个 suite 平均成功率达到 94.7%，超过同类未预训练 VLA 以及若干做过大规模动作预训练的方法。
在 SO-100 四个真实任务上超过使用大规模 SO-100 预训练的 SmolVLA，平均高出 12.5 个百分点。

2. 背景与相关工作

【Paper】 现有 VLA 大致可分为三类：

Discrete Token VLA：把动作离散到若干 bin，再占用 VLM 词表中的 token；代表方法包括 RT-2 和 OpenVLA。
Generative Action Head VLA：在 VLM 外增加连续动作生成模块，例如 diffusion/flow action head。
Custom Architecture VLA：引入专用 action tokenizer 或改造 decoder，例如 DCT 风格的 action tokenization 或 ACT head。

【Paper】 第一类方法的困难是动作分辨率受 token 数量约束，而且复用文本 token 可能损害原本的语言语义；后两类虽然表达力更强，却引入额外参数、训练阶段和工程复杂度。VLA-0 的问题意识很直接：如果 VLM 本来就会生成数字，为什么不能让它直接生成动作数字？

【Analysis】 这不是声称架构修改没有价值，而是把研究变量换成了训练 recipe。论文真正想验证的是：当输入格式、数字约束、动作集成和遮挡增强都设计得足够仔细时，所谓“最简单”的文本动作接口是否已经足够强。

3. 问题定义

【Paper】 VLA-0 接收一个 system prompt、一个或多个 RGB 图像和自然语言任务指令，输出未来 $H$ 个时间步、每步 $D$ 维的动作。system prompt 要求模型输出单行、空格分隔的 $H\times D$ 个整数，每个整数位于 $[0,B]$。

$$ o_t={I_t^{(1)},\ldots,I_t^{(C)},\ell_t}, \qquad A_t=[a_t, a_{t+1},\ldots,a_{t+H-1}]. $$

其中 $I_t^{(c)}$ 是第 $c$ 个相机图像，$\ell_t$ 是任务指令，$a_t\in\mathbb R^D$ 是原始连续动作。策略学习的是文本条件分布 $p_\theta(s(A_t)\mid o_t)$，$s(\cdot)$ 表示把动作序列编码为数字字符串。

【Paper】 LIBERO 实验使用第三人称和 wrist camera；真实 SO-100 实验使用左右相机。每个 LIBERO suite（Spatial、Object、Goal、Long）包含 10 个任务，每个任务评估 50 个 episode。

【Code】 官方默认配置使用 Qwen2.5-VL-3B-Instruct、7 维 original action、8 步 horizon、1 帧 history、2 个 camera、1000 个 action bins 和 224×224 图像。仓库中的 img_libero_aug.yaml 同样设置 history=1、horizon=8，并使用 physical-intelligence/libero LeRobot 数据集。

4. 方法

4.1 Overall Architecture

【Paper】 数据流可以概括为：多视角图像与语言指令进入原生 VLM；VLM 按聊天模板生成空格分隔的整数；整数经过反归一化后还原为连续机器人动作。VLA-0 没有额外的视觉融合层、action head 或 action tokenizer。

4.2 核心模块

输入与 VLM 底座

输入：system prompt、相机 RGB 图像、任务 instruction。
视觉编码：由 Qwen2.5-VL 自带视觉模块完成，VLA-0 不替换它。
语言模型：论文使用约 3B 参数的 Qwen2.5-VL-3B；代码通过 Qwen2_5_VLForConditionalGeneration 加载完整模型。
多图组织：可以把多帧/多相机图像作为独立 image 输入，也可以横向 tile 成一张 composite image。

【Code】 QwenActor.get_imgs 从输入 batch 生成 PIL 图像列表；若 tiled_rgb_imgs=True，tile_images 会把图像沿宽度拼接。add_vision_id=True 是多图或多 history 的必要条件，用于让 Qwen 区分视觉输入。

Action Decoding

【Paper】 给定原始动作范围 $[m_i,M_i]$，每个动作维度被映射到 $[0,B]$ 的整数：

$$ z_i=\operatorname{round}\left( \frac{a_i-m_i}{M_i-m_i}B \right). $$

模型只需输出 z_1 z_2 ... z_{H\times D}，不需要知道动作 token 的特殊语义。分辨率 $B$ 可以按任务调节，不受 VLM 词表大小限制。

【Code】 get_text_action 使用数据集统计量的 min/max 归一化并四舍五入为整数；get_action_from_text_action 将文本解析为 (batch, horizon, act_dim)，缺少数字时用最后一个动作补齐，超出 horizon 时截断，再按 min/max 还原连续值。

NumberSpaceOnlyProcessor

【Code】 推理时 NumberSpaceOnlyProcessor 把 logits 限制到数字 0–9、空格和 EOS。这样模型虽仍通过原生 text generation 生成动作，但不会输出解释性自然语言或非法字符。【Analysis】 这个约束是“文本动作”能稳定落地的重要工程边界：动作语义不需要新 token，但语法仍需要硬约束。

Ensemble Prediction

【Paper】 每次推理生成一段未来动作，连续时刻的预测会重叠。时刻 $t$ 的最终动作取最近 $n$ 次预测在对应时间位置上的平均：

$$ \hat a_t=\frac{1}{n}\sum_{j=0}^{n-1}\hat a_{t-j}^{(j)}. $$

这对应 ACT 的 Temporal Ensembling 思路，使数字文本解码造成的局部抖动不直接传到机器人。

【Code】 LIBERO 命令示例使用 --action_horizon 1 --ensemble_prediction 8，即每个环境步执行一项动作并融合 8 个预测；实时 SO-100 评测为保持部署简单，论文明确没有启用 ensemble。

Masked Action Augmentation

【Paper】 训练时随机把目标动作字符串中的一部分字符替换为 mask 字符。被遮挡位置不参与 loss，同时输入中的对应 token 被替换为 ?，迫使模型根据图像和指令推理动作，而不是只做数字序列的 auto-completion。

【Code】 QwenActor.forward 中约 10% 样本不做增强，其余样本从 [0, action_mask_aug_per] 均匀采样遮挡比例；默认配置是 action_mask_aug_per=0.4，被遮挡 label 设为 -100，输入 token 设为 id 30。

4.3 关键公式

文本动作的交叉熵

设动作字符串 token 序列为 $y_{1:L}$，VLM 在视觉和语言条件 $o_t$ 下输出 logits $p_\theta(y_k\mid y_{<k},o_t)$，训练目标是标准 causal language modeling loss：

$$ \mathcal L_{\mathrm{CE}}(\theta)= -\sum_{k=1}^{L}\mathbf 1[k\in\mathcal A] \log p_\theta(y_k\mid y_{<k},o_t), $$

其中 $\mathcal A$ 是未被遮挡的动作字符位置。system prompt、用户消息、图像 token 和 padding 都不计入 loss。

【Code】 官方实现复制 Qwen 的 shifted-token loss：shift_logits 预测下一个 token，shift_labels 右移一位；CrossEntropyLoss(ignore_index=-100) 完成屏蔽。

反归一化

模型生成整数 $z_i$ 后，连续动作为

$$ \hat a_i=\frac{z_i}{B}(M_i-m_i)+m_i. $$

该公式的作用不是学习新的 action decoder，而是把文本模型输出的离散数值还原到机器人的原始 action space。$m_i,M_i$ 必须来自与训练数据一致的数据集统计量。

4.4 Training

【Paper】 论文实验采用 full fine-tuning，batch size 192、学习率 $5\times10^{-6}$、64 epochs，在 8 张 A100 上约训练 32 小时。

【Code】 当前官方仓库默认 configs/vla0.yaml 使用 AdamW、学习率 $5\times10^{-6}$、weight decay $10^{-10}$、24 epochs、batch size 8、AMP 开启；use_lora=False、use_qlora=False，也就是配置默认是全参数微调。论文配置和公开仓库默认值并不完全一致，应以具体 checkpoint 的 config.yaml 为准。

4.5 Inference

【Code】 get_one_step_action=True 时，模型会把上一次的 action text 接回输入，只生成当前一步需要的数字，并通过 service.py 以 streaming API 逐步返回。公开 README 报告标准 PyTorch 在 RTX 5090 上约 4 Hz；8 路 ensemble 需要同时运行 8 个模型实例，因此真实部署默认关闭 ensemble。

4.6 代码实现对照

| 论文概念 | 官方代码位置 | 实际实现 | | --- | --- | --- | | VLM backbone | rv_train/models/qwen/model.py | 加载 Qwen2_5_VLForConditionalGeneration | | 文本动作格式 | format_data 与 system_message | 输出 $H\times D$ 个空格分隔整数 | | 动作量化 | get_text_action | 按 dataset min/max 映射到 num_bins_actions | | 动作解析 | get_action_from_text_action | 解析、补齐/截断、反归一化 | | 合法 token 约束 | NumberSpaceOnlyProcessor | 数字、空格、EOS 以外 logits 置为 $-\infty$ | | 遮挡增强 | QwenActor.forward | 随机屏蔽 action 字符并忽略对应 loss | | 训练入口 | rv_train/train.py | DataLoader、optimizer、checkpoint、dataset stats | | 评测与部署 | eval/eval_libero.py, rv_train/deploy/ | LIBERO ensemble、SO-100 API/streaming |

【Code】 transform_from_so100 的函数签名包含 robot state，但它构造给 QwenActor 的样本只保留 RGB 和 instruction；当前 VLA-0 模型实际是视觉-语言条件策略，不把 proprioception 作为额外 token 输入。【Analysis】 这也是“zero modification”的一部分：动作接口是文本，观测接口仍沿用 VLM 的图像+文本范式。

5. 实验

5.1 Experimental Setup

【Paper】

LIBERO：Spatial、Object、Goal、Long 四个 suite，每个 suite 10 个任务，每个任务 50 episodes。
真实机器人：SO-100 与 LeRobot，四个任务是 reorienting a block、pushing an apple、pick-and-place a banana、pick-and-place a cupcake；每个任务 100 条训练示教，在不同初始物体位置上测试。
基座与对比：Diffusion Policy、OpenVLA、SmolVLA、$\pi_0$、GR00T-N1、$\pi$-FAST、OpenVLA-OFT、$\pi_{0.5}$-KI 等，论文同时区分是否有 large-scale action pretraining。

5.2 Main Results

【Paper】 VLA-0 在没有大规模机器人动作预训练的模型中取得四个 suite 全部最高：Spatial 97.0、Object 97.8、Goal 96.2、Long 87.6，平均成功率 94.7%、平均排名 1.0，比未预训练组第二名高 1.4 个百分点。

即使和有大规模动作预训练的模型相比，VLA-0 仍超过 $\pi_0$（94.2）、GR00T-N1（93.9）、MolmoAct（86.8）、$\pi$-FAST（86.0）等；只有 OpenVLA-OFT（97.1）和少数模型在部分 suite 上更高。【Analysis】 这不是“零样本”或“零训练”，而是“不做大规模机器人动作预训练”；VLA-0 仍在 LIBERO 数据上进行任务微调。

【Paper】 真实实验中，VLA-0 平均成功率比 SmolVLA 高 12.5 个百分点。SmolVLA 使用了大规模 SO-100 预训练，而 VLA-0 从 Qwen2.5-VL 开始训练，说明文本动作接口的效果不只停留在 LIBERO 仿真。

5.3 Ablation Study

【Paper】 LIBERO 四套件平均成功率的消融如下：

| 配置 | 平均成功率 | 相对完整模型 | | --- | ---: | ---: | | 完整 VLA-0（ensemble + mask + tile，resolution 1000） | 94.7 | 0.0 | | 去掉 action ensemble | 92.0 | -2.0 | | 去掉 Masked Action Augmentation | 93.5 | -1.2 | | resolution 4000 | 94.2 | -0.5 | | resolution 250 | 93.2 | -1.5 | | 不 tile 多图 | 94.5 | -0.2 |

【Paper】 action ensembling 是影响最大的组件；resolution 1000 已足够，增加到 4000 没有收益，降到 250 则损失 1.5 个百分点；图片是否 tile 影响很小。【Analysis】 这组结果把“简单架构”与“简单 recipe”区分开：文本动作本身只是必要条件，稳定输出依赖时间融合和抗 teacher-forcing 偏差的增强。

5.4 Generalization

【Paper】 LIBERO 的四个 suite 分别考察空间位置、物体变化、目标变化和更长时序；VLA-0 在四类上都超过未预训练竞争方法。真实实验还在不同初始物体位置下评估，而不是只复现示教轨迹。

【Code】 eval/eval_libero.py 支持通过 task_suite_name、task_name、action_horizon、ensemble_prediction 和并行 episode 参数复现实验；README 提供的推荐设置是每步执行一个 action、融合 8 个预测。

6. 方法分析

6.1 为什么有效？

【Analysis】

保留 VLM 先验：不把原词表 token 改成动作 token，语言模型原本的指令理解能力不会被动作语义覆盖。
分辨率与词表解耦：动作数字由多个字符组成，$B$ 可以调整到 250、1000 或 4000，而不需要为每个 bin 新增 token。
文本生成天然支持变长序列：未来多个时间步只需串接数字，不需要为固定 horizon 设计额外输出头。
遮挡增强迫使视觉 grounding：随机破坏已生成的数字前缀，降低模型通过局部数字模式投机完成任务的机会。
Temporal Ensembling 把 token 噪声变成低通滤波：多个重叠 action chunk 的平均能减轻离散解码和单步预测抖动。

6.2 核心创新

【Paper】 核心创新不是新的 Transformer block，而是证明“保留底层 VLM 完整性”本身可以成为设计原则：动作可以是文本，动作约束可以由 logits processor 提供，连续控制精度可以由数值编码提供。

6.3 与已有方法的本质区别

【Analysis】 Discrete Token VLA 把动作离散值绑定到模型词表中的单 token；VLA-0 把动作绑定到“数字字符串”。Generative Action Head VLA 在语言模型旁边学习另一个连续生成器；VLA-0 让同一个 causal LM 负责语言和动作。Custom VLA 修改架构来改善动作建模；VLA-0 把主要复杂度放在 prompt、mask、解析和 ensemble 上。

6.4 关键假设

【Analysis】 方法成立依赖以下假设：

Qwen 等 VLM 能在有限微调数据中学习数字序列与视觉状态的对应关系。
动作空间可以用每维独立的 min/max 区间表达；跨维耦合由模型而不是 tokenizer 处理。
单个 action token 的生成延迟仍足以满足机器人控制频率，或可以用短 horizon/streaming 缓解。
训练时被遮挡的字符能模拟推理时的前缀不确定性，而不会破坏动作字符串的整体监督信号。

7. 局限性

7.1 作者明确提出的局限

【Paper】 真实部署标准 PyTorch 速度约 4 Hz；作者指出 TensorRT-LLM、蒸馏和量化可能提升速度。实时实验没有启用 ensemble，因为 8 路同时运行会增加部署成本。论文也没有把 action-free 视频用于预训练，而是聚焦有动作标注的任务示教。

7.2 自己分析得到的局限

【Analysis】

文本动作是自回归生成，输出 $H\times D$ 个数字的延迟会随 horizon、动作维度和数字位数增长；长时序或高 DoF 任务可能不适合一次生成完整 chunk。
每个动作维度使用独立 min/max，异常值和跨任务统计差异会直接影响量化分辨率；代码解析失败时会退回 min/max 中点，属于安全兜底而非可靠控制。
NumberSpaceOnlyProcessor 只约束字符集合，不保证数字数量、范围或动作语义正确；后处理还需要补齐、截断和裁剪。
ensemble 在仿真中收益明显，但真实部署关闭 ensemble，说明论文最强结果与低延迟部署之间仍有取舍。
主要结果集中在 LIBERO 和 SO-100，尚不能据此推断文本动作接口对双臂、高频触觉和复杂接触动力学同样有效。
公开仓库默认配置与论文训练细节不同，复现实验必须使用 checkpoint 附带的 config、dataset statistics 和对应 LeRobot 版本。

8. 启发与研究思考

【Analysis】 VLA-0 最值得借鉴的是“先问接口是否真的需要专用模块”。几个可继续研究的方向是：

结构化文本动作：在保持原生 tokenizer 的前提下，用分隔符、字段名或短 JSON 约束表达双臂、力控和终止标志，再研究它们对生成稳定性的影响。
自适应数值编码：让分辨率 $B$ 根据动作维度、任务阶段或不确定性动态变化，避免所有维度固定使用 1000 bins。
更高效的解码： speculative decoding、KV cache、量化和蒸馏可以降低“数字 token 自回归”相对 action head 的延迟。
学习何时 ensemble：把预测置信度、动作阶段和接触状态纳入融合权重，在真实部署中用少于 8 路模型获得接近 ensemble 的平滑效果。

对实践者而言，VLA-0 提供了一条低改造成本基线：先用现成 VLM、原生 chat template 和标准 cross-entropy 建立可运行系统，再通过合法 token 约束、动作统计量和 rollout 平滑逐步改善。它提醒我们，VLA 的瓶颈不总是缺少专门的 action head，也可能是输入协议、监督 mask 和推理后处理没有被认真设计。

VISTA：Scaling World Model 论文精读

Tue, 25 Aug 2026 00:00:00 GMT

1. 论文概述

【Paper】 VISTA（Visual Subgoal Task decomposition）针对 VLA 在 out-of-distribution（OOD）物体和场景上的脆弱性，把长时程操作拆成两层：一个大规模预训练的 Embodied World Model 负责规划，GoalVLA 负责执行。规划器不只输出语言，而是交错生成每个子任务的文本说明和对应 goal image；执行器同时看实时观测、子任务文本和目标图像，生成连续动作块。

一句话总结

【Analysis】 VISTA 的关键不是让低层 VLA“更聪明地猜”未见物体，而是让高层世界模型先把“要做什么”翻译成可检查的视觉里程碑，让低层控制只需跟随具体的空间和姿态约束。

核心贡献

【Paper】

将超过 1M 条跨机器人轨迹自动转成“子任务文本—目标图像”交错序列，形成 15.2B token 的 Embodied World Model 训练数据。
在 EMU3.5 checkpoint 上继续训练一个 34.1B 参数的多模态自回归世界模型，生成多视角、物理一致的视觉子目标。
提出 VISTA 层级框架和 GoalVLA：World Model 是高层 planner，goal-image-conditioned VLA 是低层 executor。
用 2 小时、5 个物体的真实机器人数据，在 21 个未见目标和新场景上将同结构 π0 的成功率从 14% 提升到 69%。

2. 背景与相关工作

【Paper】 传统 language-conditioned VLA 把全局 instruction 直接映射为长序列动作。这个映射同时承担语义理解、空间定位、接触姿态和阶段切换，随着 horizon 变长，状态转移组合数快速增长。论文将困难归因于预训练 VLM 与 VLA 的数据结构错配：VLM 学 image-text，VLA 学长轨迹中的 image-action 对，并且通常回归连续动作。

已有层级方法（例如 Helix、G0）把规划和控制拆开，但多使用文字子目标。【Analysis】 语言很适合表达“拿起苹果”，却很难精确表达夹爪应落在苹果哪一侧、物体相对相机应处于什么姿态。另一条路线是直接预测未来视频，它提供更密集的信息，却容易产生时间漂移和物理不一致。VISTA 选择更稀疏的 key-frame goal image：只保留阶段终点的视觉约束，避免长视频 rollout 的误差累积。

3. 问题定义

【Paper】 给定全局语言指令 $L$、初始多视角观测 $I_0$，以及已完成阶段的历史

$$ h=(l_0,g_0,\ldots,l_{i-1},g_{i-1}), $$

系统在第 $i$ 个阶段生成文本子任务 $l_i$ 和视觉目标 $g_i$，再由策略根据当前观测 $I_t$ 预测长度为 $k$ 的动作块 $a_{t:t+k}$：

$$ (l_i,g_i)=W(L,h),\qquad a_{t:t+k}=\pi_\theta(I_t,l_i,g_i). $$

机器人执行当前动作块，直到观测与 $g_i$ 对齐，再把 $(l_i,g_i)$ 加入历史并请求下一阶段。这里的 goal image 既是“如何做”的空间条件，也承担“何时完成”的视觉终止信号。

4. 方法

4.1 Overall Architecture

【Paper】 整体数据流是：初始图像与全局 instruction 进入 Embodied World Model，模型自回归地产生 Step 1: text → goal image → Step 2: text → goal image；GoalVLA 将实时观测、当前文本和目标图像融合为动作块，subtask switcher 在当前里程碑满足后切换阶段。

4.2 核心模块

Embodied World Model

输入：初始多视角图像、机器人 embodiment type、全局 instruction，以及此前生成的阶段历史。
输出：交错的文本子任务与目标图像序列，最多覆盖提示词要求的阶段数。
表示：图像由 IBQ-Tokenizer 离散化，512×512 图像得到 1024 个视觉 token；文本使用 Qwen3 tokenizer。两者共享一个 282,926 大小的词表。
功能：用一个自回归 Transformer 建模 P(text, image | history)，而不是单独训练一个符号 planner 和一个图像生成器。
必要性：视觉目标补上语言没有明确编码的相对位置、末端执行器姿态和交互区域，同时比逐帧视频预测更容易保持阶段不变性。

【Paper】 论文中的 World Model 共 34.1B 参数，其中 Transformer 31.2B、embedding 2.9B，最大序列长度 16,384。训练时从随机 goal image 附近 1 秒内采样时间戳，允许从任意阶段开始生成，形成 sliding-window 的闭环数据增强。

GoalVLA

输入：3 张当前观测图像、3 张对应 goal image、当前子任务文本和末端执行器 6D pose。
输出：长度 30 的连续动作 chunk；实际部署只执行其中 10 步，再重新闭环预测。
骨干：类似 π0 的 MoE-like 结构，以 PaliGemma-3B 为 VLM backbone，配备 0.3B action expert；图像由 SigLIP 编码。
动作生成：采用 flow matching。对噪声 $z$ 和真实动作块 $a$ 做线性插值，action expert 预测速度场，10 步解码得到动作。
阶段切换：subtask-aware action padding 将跨阶段动作块的后半段置零，显式教会策略在目标满足后停止；random goal image offset 则模拟目标帧提前或延后的误差。

4.3 关键公式

世界模型的自回归目标

把图像和文字统一成 token 序列 $S=(u_1,\ldots,u_K)$ 后，训练目标是：

$$ \mathcal{L}{\mathrm{AR}}=-\sum{k=1}^{K}\log P(u_k\mid u_{<k};\theta_W). $$

$u_k$ 是第 $k$ 个文本或视觉 token，$u_{<k}$ 是因果注意力下的历史，$\theta_W$ 是世界模型参数。该目标让模型同时学习 instruction following、阶段顺序和未来视觉状态。

Beam search 的序列选择

推理时维护 beam 宽度为 $B$ 的候选序列，候选 $S$ 的概率为：

$$ P(S)=\prod_jP(u_j\mid u_{<j}). $$

【Paper】 论文描述的是逐 token 扩展、直到所有候选生成终止 token，再选择联合概率最高的序列并用逆 tokenizer 恢复像素级目标图像。【Code】 官方 inference/infer.py 将这一步交给 vllm_generation_utils.generate，配置文件默认 num_beams=1 且启用采样；因此公开 demo 默认是单 beam 采样，而非论文文字所述的多 beam 设置。

GoalVLA 的 flow matching

$$ x_\tau=(1-\tau)z+\tau a,\qquad \mathcal{L}{\mathrm{FM}}=\mathbb{E}{\tau,z}\left[\left|\pi_\theta(x_\tau,l_i,I_t,g_i,\tau)-(a-z)\right|_2^2\right]. $$

$z\sim\mathcal N(0,I)$ 是噪声，$a$ 是真实动作块，$\tau\in[0,1]$ 是 flow time；网络学习从噪声流向动作的速度场。这个目标保留了 π0 的连续动作生成形式，但增加了视觉目标条件。

4.4 Training

【Paper】 World Model 的训练数据来自 Open-X-Embodiment、AgiBot World Beta 和 Mobile Aloha。作者先用 Qwen3 聚类得到 50 个 atomic skills，再用 RDP 从运动轨迹和 gripper 状态变化中找候选边界，最后用 Qwen2.5-VL 72B 合并相邻片段并生成自然语言子任务。处理后约有 1.2M 条轨迹、14 种 embodiment、多视角支持和 15.2B token；同时与 15.0B token 的 Any-to-Image 数据联合训练。

【Paper】 World Model 在 128 张 H100 上对 EMU3.5 做 2,000 步 continued training，global batch size 为 512，学习率为 $10^{-5}$，使用 cosine scheduler 和 linear warmup。GoalVLA 先用 AgiBot-Beta 的 200,000 条轨迹训练 100,000 steps（batch 512，学习率 $5\times10^{-5}$），再用 737 条自采轨迹训练 10 epochs（batch 128，学习率 $2\times10^{-5}$）。

4.5 Inference

【Paper】 高层规划器从 $(I_0,L)$ 开始自回归生成阶段序列；低层控制器在当前阶段内反复读取观测并预测动作块。目标图像完成后，历史更新，World Model 再生成下一个阶段。

【Code】 官方仓库公开的是 World Model 的 Gradio 推理 demo。encode() 将输入图像 resize 到 512×512、归一化到 $[-1,1]$，用 IBQ tokenizer 变成视觉 token；run_single_sample() 调用 vLLM 生成交错结果，再解码文本与图像并保存到 gradio_output/。README 规定多视角顺序为 head、left-wrist、right-wrist，并支持手工输入 Step 1: ... Step 2: ... 覆盖自动规划。

4.6 代码实现对照

| 论文组件 | 官方代码位置 | 可核对行为 | | ----------------- | ------------------------------------ | --------------------------------------------------------------------------------------------------------------------------------------- | | World Model 推理 | inference/infer.py | encode() 处理图像、构造 prompt，run_single_sample() 调用 vLLM 并解码交错文本/图像。 | | 视觉离散化 | inference/infer.py、IBQTokenizer | 图像按 512×512 处理，IBQ 输出视觉 token，再由逆 tokenizer 恢复 goal image。 | | 采样配置 | inference/config.py | max_new_tokens=16384、text_top_k=200、image_top_k=5120，默认 num_beam_groups=1。 | | Prompt 与多视角 | README.md、inference/app.py | 支持 6 类 robot arm type；多视角固定为 head、left wrist、right wrist；可手工指定子任务。 | | GoalVLA 训练/部署 | 论文 Appendix A，公开仓库未提供 | 【Code】 Vista-WM 当前仓库只包含世界模型 inference，未包含论文中 GoalVLA 的训练脚本、动作 expert、subtask switcher 或机器人执行器。 |

【Analysis】 因此“论文完整系统”和“官方公开代码”不是同一范围：读者可以直接复现子任务与目标图像生成 demo，但不能仅靠这个仓库复现真实机器人动作闭环。论文中的 GoalVLA 细节应以正文和 Appendix A 为准，不应把 inference/ 误读成完整控制栈。

5. 实验

5.1 Experimental Setup

【Paper】 真实训练只收集 pick-and-place 的 2 小时数据，目标物体为 egg、cola can、apple、milk bin 和 croissant。评测包含 15 个 in-domain 场景和 63 个 OOD 场景：OOD 使用 21 个未见目标，每个目标配 3 种桌布/布局设置；每个场景运行 3 次，共 234 次 rollout。指标分为 approach success（接近成功）和 execution success（完成操作成功）。

5.2 Main Results

【Paper】 在训练分布内，π0、π0-subtask 和 VISTA 的平均 execution success 分别为 0.96、0.91 和 0.93，说明视觉目标并不会牺牲已见场景性能。在 unseen distractor 设置下，三者分别为 0.73、0.78 和 0.82；在 unseen target 设置下，分别为 0.04、0.31 和 0.67。VISTA 在未见目标上的 approach success 为 1.00，而 π0 和 π0-subtask 分别只有 0.40 和 0.73。

【Paper】 论文摘要进一步报告：在 novel scenarios 中，加入 World Model 生成的视觉指导后，同结构 VLA 的成功率从 14% 提升到 69%。定性结果显示，面对 soda water bottle、red milk carton 等训练集中没有的物体，语言-only baseline 往往抓取形状相似但语义错误的物体，GoalVLA 则利用 goal image 中的交互区域和末端姿态完成抓取。

5.3 Ablation Study

【Analysis】 论文的主要对照可以看作一个表示层 ablation：

| 条件 | 高层输入 | 低层条件 | 观察到的现象 | | --------------- | ----------------------- | ---------- | ------------------------------------------------- | | $\pi_0$ | 全局 instruction | 语言 | 未见目标时接近和抓取都明显退化。 | | $\pi_0$-subtask | 子任务文本 | 语言 | 更容易定位目标，但仍缺少精确抓取姿态。 | | VISTA | 子任务文本 + goal image | 文字与视觉 | 在 unseen target 和复杂背景下同时改善定位与执行。 |

【Paper】 论文还通过 subtask-aware padding 和 random goal image offset 说明阶段边界需要显式建模：动作块可能跨越两个阶段，目标图像也可能相对真实终点提前或延后。作者没有给出单独拆除这两个训练技巧的完整数值表，因此不能把它们的独立增益量化。

5.4 Generalization

【Paper】 World Model 在合成的新布局、背景、视角和物体上生成保持多视角与物理一致的序列，还展示了 compositional、spatial、semantic 三类理解：例如同时放置多个物体、把左侧香蕉放到盘子、根据图片中的人物语义选择目标。模型还可以根据 prompt 中的 robot arm type，将 Aloha 观测迁移到 AgiBot G1、WidowX 等 embodiment。

【Analysis】 这说明泛化被拆成了两个相对独立的因素：World Model 负责把互联网/跨 embodiment 先验变成视觉计划，GoalVLA 负责把计划映射成动作。前者可以扩展语义和空间覆盖，但后者仍受真实动作数据中的交互模式限制。

6. 方法分析

6.1 为什么有效？

【Analysis】 VISTA 同时减少了两个困难。第一，World Model 把长 horizon 的组合推理压缩为少量阶段边界，低层策略不必从一句 instruction 直接猜完整轨迹。第二，goal image 是可视化的终止条件，提供了语言难以表达的相对位置、夹爪朝向和接触区域。由于每次只执行动作块的一小部分，系统还能用新的观测纠正模型误差。

6.2 核心创新

视觉里程碑作为中间表示：比纯文本更有空间约束，比 dense video 更不容易漂移。
可扩展的数据再标注：用 skill 聚类、轨迹几何和 VLM，把只有 instruction + action 的旧数据转成可训练的阶段序列。
World Model 与 VLA 的接口清晰：高层输出 $(l_i,g_i)$，低层输出 action chunk，便于分别扩展模型和数据。
训练时模拟接口噪声：padding 和 goal offset 让低层策略适应阶段边界不精确。

6.3 与已有方法的本质区别

【Analysis】 与语言层级 planner 相比，VISTA 的接口是“what + how/where”；与未来视频预测相比，它只生成稀疏、可验证的关键帧；与直接扩大 VLA 相比，它将 OOD 语义理解交给更大规模的 world model，而不是要求低层 action head 从少量机器人数据中同时学会视觉概念和控制。

6.4 关键假设

任务可以切成有限个 atomic skill 和可观察的阶段终点。
目标图像中的姿态和交互区域足以指导低层动作，而不需要完整未来视频。
World Model 生成的图像与真实 embodiment 的相机几何大致兼容。
真实 fine-tuning 数据包含目标操作所需的基本交互模式；视觉迁移不能凭空创造训练中不存在的技能。

7. 局限性

7.1 作者明确提出的局限

【Paper】 真实世界实验目前主要是 pick-and-place，尚未系统验证更丰富、更长时程的操作。生成的 goal image 偶尔会有时间或空间偏差，较大的偏差会导致 GoalVLA 失败。视觉目标可以迁移交互先验，但成功执行仍依赖真实训练数据中存在相应的交互模式，因此需要更多技能和任务多样性。

7.2 自己分析得到的局限

【Analysis】

规划误差是级联的：如果 World Model 在第一阶段生成了错误物体或错误终点，后续 GoalVLA 再强也可能只是在执行错误计划。
像素目标不等于可达目标：生成图像看起来物理合理，并不保证在当前机器人关节限制、碰撞约束和桌面几何下可达。
公开代码不完整：官方仓库只覆盖世界模型 inference，训练数据构造脚本、GoalVLA 和 subtask switcher 未公开，复现实验需要额外实现。
评测任务仍偏窄：234 次 rollout 很有说服力，但主要围绕单步 pick-and-place；液体、柔性物体和接触丰富的任务可能暴露新的 failure mode。

8. 启发与研究思考

【Analysis】 VISTA 给出的研究方向不是“所有机器人都应先生成图像”，而是提醒我们重新设计 VLA 的中间接口。一个好的接口需要同时满足三点：能表达空间约束、能被低层策略直接消费、还能用观测验证是否完成。视觉 goal image 恰好处于语言和动作之间。

对后续工作，我认为有三个值得继续追问的问题：

能否让 World Model 输出带不确定性的多个 goal image，并由低层控制器选择可达候选，而不是只取最高概率序列？
能否把真实执行反馈回写到规划器，学习“哪类视觉目标对当前 embodiment 不可达”？
能否把稀疏 goal image 与几何约束、触觉或 3D scene graph 结合，降低像素生成偏差对控制的影响？

villa-X 论文精读：用物理接地的 Latent Action 连接 VLA 规划与控制

Tue, 25 Aug 2026 00:00:00 GMT

1. 论文概述

论文名称：《villa-X: Enhancing Latent Action Modeling in Vision-Language-Action Models》
作者：Xiaoyu Chen、Hangxing Wei、Pushi Zhang、Chuheng Zhang、Kaixin Wang、Yanjiang Guo、Rushuai Yang、Yucen Wang、Xinquan Xiao、Li Zhao、Jianyu Chen、Jiang Bian
机构：Microsoft Research、清华大学、武汉大学、香港科技大学、南京大学
论文版本：arXiv v3（2025）
论文链接：arXiv
代码链接：microsoft/villa-x
项目主页：villa-X

一句话总结

【Paper】 villa-X（Vision-Language-Latent-Action）针对 latent action 在 VLA 中“看起来像运动、却未必对应真实控制”的问题，引入 proprioceptive Forward Dynamics Model（proprio-FDM）进行物理接地；随后以 joint diffusion 同时学习 latent-action expert 和 robot-action expert，让中层 latent plan 真正参与低层动作生成。

核心贡献

【Paper】 论文的贡献可以拆成两次改造：

改进 latent action 的学习目标：传统 LAM 主要重建未来图像，villa-X 额外预测未来 robot state 与 action，并用 embodiment context 区分不同机器人和控制频率。
改进 latent action 的使用方式：ACT（ACTor Module）把 latent action 与 robot action 放进同一个 conditional flow matching / joint diffusion 框架，robot-action expert 显式条件于 latent-action expert 的输出。
验证跨 embodiment 与开放词汇泛化：在 SIMPLER、Realman 夹爪平台和 XArm-XHand 灵巧手上测试；latent expert 还能在未见过的 Realman embodiment 上零样本生成 latent plan。

【Analysis】 这不是单纯“再加一个辅助 loss”，而是把 latent action 的角色从预训练初始化信号提升为推理时的中间计划变量：LAM 负责学习可迁移的运动语义，ACT-latent 负责预测计划，ACT-robot 再把计划翻译为当前 embodiment 的控制动作。

2. 背景与相关工作

【Paper】 VLA 模型通常用视觉、语言和机器人状态预测动作，但机器人数据昂贵且 embodiment 差异大。人类视频数量远多于带动作标签的机器人轨迹，因此 LAPA、IGOR、Moto-GPT、GR00T 等工作尝试从相邻视频帧中抽取 latent action，把它作为无动作视频的伪标签。

问题在于，纯视觉变化并不等价于控制变化：末端旋转、夹爪开合等动作可能只造成很小的像素差，却决定任务是否成功。另一个问题是 latent action 如何进入策略：如果只把它用于初始化 VLM 权重，训练后的策略可能完全忽略 latent；如果采用独立 autoregressive planner，又会引入 teacher-forcing 与执行时分布不一致。

【Analysis】 villa-X 的定位是补上这条链路的两个缺口：用 proprioception 约束 latent 的物理含义，用显式条件分解约束 latent 到 robot action 的信息流。

3. 问题定义

【Paper】 给定当前观测 $o_t$、未来观测 $o_{t+K}$、机器人状态 $q_t$、语言指令 $l$ 与 embodiment context $c_e$，模型需要学习两类变量：

Latent action $z_t$：表示 $K$ 帧之间的抽象运动，应该跨人类视频和不同机器人保持可迁移。
Robot action $a_t$：当前 embodiment 可执行的低层动作序列。

LAM 的输入是视频帧序列（实现中使用 8 帧、$224\times224$ 图像），输出相邻帧之间的 latent token。ACT 的输入为视觉、语言、本体状态和 embodiment context，输出 $N=6$ 个 latent actions 与 $M=4$ 个 robot actions。

策略分解为：

$$ \pi(a_{t:t+M-1}, z_{t:t+(N-1)K}\mid o_t,l,q_t,c_e) =\pi_{\text{robot}}(a_{t:t+M-1}\mid z_{t:t+(N-1)K},o_t,l,q_t,c_e) \pi_{\text{latent}}(z_{t:t+(N-1)K}\mid o_t,l). $$

【Paper】 实验覆盖 SIMPLER 的 Google robot 与 WidowX，Realman RM75 + Inspire gripper，以及 7-DoF XArm + 12-DoF XHand。预训练同时使用 OpenX / AgiBot 机器人数据和 Ego4D、EPIC-KITCHENS、HOI4D、Something-Something V2 等 action-free human videos。

4. 方法

4.1 Overall Architecture

【Paper】 整体数据流是：视频帧先由 LAM 的 IDM 推断 latent action，图像 FDM 与 proprio-FDM 分别检查视觉未来和机器人动力学未来；ACT 再以 VLM 编码当前图像与语言，ACT-latent 预测未来 latent plan，ACT-robot 在该 plan、状态和 embodiment context 条件下生成低层动作。

4.2 核心模块

Latent Action Model（LAM）

IDM（Inverse Dynamics Model）：输入当前/未来帧或连续 clip，输出连续 latent 表示，再经 VQ codebook 得到 latent token。
Image FDM：输入当前图像与 latent，重建 $\hat o_{t+K}$，保证 latent 至少解释可见的视觉变化。
Proprio-FDM：输入 $q_t,z_t,c_e$，同时预测未来状态 $\hat q_{t+1:t+K}$ 与动作 $\hat a_{t:t+K-1}$，将 latent 拉向物理上有意义的运动。
Vector Quantization：论文使用大小为 32 的 codebook；最终使用 codebook center 的连续向量作为 latent action。

【Code】 官方仓库实现的 IgorModel 由 IgorEncoder、VectorQuantizer 和 IgorDecoder 组成。编码器用 Spatial-Temporal Transformer 处理 clip，解码器用 ViT 风格模块根据 latent 重建未来图像；公开代码没有 proprio-FDM、ACT policy 或训练脚本，因此代码可直接核对的是论文 LAM 的视觉/VQ 子集。

Embodiment Context

【Paper】 $c_e=f(\text{dataset ID},\text{control frequency})$：dataset ID 使用可学习 embedding，控制频率经 sinusoidal feature 与 MLP 编码。它让 proprio-FDM 吸收“某个机器人如何运动”的差异，而不迫使 latent token 记住 embodiment 身份。

ACTor Module

VLM：论文使用 3B PaliGemma 编码图像与语言。
ACT-latent：18 层 Transformer，预测长度为 6 的 latent action plan。
ACT-robot：另一个 18 层 Transformer，结合 VLM 特征、latent plan、本体状态与 embodiment context，预测长度为 4 的 robot action chunk。
Wrist camera 分支：可用时由预训练 ResNet-18 提取，并通过 cross-attention 映射为 16 个 token；训练时随机丢弃 wrist view 的概率为 50%。
Stochastic masking：50% 情况下完全屏蔽 robot-to-latent attention；其余情况下随机屏蔽 50% latent token，防止 ACT-robot 走“只抄 latent”的捷径。

4.3 关键公式

LAM 的视觉与物理预测为：

$$ z_t=\mathrm{IDM}(o_t,o_{t+K}),\qquad \hat o_{t+K}=\mathrm{FDM}(o_t,z_t), $$

$$ (\hat q_{t+1},\ldots,\hat q_{t+K},\hat a_t,\ldots,\hat a_{t+K-1}) =\mathrm{proprio\text{-}FDM}(q_t,z_t,c_e). $$

【Paper】 第一式约束 latent 能解释视觉变化；第二式要求同一个 latent 还能预测状态和控制序列。对有人类视频但没有 proprio 标签的样本，proprio 项被省略。

ACT 将 latent action 与 robot action 拼成联合变量 $x_t$，用 conditional flow matching 学习向量场：

$$ \mathcal L_\tau(\theta)= \mathbb E\left[\left|v_\theta^\tau(x_t^\tau,O_t)-u(x_t^\tau\mid x_t)\right|_2^2\right], $$

其中 $O_t=(o_t,l,q_t,c_e)$，$x_t^\tau=\tau x_t+(1-\tau)\epsilon$，$\epsilon\sim\mathcal N(0,I)$，目标向量场 $u=\epsilon-x_t$，$\tau\in[0,1]$ 是 flow matching 时间。

【Analysis】 block-wise causal attention 是实现 Eq. 4 分解的关键：latent block 可以读取 VLM 条件，robot block 可以读取 VLM 与 latent block，但 mask 随机化后仍必须具备从视觉和语言独立恢复动作的能力。

4.4 Training

【Paper】 训练分三阶段：LAM 预训练、ACT 联合预训练、目标 embodiment 微调。LAM 使用 223.5M 条机器人轨迹中的 1.6M 帧和 3.6M human video clips；ACT 预训练混合机器人动作标签与无动作视频。LAM 学习率为 $1.5\times10^{-4}$、batch size 512、线性 warmup 2000 steps；ACT 学习率为 $5\times10^{-5}$、warmup 200 steps，并将梯度裁剪到 1.0。

4.5 Inference

【Paper】 推理时不需要 IDM 从真实未来帧反推 latent。ACT-latent 根据当前视觉和语言直接提出未来 latent plan；ACT-robot 读取该 plan 和当前 embodiment 状态生成 action chunk，执行后再滚动更新观测。

4.6 代码实现对照

【Code】 官方仓库当前明确发布的是 LAM：

| 论文组件 | 官方代码对应 | 说明 | | --- | --- | --- | | IDM | lam/model.py::IgorEncoder.idm | 以滑动窗口读取 clip，输出相邻帧 latent；默认时间窗口为 8 帧。 | | VQ | lam/vq.py::VectorQuantizer2 | codebook size 32，使用 commitment loss；LatentActionMixin.idm 返回 token 或 codebook index。 | | Image FDM | lam/model.py::IgorDecoder | apply_latent_action 根据当前图像与 latent 重建未来图像。 | | Proprio-FDM | 未发布 | README 的 release plan 只勾选 Latent Action Model，Actor Model 仍为未完成。 | | ACT / training / evaluation | 未发布 | 仓库没有对应 policy 训练脚本，不能把论文中的 ACT 细节误写成已公开代码行为。 |

【Code】 README 给出的实际调用是 IgorModel.from_pretrained(...)、lam.idm(video) 和 lam.apply_latent_action(image, latent_action)；公开权重为约 955M 参数的 microsoft/villa-x/lam。这部分代码更像可复现的 LAM 推理基线，而不是完整 villa-X policy release。

5. 实验

5.1 Experimental Setup

【Paper】 SIMPLER 包含 Google robot 的 Pick、Move、Drawer 与 WidowX 的 Carrot、Eggplant、Spoon、Cube 共 7 类任务。LAM probing 在未参与 LAM 训练的 LIBERO 上进行：冻结 latent model，再训练三层 MLP 从 latent 预测 8 维 robot action。

真机实验包括：

Realman RM75 + Inspire gripper：5 个任务，每个任务 75 条轨迹，共 375 条；另测改变方块颜色和桌布的泛化。
XArm + 12-DoF XHand：使用约 4000 条、13 类任务的 XHand Dataset，测试 pick-and-place、stack、cup、pour、flick 的 seen/unseen 条件。

5.2 Main Results

【Paper】 在 SIMPLER 上，完整 villa-X 的 Google robot 平均成功率为 77.7%，WidowX 为 62.5%；移除 latent expert 后分别降至 36.5% 与 49.0%。论文报告的完整模型在 Google robot 上高于 GR00T-N1.5（57.9%），在 WidowX 上略高于 GR00T-N1.5（62.0%）。

| 方法 | Google Robot Avg. | WidowX Avg. | | --- | ---: | ---: | | villa-X | 77.7 | 62.5 | | villa-X w/o latent | 36.5 | 49.0 | | GR00T-N1.5 | 57.9 | 62.0 | | LAPA | N/A | 57.3 |

在 XHand 真机上，villa-X 相比移除 latent expert 的版本，在 seen / unseen 条件下多数任务更好：例如 Pick & Place 为 84/68 对 72/60，Pour Water 为 60/30 对 40/10。Realman 上，villa-X 的 Pick-out、Unstack、改变桌布成功率分别达到 100%、100%、60%。

5.3 Ablation Study

【Paper】 论文做了两组关键消融：

去掉 proprio-FDM（wo/pp）：SIMPLER 平均分从 Google 机器人的 58.5 降至 57.4，从 WidowX 的 40.8 降至 32.3；probing 也显示 w/pp 在低 L1 误差区间有更多样本，说明 latent 包含更可读出的动作信息。
去掉 LAM（wo/LAM）：Google 平均仅 35.0，WidowX 33.1，表明无动作视频提供的 latent prior 对预训练十分重要。
替换 latent 接入方式：LAPA-style 与 Go-1-style 的 Google 平均分别为 43.8 与 32.8，明显低于 joint ACT 的 58.5；这支持“显式条件的联合扩散”优于只做初始化或独立 planner。

【Analysis】 消融结果把收益拆开了：proprio-FDM 改善“latent 表示什么”，joint ACT 改善“policy 如何使用它”。两者缺一不可，单独扩大视频数据不能替代这两个结构性约束。

5.4 Generalization

【Paper】 latent expert 在训练未见过的 Realman 机械臂上零样本生成计划，并能理解开放词汇 symbolic icons。论文用 world model 将 latent plan 渲染成视频，观察到“touch the corn”等指令对应的运动轨迹。

【Analysis】 这里测到的是计划层的泛化，不等同于“零样本直接控制任意机器人”：真正的低层动作仍需 embodiment-specific finetuning，且公开代码尚未包含 ACT policy。应把它理解为 latent space 的跨 embodiment 语义迁移证据。

6. 方法分析

6.1 为什么有效？

【Analysis】 latent action 要成为跨 embodiment 的桥，必须同时满足两个条件：视觉上能解释“发生了什么”，控制上能解释“机器人如何做到”。image FDM 提供前者，proprio-FDM 提供后者；dataset ID 和 control frequency 则把 embodiment 差异放在 context 中，避免污染 latent 本身。

joint diffusion 的好处是把“计划”和“执行”放在一次条件生成中训练。ACT-latent 先形成较长时间尺度的中层意图，ACT-robot 再按当前状态翻译为短 action chunk；attention mask 把这条依赖写进网络结构，而不是只期待模型自己学出来。

6.2 核心创新

物理接地的 latent action：辅助预测 proprioception 和 action，而非只重建像素。
层级但联合的 policy：latent expert 与 robot expert 通过 joint flow matching 共同训练。
面向鲁棒性的随机 mask：主动打断 robot expert 对 latent 的过拟合依赖。
从 plan 泛化到 embodiment 迁移：latent expert 可先在抽象空间规划，再由具体机器人完成动作翻译。

6.3 与已有方法的本质区别

| 路线 | latent action 的角色 | villa-X 的差异 | | --- | --- | --- | | LAPA-style | 先预测 latent，再替换成 robot-action head | latent 主要是初始化，推理时依赖弱 | | Go-1-style | 独立 autoregressive latent planner | 存在 teacher-forcing / runtime mismatch | | GR00T-style | 把 latent 视作另一种 embodiment | 不显式做 joint latent→robot 条件分解 | | villa-X | ACT-latent 与 ACT-robot 联合 flow matching | latent 是推理时可见的中层计划变量 |

6.4 关键假设

【Paper】 方法假设相邻帧间存在可压缩、可迁移的运动语义，并假设 proprioception 能提供足够的物理约束。【Analysis】 这也意味着：如果任务主要依赖接触力、柔性形变或不可观测状态，单纯的像素 + proprio 预测可能仍不足；此外，context 设计若不完整，latent 仍可能偷偷编码数据集偏差。

7. 局限性

7.1 作者明确提出的局限

【Paper】 作者指出 latent expert 的未来规划能力还没有被充分利用。一个直接的后续方向是引入带 foundation VLM 先验的 critic，对多个 latent plan 采样并筛除不符合语言指令的轨迹。

7.2 自己分析得到的局限

完整 policy 不开源：当前仓库只提供 LAM，ACT、proprio-FDM 训练和评测代码缺失，外部研究者难以复现完整结果。
计划评测依赖 world model：渲染成功只能说明 latent plan 与视觉预测一致，不等于真实机器人一定能执行。
低层迁移仍需微调：零样本泛化主要发生在 latent plan；不同 embodiment 的 action projection、状态维度和控制接口仍需重新适配。
联合 diffusion 的成本：两个约 300M 参数 expert 从头训练，论文报告 ACT 预训练需要 64 张 A100、约 4 天，规模化门槛不低。
proprio 标签覆盖有限：人类视频没有机器人状态，物理接地监督只作用于机器人数据；人类视频的 latent 仍可能保留 domain-specific 偏差。

8. 启发与研究思考

【Analysis】 villa-X 给出的最值得借鉴的设计原则是：中间表示不能只在训练时“有用”，还要在推理时成为可检查、可采样、可拒绝的对象。latent action 一旦能被 world model 可视化、被 proprio-FDM 解码、被 critic 评分，就从黑盒特征变成了可调试的计划接口。

对后续研究，我更关注三点：

将 latent plan 与语言 verifier / value model 结合，做 sample-and-select，而不是一次采样后直接执行。
用接触、末端关键点或 human hand pose 等结构 cue 扩展 proprio-FDM，覆盖“视觉变化小但控制重要”的动作。
让 ACT 输出不确定性和失败预警，使 robot-action expert 能在 latent plan 不可靠时主动回退到视觉闭环控制。

UniDex 论文精读：从第一视角人类视频到通用灵巧手控制

Tue, 25 Aug 2026 00:00:00 GMT

1. 论文概述

一句话总结

【Paper】 UniDex 不是单一模型，而是一套面向通用灵巧手控制的 foundation suite：用人类视频构建 UniDex-Dataset，用 Function–Actuator–Aligned Space（FAAS）统一动作表示，用 UniDex-VLA 预测 82 维动作块，再用 UniDex-Cap 低成本采集可转换的人类示教。

核心贡献

【Paper】

UniDex-Dataset：来自 H2O、HOI4D、HOT3D 和 TACO 的第一视角 RGB-D 视频，经过重定向后得到约 9M 个 image–pointcloud–action 帧、5.2 万条轨迹，覆盖 8 种灵巧手和 6–24 个 active DoF。
人到机器人转换：用基于指尖的 IK 和 6-DoF dummy-base 交互校准解决运动学差距；遮掉人手并渲染机器人手解决视觉差距。
FAAS + UniDex-VLA：把功能相似的 actuator 放到相同坐标，结合 Uni3D 点云编码器、PaliGemma 风格骨干和 conditional flow matching，形成跨手策略。
UniDex-Cap：用 Apple Vision Pro、RealSense L515 和 3D 打印支架同步采集人类手势与 RGB-D，并研究人类数据和机器人数据 co-training 的交换率。

2. 背景与相关工作

【Paper】 灵巧手比平行夹爪更难做 foundation model，原因集中在三点：真实机器人遥操作昂贵；不同手的形态、关节数和耦合关系差异很大；高 DoF 控制需要同时处理接触几何与长时序协调。已有 VLA 大多从 gripper-centric 数据预训练，灵巧手方法则常针对抓取或单一硬件。

【Analysis】 UniDex 的切入点是把“数据稀缺”和“动作空间不统一”拆开解决：先把廉价、丰富的人类视频变成 robot-centric 数据，再让策略学习功能坐标而非某一套 URDF 的关节编号。这样，跨手迁移不再完全依赖推理时的额外 IK。

3. 问题定义

【Paper】 在时间 $t$，策略接收

$$ o_t = [P_t,,\ell_t,,q_t], $$

其中 $P_t$ 是由单帧 RGB-D 裁剪、下采样得到的彩色点云，$\ell_t$ 是自然语言指令，$q_t$ 是 FAAS 表示的本体状态。策略建模 $p(A_t\mid o_t)$，输出长度为 $H$ 的动作块

$$ A_t=[a_t, a_{t+1},\ldots,a_{t+H-1}]. $$

【Paper】 FAAS 动作维度为 82：左右手各 9 维腕部 pose（6D rotation + 3D translation）共 18 维，左右手各 32 个手指 actuator slot 共 64 维。论文实验使用单臂或双臂设置，缺失的一侧由统一槽位保留。

【Code】 官方 config/model/unidex.yaml 将 horizon_steps 设为 30，action_dim 和 proprio_dim 均为 82，点云大小在各数据集配置中为 10,000 点；预训练数据采样到约 15 fps，真实微调配置再降到约 5 fps。

4. 方法

4.1 Overall Architecture

【Paper】 数据流是：RGB-D → 彩色点云 $P_t$ → Uni3D 点云 token；语言和点云 token 与 proprioception 一起进入 PaliGemma 风格的 joint backbone；action expert 在 flow time 条件下输出 FAAS 动作块。训练阶段从噪声动作学习向真实动作的向量场，推理阶段用 10 次 forward Euler 积分得到动作块。

4.2 核心模块

UniDex-Dataset 与人到机器人转换

输入：第一视角 RGB-D、MANO/数据集提供的人手 pose、语言片段和目标 robot hand URDF。
运动学模块：提取人手指尖目标 $X^\star$，在真实机器人 base 前插入 6-DoF dummy base；PyBullet 多末端 IK 同时优化手指关节和 base offset。
交互校准：GUI 暴露 dummy base 的三维平移、三维旋转及 IK 参数。人工只需要在接触丰富的片段上调 slider，再把校准应用到同一数据集和手型的大部分轨迹。
视觉模块：先从 RGB-D 建点云，用 WiLoR + SAM2 去除人手点，再把重定向的机器人手 mesh 放回场景并重新投影，减少遮挡顺序和外观差异。
输出：每一帧的 RGB、点云、FAAS state/action 以及语言指令，写入 HDF5/Zarr 等训练格式。

【Code】 HandAdapter/hand_processor.py 使用 PyBullet 读取 URDF、关节上下限和 mimic joint 关系；src/dataset/base_retarget.py 将 RGB-D 转为点云，深度大于 1.15 m 的点会被截断，并按 hand-specific joint map 重排关节值。

FAAS

【Paper】 FAAS 不把“第 7 个 URDF 关节”当作语义，而是把 actuator 映射到拇指、食指、中指、无名指、小指的功能位置。每只手 32 个手指槽中，前 21 个是跨手共享的 base actuator，剩余位置留给 Shadow 等手型的额外 DoF 和未来手型。

【Analysis】 这是一种 function-centric interface：不同手的连杆长度和耦合可以不同，但“拇指-食指捏合”“手指弯曲包住手柄”这些控制意图相近。共享坐标降低了预训练策略看到的 embodiment entropy，同时保留未使用槽位以避免强行压缩所有手型。

UniDex-VLA 的 3D 感知与 action expert

点云编码器：Uni3D 使用 ViT 风格的分组点云编码，官方配置默认 uni3d_l，输出再经 projector 对齐到 2048 维语言模型 token 空间。
语言/视觉骨干：代码复用 PaliGemma 的 token embedding 和 18 层 joint model；点云 token、文本 token 和 proprio token 采用分段 causal mask。
本体与动作：proprio 先过线性层；动作先经 ActionEncoder，再由 action decoder 投影回 82 维。
输出形式：腕部 state 是绝对 pose，动作块中的腕部 action 是相对第一个动作帧的 pose；手指 state/action 都在 FAAS 中表达。

4.3 关键公式

指尖重定向

对第 $i$ 个指尖，论文定义

$$ x_i(q;T_{\mathrm{offset}})=\operatorname{Trans}\left(T_{\mathrm{hand}}T_{\mathrm{offset}}T_i(q)\right), $$

并堆叠成误差

$$ e(q,T_{\mathrm{offset}})= \begin{bmatrix}x_1-x_1^\star\\vdots\x_m-x_m^\star\end{bmatrix}. $$

其中 $q$ 是机器人关节，$T_i(q)$ 是从机器人 base 到指尖的正运动学，$T_{\mathrm{offset}}$ 是 dummy base 到真实 base 的刚体变换。【Analysis】 dummy base 让 IK 不必用手指关节“硬吃掉”人机腕部坐标系偏差，因此接触位置和关节可行性可以同时改善。

对于 mimic joint，论文与代码都采用

$$q_{j_s}=kq_{j_m}+c,$$

其中 $j_m$ 是 master，$j_s$ 是从属关节，$k,c$ 来自 URDF 约束；代码会迭代修正并重新检查指尖误差。

Conditional flow matching

论文给出的训练目标是

$$ \mathcal L(\theta)=\mathbb E\left[\left|v_\theta(A_t^\tau,o_t)-u(A_t^\tau\mid A_t)\right|\right]. $$

【Code】 实现中采样 $x_0\sim\mathcal N(0,I)$，令 $x_1=A_t$，并用

$$ \psi_t=(1-(1-\sigma_{\min})t)x_0+tx_1, \qquad d_\psi=x_1-(1-\sigma_{\min})x_0, $$

训练网络输出 $v_\theta(\psi_t,o_t)$，实际损失是逐元素 MSE；配置中的 flow_sig_min=0.001。因此，阅读代码时应把论文的向量场范数写法理解为“实现采用 MSE 的 flow matching 版本”。

推理使用

$$ A^{\tau+\Delta\tau}=A^\tau+\Delta\tau,v_\theta(A^\tau,o_t), $$

初值是高斯噪声，num_inference_steps=10，所以 $\Delta\tau=0.1$。

4.4 Training

【Code】 论文附录报告预训练使用 8 张 H800、总 batch size 128、AdamW 初始学习率 $10^{-4}$、权重衰减 $10^{-10}$ 和最大梯度范数 1.0；附录描述的模型约训练 3 epochs/30k steps。仓库默认配置给出等价的 8 卡、单卡 batch 4、梯度累积 4 和 32 epochs 示例，实际步数取决于数据缓存规模。

【Code】 真实任务 post-training 使用 2 张 H800、总 batch size 8、学习率 $2.5\times10^{-5}$；普通示教训练 50 epochs，DemoGen 增广数据训练 2 epochs。仓库中的 finetune.yaml 将 checkpoint、数据路径和 hand side 留给用户配置。

4.5 Inference

【Code】 PointCloudUniDexInference 使用 KV cache 固定视觉、语言和 proprio 条件，只在 10 个 Euler 步中更新 action expert；horizon_steps=30。【Analysis】 这使一次推理输出一小段连续动作，而不是每个控制周期重新独立采样单步关节命令，有助于保持接触动作的时间一致性。

4.6 代码实现对照

| 论文概念 | 官方代码位置 | 实际行为 | | --- | --- | --- | | 人到机器人重定向 | HandAdapter/hand_processor.py | PyBullet URDF、末端 IK、mimic joint 修正与 RGB-D 投影 | | 数据集窗口 | src/dataset/{H2o,HOI4D,Hot3D,Taco}.py | 从四类第一视角数据构造语言对齐窗口，统一成点云/状态/动作 | | 点云处理 | src/dataset/base_retarget.py | RGB-D 转 Open3D 点云、深度截断、mask 和 hand mesh 合成 | | FAAS 维度 | config/model/unidex.yaml | action_dim=82、proprio_dim=82、horizon_steps=30 | | flow matching | src/unidex/unidex.py | psi_t 插值、MSE 向量场损失、10 步 Euler 推理 | | 训练入口 | train.py / finetune.py | Hydra 配置预训练和真实机器人微调 |

【Analysis】 代码仓库覆盖数据准备、重定向、预训练和微调，但发布的默认配置仍需要用户自行下载数据、MANO/SAM2/WiLoR、Uni3D 与 PaliGemma 权重；不能把“提供代码”理解为开箱即用的完整数据包。

5. 实验

5.1 Experimental Setup

【Paper】 实验使用 7-DoF Franka 机械臂，末端可换 Inspire（6 active DoF）、Wuji（20 active DoF）和 Oymotion（6 active DoF）灵巧手，统一由 RealSense L515 提供第一视角 RGB-D。五个任务分别是 Make Coffee、Sweep Objects、Water Flowers、Cut Bags 和 Use Mouse，每个任务只收集 50 条 teleoperation 示教。

5.2 Main Results

【Paper】 20 次试验的五任务平均结果如下：

| 方法 | Average Task Progress | Final Success Rate | | --- | ---: | ---: | | DP | $29.0\pm19.9%$ | $22.0\pm22.5%$ | | DP3 | $35.0\pm17.1%$ | $30.0\pm18.7%$ | | $\pi_0$ | $38.0\pm7.4%$ | $35.0\pm10.0%$ | | UniDex-VLA（无预训练） | $32.5\pm18.5%$ | $23.0\pm12.0%$ | | UniDex-VLA | $81.0\pm12.1%$ | $76.0\pm17.8%$ |

【Paper】 在最难的 Cut Bags 上，相对最强竞争方法的平均 task progress 提升为 84.6%。【Analysis】 这里的优势更像“预训练运动先验 + 统一动作接口”的叠加，而不是单纯更大的语言模型：无预训练版本仍使用 FAAS，但性能接近普通 baseline。

5.3 Ablation Study

【Paper】 主要消融是 UniDex-VLA（No Pretrain）：同一 FAAS 和微调流程下去掉 UniDex-Dataset 预训练，平均 task progress 从 32.5% 提升到 81.0%，说明大规模跨手数据提供了可迁移的指尖协调和工具使用先验。

【Paper】 在跨手零样本实验中，策略在 Inspire 上训练 Make Coffee 后直接部署到未微调的 Oymotion 和 Wuji，平均 task progress 分别为 60% 和 40%；$\pi_0$ 与无预训练版本接近 0–10%。

5.4 Generalization

【Paper】

空间泛化：在 Make Coffee 中移动 kettle 和 dripper 的桌面位置，并用点云编辑与 DemoGen 生成 OOD 摆放，UniDex-VLA 覆盖更大的工作空间。
物体泛化：把黑色 kettle 换成更小的紫色 kettle，改变颜色、尺寸、把手和壶嘴形状，模型仍保持较好表现。
人机 co-training：UniDex-Cap 使用 Vision Pro + RealSense L515；在 Make Coffee 上，增加转换后的人类示教会持续提高 task progress，但没有机器人数据时成功率仍接近 0。高性能区域显示约 2 条人类示教可替代 1 条机器人示教，采集速度约快 5.2 倍。

6. 方法分析

6.1 为什么有效？

【Analysis】

人类视频提供了工具接触和手指协同的多样先验，重定向后又保留了 robot-centric 的动作监督，减少了从零学习的负担。
点云直接表达深度和物体几何，比单目 RGB 更适合 kettle 把手、剪刀刃口等接触关系；同时点云可以做平移、替换物体等几何增广。
FAAS 把跨手迁移的共享部分显式化，避免让模型把手型差异误当成任务语义。
Flow matching 生成动作块，将高维动作预测变成条件向量场积分，并通过 action chunk 保持短时轨迹连贯。

6.2 核心创新

【Paper】 真正的创新不是“把 VLA 换成点云”，而是把数据、动作接口、策略和采集硬件连成闭环：同一套人到机器人转换既服务大规模预训练，也服务 UniDex-Cap 的后训练。

6.3 与已有方法的本质区别

【Analysis】 相比 gripper-centric VLA，UniDex 同时改变了感知粒度（显式 3D pointcloud）、动作语义（FAAS）和数据来源（人类视频转机器人轨迹）。相比只在人类参数空间中预测再做 IK 的方案，FAAS 直接输出目标手的统一 actuator 坐标，省去推理时额外的高 DoF IK 误差。

6.4 关键假设

【Analysis】 方法依赖几个强假设：不同灵巧手存在足够稳定的功能同构；人手指尖轨迹经过一次或少量交互校准后能代表机器人接触；RGB-D 和手部 pose 的时间、外参能够可靠同步；来自人类视频的动作语义可被语言指令和 FAAS 共同解释。

7. 局限性

7.1 作者明确提出的局限

【Paper】 当前流程没有利用大规模 action-free 或弱标注的第一视角活动数据。作者将其列为进一步扩展灵巧手预训练规模的重要方向。

7.2 自己分析得到的局限

【Analysis】

重定向仍需按“数据集 × 手型”做交互校准，并对接触丰富片段抽查；当手型或相机分布变化更大时，人工成本可能重新成为瓶颈。
论文主结果集中在两个手型、五个长时工具任务，尚未证明 FAAS 对更多双臂协作、触觉反馈或软体手同样稳定。
9M 帧来自已有带手部标注的 RGB-D 数据，遮挡、深度噪声和语言自动标注质量会影响转换轨迹；完全无动作标注的视频不能直接进入当前监督式 flow matching。
82 维固定槽位虽然方便扩展，但对新手型的功能映射仍需人工设计；空槽位并不会自动产生新的 actuator 语义。
UniDex-Cap 的 co-training 结果说明机器人数据仍不可完全替代，2:1 交换率只在 Make Coffee 的实验范围内成立，不能外推成普适的数据成本定律。

8. 启发与研究思考

【Analysis】 UniDex 给出的路线很适合继续拆成三个研究问题：

从有动作到无动作预训练：利用视频中的物体运动、手部接触和语言弱标签，学习不依赖精确 action 的 3D affordance 表示。
从人工 FAAS 到可学习接口：把 actuator mapping 建模成带功能约束的匹配问题，让新手型通过少量 URDF、示教和接触数据自动加入共享空间。
从“2 条人类 ≈ 1 条机器人”到任务条件交换率：将示教质量、接触阶段、视角和手型纳入数据价值估计，而不是只用 demo 数量衡量 co-training。

对实践者而言，最值得复用的不是某个固定模型 checkpoint，而是这条工程原则：先把观测、动作和 embodiment 差异变成可检查的中间表示，再扩大数据和模型规模。UniDex 把这个中间表示具体化为 robot-centric pointcloud、FAAS 和可视化 retargeting GUI，这也是它能把跨手泛化实验落到真实机器人上的关键。

π*₀.₆ 与 RECAP 论文精读：让 VLA 从真实经验中变强

Tue, 25 Aug 2026 00:00:00 GMT

1. 论文概述

论文名称：《π*₀.₆: a VLA That Learns From Experience》

作者：Physical Intelligence、Ali Amin、Raichelle Aniceto、Ashwin Balakrishna、Kevin Black、Danny Driess、Chelsea Finn、Karol Hausman、Brian Ichter、Sergey Levine、Karl Pertsch、Allen Z. Ren、Lucy Xiaoyang Shi、Laura Smith、Jost Tobias Springenberg、Marcel Torne、Quan Vuong、Lili Yu、Ury Zhilinsky、Zhiyuan Zhou 等

论文链接：arXiv:2511.14759

代码链接：Physical-Intelligence/openpi

一句话总结

【Paper】 RECAP（RL with Experience and Corrections via Advantage-conditioned Policies）解决的问题是：一个已经会做很多事的 VLA，如何在真实部署中通过反复尝试变得更快、更稳，而不是只能模仿示教数据。方法先用离线 RL 预训练带 advantage 条件的 π*₀.₆，再对目标任务收集自治轨迹和在线人工纠错，用 value function 判断每一步是否比参考行为更好，最后把这个判断作为语言条件重新训练 VLA。

【Analysis】 论文真正的贡献不是把 PPO 直接套到大模型上，而是把“数据收集、价值评估、策略提取”拆成可以反复运行的离线批处理循环。这样 flow-matching VLA 不需要每几个 gradient step 就在机器人上采样，也能利用旧策略、示教和纠错的混合数据。

核心贡献

【Paper】

提出 RECAP：把 demonstrations、on-policy rollouts 和 teleoperator interventions 聚合到同一套 advantage-conditioned policy extraction 中。
训练一个多任务 distributional value function，将每条轨迹的剩余步数 / 成功结果映射到 201 个 value bins，再由其得到 advantage。
将 advantage 二值化为 Advantage: positive/negative 文本条件，使整个 flow-matching VLA 可以用普通监督式 likelihood / flow loss 训练。
基于该方法预训练 π*₀.₆，并在真实洗衣折叠、咖啡制作和纸箱装配任务上验证：困难任务的 throughput 可超过 2 倍，失败率约降低一半。
展示多小时连续部署：咖啡机 13 小时、陌生家庭洗衣 2 小时以上，以及工厂包装箱装配。

2. 背景与相关工作

【Paper】 纯 imitation learning 的上限受示教质量限制，且部署时出现的 compounding error 往往不会出现在示教集中。DAgger 风格的人类干预能纠正灾难性错误，但单靠干预很难让动作变快，也无法覆盖每一次自治失败。另一方面，经典 PPO / REINFORCE 需要可靠的 policy likelihood 和 on-policy 数据；对带 flow-matching action expert 的大 VLA 而言，连续动作的精确 likelihood 并不容易计算，真实机器人也承担不起高频采样。

已有工作大致分成三条路线：

用人工干预修正策略分布；
用 residual、action head 或 preference learning 在 VLA 之上做 RL；
直接对离散动作或简单高斯动作执行 PPO / REINFORCE。

【Paper】 RECAP 与它们的区别是：策略本身仍是完整的高容量 VLA，动作由 flow matching 表示；训练时不丢弃低 advantage 数据，而是让策略显式知道样本的 optimality indicator；自治经验和人工纠错都能进入同一个离线数据集。

【Analysis】 这让 RECAP 更像“可扩展的 policy extraction”而不是传统 online RL：value function 负责排序数据，条件化 VLA 负责把排序结果蒸馏回一个可执行策略。

3. 问题定义

【Paper】 给定观测 $mathbf{o}_t$、语言任务 $ell$ 和动作 $mathbf{a}_t$，策略为：

$$ \pi(\mathbf{a}_t\mid \mathbf{o}_t,\ell) $$

一条轨迹记为 $\tau=(\mathbf{o}_0,\mathbf{a}_0,\ldots,\mathbf{o}_T)$。论文使用无 discount 的 return：

$$ R(\tau)=\sum_{t=0}^{T}r_t $$

并用 $V^\pi(\mathbf{o}_t)$ 表示从当前观测到任务结束的期望回报。对一个 $N$-step 片段，advantage 估计为：

$$ A^\pi(\mathbf{o}t,\mathbf{a}t)=\sum{t'=t}^{t+N-1}r{t'}+V^\pi(\mathbf{o}_{t+N})-V^\pi(\mathbf{o}_t) $$

【Paper】 RECAP 不把动作空间离散化成单个 token。π*₀.₆ 接收多相机图像、关节 / 夹爪状态和语言 prompt，输出文本 sub-task、FAST 离散动作表示以及由 860M action expert 生成的连续 action chunk。实验平台是双臂静态系统：两只 6-DoF 手臂、平行夹爪、50 Hz joint-position 控制和三路相机。

4. 方法

4.1 Overall Architecture

【Paper】 RECAP 的数据流可以浓缩成一句话：VLA 在任务上试验并收集轨迹，value function 把每个状态映射到成功进度，再将 advantage 的正负作为策略输入，重新训练出更偏向成功行为的 VLA。

4.2 核心模块

π*₀.₆ VLA

输入：三路 RGB 图像、机器人 configuration、语言任务和元数据。
输出：文本化的下一步 sub-task、FAST action tokens，以及由 flow-matching action expert 产生的连续 action chunk。
作用：Gemma 3 4B VLM 负责共享语义表示；860M action expert 负责细粒度动作。
【Paper】 π*₀.₆ 是 π₀.₆ 的 RL 版本，加入了对二值 advantage indicator 的条件化能力。
【Code】 当前公开 openpi 的 src/openpi/models/pi0.py 将图像编码为 SigLIP tokens，使用 Gemma 2B 与 Gemma 300M action expert；Pi0Config(pi05=True) 设置 50 步 action horizon、32 维 action，并用 adaRMSNorm 注入 flow timestep。论文内部 π*₀.₆ 的 4B / 860M 规模和 RECAP 训练脚本并未在该仓库中完整公开。

Distributional Value Function

输入：观测 $mathbf{o}_t$ 与语言任务 $ell$。
输出：201 个离散 value bins 的概率分布 $p_\phi(V\mid\mathbf{o}_t,\ell)$。
作用：判断当前动作离任务成功还有多少步；成功轨迹的值逐渐接近 0，失败轨迹被压到较大的负值。
为什么需要分布式形式：多任务的 episode 长度不同，直接回归一个标量容易丢失不确定性；分布式 value 可以再通过 bin 的期望恢复连续值。
【Paper】 value function 与 VLA 采用相似架构，但使用较小的 670M VLM backbone，并与少量 web 多模态数据 co-train 以降低过拟合。

Experience Aggregator

每个目标任务的数据集 $\mathcal{D}_\ell$ 包含：

初始 demonstration；
策略完全自治执行的 rollout；
执行中由专家接管产生的 correction 片段。

【Paper】 correction 强制标记为 positive advantage，但整条轨迹（包括未被接管的部分）仍可加入数据集。这样人工干预负责修复大错误，自治数据负责学习速度、动作细节和部署分布。

Advantage-Conditioned Policy

训练序列在 sub-task 之后插入 Advantage: positive 或 Advantage: negative。同一条动作样本不被过滤，而是以条件变量区分“值得复现”与“需要避免”的行为。

4.3 关键公式

Value Function 目标

【Paper】 将轨迹的 empirical return 离散为 $B=201$ 个 bins，优化：

$$ \min_\phi;\mathbb{E}{\tau\in\mathcal{D}} \left[\sum{\mathbf{o}t\in\tau} H\left(R_t^B(\tau),p\phi(V\mid\mathbf{o}_t,\ell)\right)\right] $$

其中 $H$ 是 cross-entropy，$R_t^B$ 是离散后的 return。连续 value 从分布的期望得到：

$$ V^{\pi_{\mathrm{ref}}}(\mathbf{o}t,\ell) =\sum{b=1}^{B}p_\phi(V=b\mid\mathbf{o}_t,\ell)v(b) $$

二值 improvement indicator

$$ I_t=\mathbb{1}\left(A^{\pi_{\mathrm{ref}}}(\mathbf{o}_t,\mathbf{a}t,\ell)>\epsilon\ell\right) $$

其中 $\epsilon_\ell$ 是任务相关阈值。预训练时约 30% 的样本被判为 positive；下游微调通常约 40%，T-shirt / shorts 任务为了偏向高质量高速动作则约 10%。

条件策略目标

$$ \min_\theta;\mathbb{E}{\mathcal{D}{\pi_{\mathrm{ref}}}} \left[-\log\pi_\theta(\mathbf{a}_t\mid\mathbf{o}t,\ell) -\alpha\log\pi\theta(\mathbf{a}_t\mid I_t,\mathbf{o}_t,\ell)\right] $$

第一项保留 unconditional policy，第二项让模型学会在 positive 条件下提高动作概率。连续动作部分用 flow-matching loss 近似 likelihood；离散文本和 FAST action 部分仍使用 autoregressive cross-entropy。

【Analysis】 该目标的关键是“使用所有数据，但改变条件”：AWR 会把负 advantage 样本权重压到接近 0，RECAP 则让负样本继续训练 unconditional policy，并把 positive / negative 的差异交给一个低成本文本条件表达。

4.4 Training

【Paper】 预训练阶段在数万小时、多任务、多机器人示教上训练 value function 和 advantage-conditioned VLA。下游阶段先以 demonstration 做 SFT（将 $I_t$ 固定为 True），得到 $\pi^0_\ell$；随后反复执行“收集数据 → 更新 value → 更新 policy”。每一轮都从预训练 checkpoint 微调，而不是从上一轮策略继续微调，以减少迭代漂移。

4.5 Inference

【Paper】 推理时不需要运行 value function。模型接收图像、状态、语言任务和 advantage 条件；通常直接使用 positive 条件采样。训练时随机丢弃 30% 的 indicator，因此还可以在测试时使用 classifier-free guidance（CFG）以 $\beta>1$ 锐化动作分布。论文实际主要使用 $\beta=1$，因为过高 CFG 会把动作推向支持集边界，导致过于激进的运动。

4.6 代码实现对照

| 论文概念 | openpi 位置 | 代码事实与边界 | | -------------------------- | -------------------------------------------------- | ----------------------------------------------------------------------------------------- | | π 系列 VLA | src/openpi/models/pi0.py | Pi0 同时处理图像 prefix、语言 token、state 和 flow-matching action suffix。 | | π₀.₅ 配置 | src/openpi/models/pi0_config.py | pi05=True 时使用 50 步 horizon、32 维 action、离散 state input 和 adaRMSNorm timestep。 | | 图像编码器 | pi0.py | 调用 SigLIP So400m/14，再送入 Gemma backbone。 | | Flow loss | Pi0.compute_loss | 从 Beta(1.5, 1) 采样 timestep，构造 noisy action 并最小化 vector-field MSE。 | | Flow inference | Pi0.sample_actions | 先缓存 prefix，再循环计算 action suffix；公开配置默认 10 个采样步。 | | 数据 / checkpoint | training/config.py, training/weight_loaders.py | 提供 DROID、LIBERO、ALOHA 等微调配置和 gs://openpi-assets checkpoint。 | | RECAP value / rollout loop | 未发现对应公开实现 | 论文中的 201-bin value function、advantage 标注和真实机器人迭代收集并未在当前仓库中公开。 |

【Analysis】 因此不能把 openpi 说成 RECAP 的完整复现代码。它提供了 π 系列 VLA 的模型、推理和下游微调骨架；RECAP 的核心 RL 数据闭环仍属于论文描述的内部训练系统。

5. 实验

5.1 Experimental Setup

【Paper】 评估包含五类设置：

T-shirt / shorts laundry：在 200 秒内取出、铺平、折叠并堆放衣物。
Diverse laundry：11 类衣物，主 quantitative 指标选择最难的 button-up shirt，时限 500 秒。
Targeted failure removal：固定橙色 T-shirt 和严格领口朝向标准，用于测试是否能消除单一失败模式。
Cafe：在专业 espresso machine 上完成研磨、压粉、锁 portafilter、萃取和上杯，时限 200 秒。
Box assembly：在真实工厂环境折叠纸板、贴标签并放入 crate，时限 600 秒。

吞吐量定义为每小时成功完成的任务数，同时反映速度与成功率；success rate 由人工对 episode 质量进行标注。

5.2 Main Results

【Paper】 最终 RECAP policy 相比 offline RL + SFT 基线，在 diverse laundry 和 espresso 上的 throughput 超过 2 倍，失败率约下降 2 倍。简单 T-shirt / shorts 任务在 SFT 后成功率已经接近上限，RECAP 的主要收益转化为更快执行。Box assembly 的四个子阶段（取板、成盒、贴标、入 crate）均获得更一致的成功率，最终在 600 秒限制内折叠和贴标都达到约 90% 成功率。

【Paper】 这些提升不是只在短离线 benchmark 上出现：模型连续制作咖啡 13 小时，在新家庭折叠陌生衣物超过 2 小时，并能在工厂包装场景中持续装箱。

5.3 Ablation Study

【Paper】 论文比较了三种 policy extraction：RECAP 的 advantage conditioning、AWR 和 PPO。使用同一批机器人数据时，AWR 可以获得合理 success rate，但策略明显更慢；PPO 需要很小的 trust-region constraint（$\eta=0.01$）才能稳定，在 throughput 上仍难以超过 offline RL + SFT。RECAP 同时保持成功率和速度。

【Paper】 在 targeted failure removal 中，每轮收集 600 条轨迹，迭代两轮后成功率达到 97%，即使不使用额外 demonstration 或 intervention，也能消除基线常把领口朝下的错误。

5.4 Generalization

【Paper】 RECAP 的泛化重点不是零样本理解新任务，而是让已有 VLA primitive 在新部署条件中更稳、更快。Diverse laundry 测试衣物形态变化，espresso 测试液体与多阶段接触，box assembly 测试纸板形变和工厂节拍；三者都要求 policy 学会纠正自身真实失败。

【Analysis】 结果也显示“成功率”和“吞吐量”并不等价：高质量 demonstration 可以让机器人慢而稳，自治经验则能把动作节奏推进到接近或超过示教者。因此只看 success rate 会低估 RECAP 的实际部署收益。

6. 方法分析

6.1 为什么有效？

【Analysis】

Value function 提供统一的进度尺度：不同任务的成功标签被转成“离成功还有多少步”，自治失败因此能参与训练，而不是只能被丢弃。
条件化替代了复杂 importance weighting：positive / negative indicator 让 flow-matching VLA 继续使用普通监督学习，不需要为每个连续动作求精确 log-likelihood。
自治与纠错分工互补：intervention 负责把策略从灾难性状态拉回来；自治 rollout 负责优化速度、流畅度和部署分布。
从预训练 checkpoint 重启降低漂移：每轮都回到稳定的通用 π*₀.₆，再用聚合数据专门化，避免错误在迭代中放大。

6.2 核心创新

【Paper】 单独看 value regression、advantage conditioning 或 DAgger 都不是新组件；创新在于将它们组合成面向大规模 flow-matching VLA 的真实机器人 recipe：

offline RL 预训练让通用模型一开始就能读取 advantage 条件；
201-bin distributional value function 跨任务复用；
混合数据集同时利用 old policy、current policy 和 human corrections；
低成本离线批更新取代难以扩展的高频 on-policy PPO。

6.3 与已有方法的本质区别

| 方法 | 如何使用低质量 / 负样本 | 是否适配 flow VLA | 数据来源 | 主要问题 | | ------ | ------------------------------------------------ | --------------------------- | ------------------ | ---------------------------- | | AWR | 对 advantage 做权重，低 advantage 样本几乎被过滤 | 可用但会丢数据 | 离线轨迹 | 策略容易变慢 | | PPO | 需要 likelihood 与 trust region | 连续 action likelihood 难算 | 近似 on-policy | 真实机器人采样昂贵、稳定性差 | | DAgger | 依赖专家纠正分布偏移 | 与 action head 无关 | 人工 intervention | 不会自动优化速度 | | RECAP | 保留所有样本，用 indicator 区分 optimality | 通过 flow loss 训练 | 示教 + 自治 + 纠错 | 仍需人工奖励与批量更新 |

【Analysis】 RECAP 把“数据筛选”改成“条件建模”：负样本不是监督信号，而是 unconditional policy 的覆盖；positive 条件则近似一个改进后的行为分布。这个接口正好绕开了 flow policy 的显式 density 计算。

6.4 关键假设

【Paper】 / 【Analysis】

episode-level success label 足以构造有用的稀疏 reward；
观测近似满足 Markov 假设，value function 能从图像与语言判断进度；
human correction 通常是更好的动作，因此可以强制标为 positive；
初始 imitation policy 已经足够安全，随机性和纠错可以提供有限探索；
任务可以通过批量收集轨迹、离线训练、再次部署的节奏迭代。

7. 局限性

7.1 作者明确提出的局限

【Paper】

系统不是 fully autonomous：奖励标注、intervention 和 episode reset 仍依赖人。
探索基本是 greedy 的，主要依靠策略随机性与人工干预，没有系统性的 exploration strategy。
训练是“收集一批数据再重训”的 iterated offline update，不是数据采集与参数更新并行的 online RL。

7.2 自己分析得到的局限

【Analysis】

201-bin value distribution 的质量依赖 episode 长度归一化和人工成功定义；一旦 reward rubric 偏移，advantage 也会随之偏移。
positive / negative 是粗粒度二值条件，无法表达“快但略不稳”和“慢但安全”等多目标 trade-off。
从预训练 checkpoint 重启虽然抑制 drift，却也可能抹掉上一轮策略学到的细粒度长期状态表示。
公开 openpi 没有 RECAP value、rollout 和 intervention 代码，社区难以仅凭仓库复现实验中的 13 小时部署或吞吐量曲线。
论文主要展示 Physical Intelligence 的双臂平台与任务，其他 embodiment 的 value transfer 和 reward 标注成本仍未被充分验证。

8. 启发与研究思考

【Analysis】

VLA 的后训练接口可以非常简单。 让模型读取 Advantage: positive 看似粗糙，但它把复杂的 RL 优化转化成了现有 VLA 擅长的 conditional supervised learning。
吞吐量应该成为真实机器人 RL 的一等指标。 成功率已经很高时，真正决定部署成本的是动作节奏、恢复时间和每小时完成数。
人工干预不必承担全部监督。 人只修最危险的错误，速度和细节交给自治经验学习，可能比要求 teleoperator 全程提供完美轨迹更可扩展。
下一步是自动化 reward 与 reset。 如果视觉语言 critic、任务级 reset policy 和安全探索器能够替代人工环节，RECAP 才能从“可重复的实验室 recipe”走向持续运行的机器人数据飞轮。
代码开放程度决定研究价值的可迁移性。 openpi 已经让 π 系列模型可被微调和部署，但 RECAP 的关键闭环仍未公开；未来若能开放 value head、advantage labeling 和 rollout schema，社区才可以检验该方法是否适用于更广泛的 embodiment。

RDT2 论文精读：探索 UMI 数据规模化的跨本体零样本泛化极限

Tue, 25 Aug 2026 00:00:00 GMT

1. 论文概述

【Paper】 RDT2（Robotics Diffusion Transformer 2）研究一个比“在同一台机器人上多做几个任务”更难的问题：训练数据来自一类设备，部署时能否直接换到另一种机械臂，并同时面对未见过的物体、场景和指令。作者将其称为 4U：Unseen embodiment、scene、object、instruction。

一句话总结

【Analysis】 RDT2 的核心不是单个网络模块，而是把“数据接口统一”和“动作生成接口统一”同时做好：UMI 把不同机械臂映射到共享的末端执行器空间，三阶段训练则把 Qwen2.5-VL 的离散语义能力逐步接到连续、低延迟的控制器上。

核心贡献

【Paper】

重新设计 UMI 硬件：用 nylon 66 + glass fiber 的 CNC 结构、红外光学追踪和 linkage gripper，提高长期采集的一致性与高速运动稳定性。
收集超过 10,000 小时、覆盖 100+ 户家庭和 1,000+ 独特物体的真实人类操作数据，并补充 50 工位的设施化采集。
提出三阶段训练：RVQ 离散动作预训练、冻结 VLM 后的 Flow Matching action expert，以及将多步 expert 蒸馏成单步生成器。
在 4U 零样本设置、模型/数据 scaling law，以及折衣服、桌面收纳、解拉链、快速按键和打乒乓球等任务上进行验证。

2. 背景与相关工作

【Paper】 现有 VLA 的瓶颈集中在三处。第一，真实机器人示教昂贵，且同一数据通常绑定某个机器人平台；第二，离散 action token 与连续 diffusion 各有优缺点：前者与预训练 VLM 的 next-token objective 对齐，却带来量化误差和自回归延迟，后者表达多模态动作更自然，却训练慢并可能扰动 VLM 的离散知识；第三，大模型越大，实时控制要求越难满足。

UMI（Universal Manipulation Interface）提供了一个折中：人手拿着设备记录 6-DoF 末端位姿和夹爪宽度，部署时只需保持相机和 gripper 型号一致，就能把动作转换到不同机械臂。【Analysis】 因此，RDT2 的“跨本体”首先是传感器、末端执行器和动作坐标的接口问题，其次才是模型的泛化问题。

与 OpenVLA、RDT-1B、π0 / π0.5 相比，RDT2 的区别在于同时扩大数据覆盖面、保留 VLM 的离散概率结构，并为 diffusion 路径增加显式的实时蒸馏阶段。

3. 问题定义

【Paper】 给定自然语言指令 $\ell$、当前 RGB 观测 $o_t$，模型需要输出动作块

$$ A_t=(a_t,\ldots,a_{t+T_a}),\qquad a_t\in\mathbb{R}^{d}, $$

并学习 $p(A_t\mid\ell,o_t)$。论文假设当前观测已经包含决策所需信息，不显式建模历史观测。训练集为

$$ \mathcal D={(\ell^{(i)},o_t^{(i)},A_t^{(i)})}_{i,t}. $$

评测任务由物体、场景、语言指令和机器人本体四个因素组合而成；有限训练集只能覆盖其中的稀疏子集，因此目标是对新组合而非只对新类别泛化。

4. 方法

4.1 Overall Architecture

【Paper】 数据流是：图像与语言先进入冻结或可训练的 7B Qwen2.5-VL；动作块经过 RVQ 变成离散 action tokens 供 Stage 1 学习；Stage 2 从 VLM 多层 latent 条件化连续 action expert；Stage 3 再把多步 flow 过程压缩为单步生成器。

4.2 核心模块

增强 UMI 与数据接口

输入：人类手持 UMI 的追踪位姿、夹爪宽度、相机视频。
输出：与机器人本体弱相关的末端动作轨迹。
关键设计：CNC nylon 66 + glass fiber 提高刚度；红外光追踪替代易受纹理、透明背景影响的 SLAM；linkage gripper 改善狭窄空间可达性。
作用：减少不同机器人之间的视觉、夹爪和结构 gap，使策略可以直接映射到 UR5e、Franka Research 3 等平台。

RVQ Action Tokenizer

【Paper】 1D temporal CNN 将 $A_t\in\mathbb R^{T_a\times d}$ 编成 $n$ 个 $C$ 维 latent，再通过 $m$ 层 codebook 逐级量化。官方代码中，预训练 tokenizer 以 MultiVQVAE 发布，训练脚本把有效 token 映射到 tokenizer 词表末端的保留区间。

【Code】 train.py 加载 robotics-diffusion-transformer/RVQActionTokenizer，计算 valid_action_id_length，再把 action token 转为 vocab_size - (token + 1) 的输入 id；无效的 gripper token 用 padding 屏蔽。

7B VLM Backbone

输入：多视角 RGB、自然语言和离散动作 token。
输出：语言-视觉-动作统一 latent，以及 Stage 1 的 action token logits。
配置：Qwen2.5-VL-7B；论文称保留词表中最少使用的 1,024 个条目表示动作。
作用：保留预训练 VLM 的离散语义与视觉推理能力，而不是从连续 diffusion loss 重新学习全部知识。

400M Action Expert

【Paper】 Stage 2 冻结 VLM，训练约 400M 参数的 RDT action expert；以 GQA 替换 MHA，并通过 cross-attention 读取 VLM 各层特征，输出连续动作速度场。【Analysis】 它把“大模型负责理解”和“小模型负责控制”拆开，因此可以在不重复计算视觉语言主干的情况下提高控制频率。

One-Step Generator

Stage 2 推理需要 5 次 integration。Stage 3 保持教师 expert 与 VLM 冻结，训练一个从 $t=0$ 出发的 student，直接回归教师多步轨迹；这就是 RDT2-UltraFast。

4.3 关键公式

RVQ 量化

对第 $i$ 个 latent，令 $r^i_0=z_i$，第 $j$ 层选择最近的 codebook 向量：

$$ k^i_j=\arg\min_k|r^i_{j-1}-e_j(k)|2^2,\qquad r^i_j=r^i{j-1}-e_j(k^i_j). $$

最终重建为 $\hat A_t=\phi_{dec}({\sum_j e_j(k^i_j)}_i)$。量化器损失同时约束动作重建、encoder commitment 和 codebook 更新：

$$ \mathcal L_{vq}=|A_t-\hat A_t|_2^2+|\operatorname{sg}(z_i)-\hat z_i|_2^2+\beta|z_i-\operatorname{sg}(\hat z_i)|_2^2. $$

【Paper】 作者还用 cosine similarity、低维 codebook、EMA 更新和周期性重启失活条目缓解 codebook collapse。

Flow Matching

训练时采样 $\epsilon\sim\mathcal N(0,I)$、$\tau\sim U(0,1)$，构造

$$ A_t^\tau=(1-\tau)\epsilon+\tau A_t,\qquad u(A_t^\tau\mid A_t)=A_t-\epsilon, $$

并最小化

$$ \mathcal L_{expert}=\mathbb E|v_\theta(\tau,A_t^\tau,\mathrm{VLA}(\ell,o_t))-u(A_t^\tau\mid A_t)|_2^2. $$

$v_\theta$ 是 action expert 预测的速度场，VLA 表示冻结的视觉语言条件。

蒸馏

设教师多步生成结果为 $F$，student 的一步结果为

$$ G(A_t^0,\ell,o_t;\theta')=A_t^0+v_{\theta'}(0,A_t^0,\mathrm{VLA}(\ell,o_t)), $$

则

$$ \mathcal L_{distill}=\mathbb E|F(A_t^0,\ell,o_t;\theta)-G(A_t^0,\ell,o_t;\theta')|_2^2. $$

4.4 Training

【Paper】 Stage 1 在 UMI 数据与少量 vision-language 数据的混合集上训练 128K iterations，使用 next-token cross-entropy；Stage 2 冻结 VLM，训练 action expert 66K iterations；Stage 3 在线计算教师多步结果并做 MSE 蒸馏。论文附录给出的两阶段共同超参包括每 GPU batch size 96、learning rate $10^{-4}$、AdamW、bf16、gradient clipping 1，Stage 1 使用 cosine decay，Stage 2 使用 constant schedule。

【Code】 官方仓库把数据转为 WebDataset tar shards，通过 Resample 无限流式采样，并用 wds.RandomMix 动态混合数据源；训练脚本支持 full fine-tuning、LoRA 和 QLoRA。图像增强包括 color jitter、噪声、motion blur 与 JPEG corruption；Stage 2 时间步使用 logistic-normal 采样，集中训练 flow 中段较难区域。

4.5 Inference

【Code】 RDT2-VQ 的部署入口加载 Qwen2.5-VL、RVQ tokenizer 与 UMI normalizer；输入两路相机图像和语言指令后，生成 action token，再解码为归一化的连续动作块。RDT2-FM 则缓存 VLM 的 language-vision latent，连续 expert 进行 5 步 flow integration；UltraFast 只执行一次 student forward。动作随后发送到 UR5e 或 Franka FR3 的低层控制器。

4.6 代码实现对照

| 论文概念 | 官方仓库对应 | 代码行为 | | --- | --- | --- | | VLA Stage 1 | train.py, vla_trainer.py | Qwen2.5-VL + action token 的监督微调，支持 LoRA/QLoRA | | UMI dataset | data/umi_video_dataset.py, data/utils.py | 从 zarr / 视频与标注读取图像、动作和 instruction | | Action token | vqvae/models/multivqvae.py、train.py | MultiVQVAE 编解码，动作 id 写入 Qwen 词表保留区 | | FM deployment | models/rdt_inferencer.py, deploy/inference_real_fm.py | 读取多层 VLM cache，连续 action expert 产生动作块 | | VQ deployment | deploy/inference_real_vq.py | 从 token 解码动作并做 normalizer 反变换 |

【Analysis】 论文把三阶段写成统一方法，仓库则以 RDT2-VQ 和 RDT2-FM 两个公开模型为主要使用入口；论文中的 UltraFast 蒸馏路径在论文实验中明确，但当前仓库的通用 RDTInferencer 对 distill runner 仍保留注释接口，部署代码更完整地覆盖 VQ 与 FM 两条路径。

5. 实验

5.1 Experimental Setup

【Paper】 零样本实验严格使用 4U 设置：测试场景、物体、指令和机械臂都不出现在训练组合中；每个任务进行 256 次试验，Pick 任务额外重复 1,000 次观察成功率收敛。下游 fine-tuning 比较 RDT2 与 π0.5、π0-FAST，涵盖变形物体、长时程、动态响应和灵巧操作。

5.2 Main Results

【Paper】 零样本结果中，RDT2-FM / RDT2-VQ 在 Pick、Pick-and-Place、Wipe、Press、Shake 上分别达到约 41/45%、26/29%、52/47%、27/25% 和 25/27% 的成功率（图中误差条为标准误）。成功率并不意味着“已解决通用机器人”，但证明了仅用人类 UMI 数据即可跨四个未见因素组合泛化。

Scaling law 实验在完整数据集单 epoch 上改变模型大小和已消费 token 数，拟合得到：

$$ \hat L(N,D)=E+\frac{A}{N^\alpha}+\frac{B}{D^\beta}, $$

其中 $E\approx2.1108,A\approx4.3754\times10^3,\alpha\approx0.4402,B\approx1.7906\times10^2,\beta\approx0.2251$。【Analysis】 这说明增加模型参数和数据量都仍有可预测收益，数据采集接口的可扩展性本身成为模型能力上限的一部分。

fine-tuning 表 2 中，RDT2 在折衣服总体成功率 77%（π0.5 36%、π0-FAST 29%），桌面收纳 progress score 0.58（0.39、0.30），解拉链成功率 45%（13%、8%）；按钮按压相对人类反应时间差为 +97 ms（+323、+981 ms）。乒乓球在 1×/1.2×/1.5×/1.7×/2× 人类速度下的命中率为 88/85/76/68/—%，π0-FAST 因频率不足无法完成该项。

5.3 Ablation Study

【Paper】 主要消融结论有三点：

先做 AR（Stage 1）再做 diffusion，比从头只用 diffusion 更快收敛且最终 loss 更低。
RVQ 在相同量化误差下需要更少 token；论文 Figure 8 显示相较 FAST 可节省约三分之二 token。
Stage 3 蒸馏把 RDT2-FM 的 5 步积分变为单步生成，使 RDT2-UltraFast 达到 23.0 Hz；RDT2-FM 为 17.0 Hz，RDT2-VQ 为 16.0 Hz，π0.5 为 2.7 Hz，π0-FAST 为 1.6 Hz。

5.4 Generalization

【Paper】 论文把泛化拆成四个因素，而不是只报告随机划分测试集。特别是跨本体迁移依赖“相同 camera 与 gripper 型号 + UMI 末端动作接口”，并非任意硬件即插即用。【Analysis】 这使 RDT2 更像一个“可扩展的 embodiment contract”：合同内的新机械臂可以零样本，合同外的传感器和末端执行器仍需要适配或 fine-tuning。

6. 方法分析

6.1 为什么有效？

【Analysis】 RDT2 同时消除了三个相互牵制的误差源：UMI 降低数据跨本体的坐标差异；RVQ 让动作监督回到 VLM 熟悉的离散 next-token 空间；FM 与蒸馏再把离散决策还原为连续动作并满足实时性。三者缺一不可：没有大规模 UMI，泛化缺乏覆盖；没有 Stage 1，diffusion 学习慢且破坏语义先验；没有 Stage 3，7B 模型难以进入动态控制环。

6.2 核心创新

数据接口与模型接口共同规模化：硬件、标注、语言增强和 WebDataset 流水线被设计成可并行扩展的系统。
离散-连续混合训练：不是在 token 与 diffusion 之间二选一，而是将二者放到不同阶段承担不同目标。
把实时性作为训练目标：蒸馏不是部署后的工程补丁，而是第三阶段的显式优化目标。
用 4U 组合泛化验证基础模型属性：将“换物体”推进到同时换本体、场景和指令。

6.3 与已有方法的本质区别

【Analysis】 π0 / π0.5 主要将 flow policy 与预训练 backbone 组合，RDT2 则先用 action token 让 VLM 学会“说出动作”，再让小型 expert 学会“连续地执行动作”。OpenVLA 等模型通常绑定特定机器人数据；RDT2 通过 UMI 把 embodiment 差异前移到采集和部署接口。相比 RDT-1B，RDT2 的关键增量是 10,000+ 小时数据、7B VLM 以及 RVQ + distillation 训练链。

6.4 关键假设

相机型号、安装方式和 gripper 形态在采集与部署间足够一致。
单帧观测已包含决策需要的信息，历史观测不是必须输入。
训练家庭与部署环境虽然不同，但共享可由视觉和语言描述的操作规律。
大规模人类示教中的低层控制分布可以迁移到不同机械臂的动力学。

7. 局限性

7.1 作者明确提出的局限

【Paper】 4U 零样本成功率仍不高，实验主要覆盖简单 open-vocabulary 操作；数据来自 100+ 私人家庭，需要隐私保护和匿名化；在未见物理情境中零样本部署存在安全风险，必须配备 safety guardrails 与 verification protocols。

7.2 自己分析得到的局限

【Analysis】

“跨本体”依赖相同 camera / gripper，真正跨传感器、跨末端执行器的迁移尚未被证明。
单帧假设会限制遮挡、接触状态和长时程任务；论文虽评测长任务，但模型本身未显式维护记忆或世界模型。
10,000 小时数据的清洗、家庭隐私和语言增强成本很高，扩展速度不只取决于 GPU。
单步蒸馏追随教师分布，可能牺牲多峰动作中的尾部模式；论文的速度优势需要在更多高风险接触任务上验证。

8. 启发与研究思考

【Analysis】 RDT2 给出的最重要信号是：机器人基础模型的 scaling law 不仅是“再训练更大的 Transformer”，还包括如何把人类行为变成跨设备可复用的数据。UMI 让 embodiment 变成数据协议，RVQ 让动作进入语言模型的概率空间，蒸馏让大模型回到控制频率；这是一条从采集、表示到执行的完整闭环。

后续研究可以沿三条线推进：一是把 UMI contract 扩展到不同相机、夹爪和力传感器；二是将历史观测、触觉和安全约束纳入 action expert；三是研究面向风险的蒸馏，让单步策略不仅快，还能保留多模态动作的安全边界。

RDT-1B 论文精读：用 Diffusion Transformer 学习双臂操作

Tue, 25 Aug 2026 00:00:00 GMT

1. 论文概述

论文名称：《RDT-1B: a Diffusion Foundation Model for Bimanual Manipulation》
作者：Songming Liu、Lingxuan Wu、Bangguo Li、Hengkai Tan、Huayu Chen、Zhengyi Wang、Ke Xu、Hang Su、Jun Zhu
会议 / 期刊：ICLR 2025
论文链接：arXiv
代码链接：thu-ml/RoboticsDiffusionTransformer
项目主页：RDT Robotics

一句话总结

【Paper】 RDT-1B 将连续、多模态的动作 chunk 建模为条件扩散分布，用 DiT 处理视觉、语言、本体感知和扩散状态，再用物理含义明确的 128 维统一动作空间把 46 个机器人数据集接到同一个预训练任务中，最终在 Mobile ALOHA 双臂数据上微调。

核心贡献

【Paper】

Robotics Diffusion Transformer（RDT）：以 Diffusion Transformer 为主体，使用 QKNorm、RMSNorm、MLP decoder 和 Alternating Condition Injection（ACI），面向机器人数据的数值不稳定、非线性和高频变化做结构修改。
Physically Interpretable Unified Action Space：把关节位置、关节速度、末端位姿、夹爪状态和底盘速度映射到 128 维向量，保留每一维的物理意义，避免简单截断跨机器人信息。
大规模两阶段训练：在 46 个数据集、1M+ 轨迹、约 21TB 数据上预训练，再在 300+ 任务、6K+ 双臂轨迹的自建数据上微调；RDT-1B 规模为 1.2B 参数。
真实机器人泛化：论文报告了未见物体、未见场景、指令跟随、1–5 shot 新技能和灵巧操作上的提升，并在 7 个任务上比较 ACT、OpenVLA、RDT scratch 与预训练 RDT。

2. 背景与相关工作

【Paper】 双臂操作比单臂操作多了一倍左右的控制自由度，示教者还可能选择不同的抓取姿态、左右手分工和接触顺序。因此同一语言指令和视觉状态可能对应多个可行动作模式。用 MSE 直接回归这些动作，会把多个模式平均成一个物理上不可行的动作。

另一个瓶颈是数据。双臂硬件和遥操作成本较高，特定双臂机器人的公开示教通常远少于单臂数据。若只在目标机器人上从零训练，模型很难同时获得视觉、语言和物理先验。

已有 VLA（如 RT-2、OpenVLA）把动作离散化成 token，便于复用语言模型，但量化误差和离散动作的联合建模会限制精度；Octo 使用条件扩散，却把较少参数留给真正的去噪过程。【Analysis】 RDT 的定位是把扩散模型的分布表达能力与 DiT 的可扩展性结合起来，并先跨机器人学习，再针对目标双臂 embodiment 适配。

3. 问题定义

【Paper】 在时间步 $t$，给定自然语言指令 $\ell$、最近 $T_{\text{img}}$ 帧 RGB 图像、机器人本体感知 $\vz_t$ 和控制频率 $c$，策略输出未来 $T_a$ 步动作 chunk：

$$ \pi_\theta(\va_{t:t+T_a}\mid \ell,\vo_t),\qquad \vo_t=(\mX_{t-T_{\text{img}}+1:t},\vz_t,c) $$

动作通常是下一时刻期望本体状态的子集。目标不是做一个跨机器人直接部署的通用控制器，而是利用多机器人数据学习可迁移的物理先验，再在目标双臂机器人上微调。

| 项目 | 论文设定 | | ------------------ | ----------------------------------------------------------------- | | Robot / Embodiment | Mobile ALOHA 双臂平台；实验中不使用其自主移动能力 | | Observation | 3 路 RGB（外部、左右腕部）与本体状态，图像历史 $T_{\text{img}}=2$ | | Action | 统一到 128 维；目标机器人主要填入双臂关节位置与夹爪状态 | | Action horizon | $T_a=64$ | | Training objective | DDPM 前向加噪后，预测 clean action sample，使用 MSE | | Control context | 显式输入控制频率，减少不同数据集采样频率带来的歧义 |

4. 方法

4.1 Overall Architecture

【Paper】 数据流可以压缩成一句话：状态与带噪动作先组成主序列，图像和语言分别编码为条件 token，RDT block 交替做 language/image cross-attention，最后只保留动作 token 并解码为去噪后的动作 chunk。训练与推理的逐步过程分别放在 4.4 和 4.5。

4.2 核心模块

Physically Interpretable Unified Action Space

输入：不同机器人原始 action / proprioception，以及对应的物理量格式。
输出：128 维统一向量与同维度 validity mask。
映射：右臂关节位置 [0,10)、右夹爪 [10,15)、右臂速度 [15,25)、右末端位置 [30,33)、右末端 6D pose [33,39)；左臂从 [50,95) 对称放置；底盘速度使用 [100,103)，其余位置保留。
为什么需要：不同数据集可能使用 joint position、joint velocity、EEF pose 或 base velocity。按物理意义填入，而不是按数组下标拼接，才能让相同维度在跨机器人数据中表达相同概念。

【Code】 configs/state_vec.py 明确维护 STATE_VEC_IDX_MAPPING 和 STATE_VEC_LEN = 128；data/preprocess.py 的 assemble_state_vec 同时返回 state vector 与 mask。无效维度不会被当作真实动作，训练和采样阶段都通过 action_mask 屏蔽。

多模态编码

Language：冻结的 T5-XXL 产生 4096 维语言 token，再经 mlp2x_gelu adaptor 投影到 RDT hidden size。
Image：冻结的 SigLIP 编码 RGB 图像，再经 mlp2x_gelu 投影；论文使用三路相机与两帧历史，并用多维位置编码区分时间、相机和 patch。
Low-dimensional state：状态、带噪动作及 validity mask 拼接后，经 mlp3x_gelu 投影。控制频率和扩散时间步分别用 Fourier / timestep MLP 编码。
随机独立 mask：论文在不同模态上独立遮蔽输入，降低模型只依赖外部相机或文本的 shortcut。

RDT DiT backbone

【Paper】 RDT 不是把 diffusion head 挂在一个很小的 condition encoder 后面，而是让大部分 Transformer 都参与去噪。每个 block 包含 self-attention、cross-attention 与 MLP：

QKNorm + RMSNorm：机器人物理量的范围可能不稳定；代码中的 RDTBlock 使用 RmsNorm，attention 的 query/key 也启用 qk_norm=True。
MLP decoder：最终动作不是线性投影，而是带 GELU 的 MLP，以近似碰撞、摩擦等导致的非线性动作映射。
Alternating Condition Injection：第 $i$ 个 block 只注入 language 或 image 条件，代码中以 conds[i % 2] 实现，避免图像 token 数量远多于文字 token 时吞没指令信息。

4.3 关键公式

DDPM 前向过程与去噪目标

给定 clean action chunk $\va^0$，从 $k\in{1,\ldots,K}$ 随机采样扩散步数，并构造：

$$ \tilde{\va}^{k}=\sqrt{\bar\alpha_k},\va^0+\sqrt{1-\bar\alpha_k},\vepsilon, \qquad \vepsilon\sim\mathcal N(0,\mI) $$

训练网络 $f_\theta$ 预测 clean sample：

$$ \mathcal L(\theta)= \mathbb E\left[\left|\va^0-f_\theta(\tilde{\va}^{k},\vo_t,\ell,c,k)\right|_2^2\right] $$

其中 $\bar\alpha_k$ 是噪声 schedule 的累积乘积，$k$ 告诉模型当前噪声等级，$c$ 告诉模型控制频率。

【Code】 models/rdt_runner.py 使用 DDPMScheduler，配置为 1000 个训练 diffusion timesteps、squaredcos_cap_v2 schedule 和 prediction_type: sample，因此实际 target 是 action_gt 而不是噪声 $\vepsilon$；loss 是 F.mse_loss(pred, target)。

反向采样

推理从 $\va^K\sim\mathcal N(0,\mI)$ 开始，重复执行：

$$ \va^{k-1}=\operatorname{SchedulerStep}\big(f_\theta(\va^k,\vo_t,\ell,c,k),k,\va^k\big) $$

【Code】 官方 runner 使用 DPMSolverMultistepScheduler，推理步数为 5；得到 64 步 action chunk 后乘以 action_mask，只执行目标机器人实际存在的维度。

4.4 Training

【Paper】 训练分为两阶段：预训练使用 46 个机器人数据集，目标规模为 1M+ trajectories / 21TB；微调使用 Mobile ALOHA 上 300+ 任务、6K+ trajectories、3M+ frames。数据清洗包括删除失败或重复 episode、空图像和错误速度，过长轨迹下采样，末端旋转使用 6D 表示。

【Code】 预训练使用 TFRecord producer-consumer pipeline，微调提供 HDF5 dataset；configs/base.yaml 中 action_chunk_size=64、img_history_size=2、state_dim=128。代码还会过滤短 episode、填充不足 64 步的动作，并把目标机器人数据映射到统一状态向量。

4.5 Inference

推理时不需要 teacher action，也不需要额外的 encoder。机器人读取当前两帧视觉、状态、语言和控制频率，采样一段动作，然后执行其中适合当前控制周期的部分并继续闭环观测。

4.6 代码实现对照

| 论文描述 | 官方代码对应 | 对照结论 | | ------------------------------- | ------------------------------------------------------ | ------------------------------------------------------------------------------------- | | 1.2B 参数 RDT-1B | configs/base.yaml：hidden size 2048、28 层、32 heads | 配置与论文的 1B 级模型一致；仓库还提供 166M 小模型实验配置思路 | | 语言与图像条件 | train/train.py 的 T5Embedder、SiglipVisionTower | 预训练 encoder 在训练主循环外提供条件 token，RDT 内部只接收投影后的 token | | 统一动作空间 | configs/state_vec.py、data/preprocess.py | 128 维映射与 mask 是数据管线的核心，而不是仅写在论文里的概念 | | Diffusion training | RDTRunner.compute_loss | 随机 timestep、DDPM 加噪、prediction_type=sample、MSE | | Diffusion inference | RDTRunner.conditional_sample | 高斯初始化、5 步 DPM-Solver++、逐步更新并 mask 无效维度 | | Alternating Condition Injection | models/rdt/model.py | conds[i % 2] 交替选择 language/image；最终 FinalLayer 的 MLP 只保留 action tokens |

【Analysis】 论文把“预训练 + 微调”作为方法的一部分，但仓库的默认 base.yaml 主要展示单个 embodiment 的 HDF5 读取示例；完整 46 数据集的 TFRecord 配置和预处理脚本分散在 data/、configs/ 与 docs/ 中，复现实验需要准备大规模数据和多 GPU 环境。

5. 实验

5.1 Experimental Setup

【Paper】 微调数据来自 Mobile ALOHA，覆盖 300+ challenging tasks、100+ objects、15+ rooms 和 6K+ trajectories。论文将测试维度拆为未见物体、未见场景、指令跟随、few-shot learning 与 dexterity，并与 ACT、OpenVLA、Octo 以及 RDT scratch 比较。

【Code】 训练配置使用 AdamW、constant learning rate；论文实验记录为 48 张 H100，预训练 1M steps、微调 130K steps。训练使用 DDPM 的 1000 steps，推理使用 DPM-Solver++ 的 5 steps。代码中的数据增强包括图像 corruption / color jitter、本体感知噪声和语言 instruction 扩展。

5.2 Main Results

【Paper】 论文在 7 个真实任务上报告 success rate。代表性结果如下：

| 测试维度 | RDT（预训练） | RDT scratch | 论文观察 | | ----------------------------- | ------------: | ----------: | ------------------------------------ | | Wash Cup：未见物体总成功率 | 62.5% | 25% | 能把洗杯流程迁移到未见杯子 | | Pour Water：未见场景总成功率 | 62.5% | 25% | 对未见房间仍能完成多阶段流程 | | Pour Water-L-1/3：指令跟随 | 62.5% | 37.5% | 能区分左手与约三分之一水量 | | Fold Shorts：1-shot 新技能 | 40% | 16% | 仅 1 条示教也能获得可用策略 | | Handover：5-shot 新技能 | 40% | 16% | 能学习双手交接这一预训练中未见的技能 | | Robot Dog：dexterity 总成功率 | 76% | 64% | 能更精确地推动黑色遥控器摇杆 |

【Paper】 RDT（ours）在作者定义的综合指标上比基线更稳定；论文摘要将跨任务成功率提升概括为约 56%。这里的综合分数是多个任务维度和附加子条件的平均值，不等同于单个任务的 success rate。

5.3 Ablation Study

【Paper】 消融包含四个版本：

RDT (regress)：去掉 diffusion，直接做确定性回归；未见物体、未见场景、指令跟随分别为 12.5%、50%、12.5%。
RDT (small)：166M 参数；对应结果为 37.5%、62.5%、25%。
RDT (scratch)：不做多机器人预训练；结果为 0%、25%、62.5%。
RDT (ours)：完整模型；对应结果为 50%、62.5%、100%。

【Analysis】 消融说明三件事缺一不可：diffusion 负责表达多峰连续动作，大模型容量负责吸收复杂跨模态关系，多机器人预训练负责提供未见物体与场景的先验。RDT (small) 在某个未见场景指标上并非最差，说明单个任务的方差仍然存在，不能把所有收益简单归因于参数量。

5.4 Generalization

【Paper】 泛化并不是只换一个物体：

未见物体 / 场景：Wash Cup 与 Pour Water 的测试对象或房间在训练中未出现。
未见语言组合：Pour Water-L-1/3 与 R-2/3 要求理解手别和水位比例，即使训练指令只出现 little、half、full 等词。
few-shot 新技能：Handover 只有 5 条示教，Fold Shorts 只有 1 条示教。
灵巧控制：Robot Dog 要求识别黑色摇杆并以小角度持续推动，动作精度和视觉语义都很关键。

6. 方法分析

6.1 为什么有效？

【Analysis】 RDT 的收益来自三个层级的匹配：

分布层：diffusion 直接学习 $p(a\mid o,\ell)$，不会把多个示教模式压成一个均值动作。
表示层：统一动作空间把“左臂关节速度”“右末端位置”等概念固定在一致的坐标槽位，允许跨机器人共享物理规律。
规模层：DiT 把图像、语言、状态和动作去噪放在同一个可扩展 Transformer 中，1M+ 轨迹和 1.2B 参数才有机会转化为下游先验。

6.2 核心创新

真正的创新不是单独提出一个新 diffusion schedule，而是把 Diffusion Policy + DiT scaling + 物理动作对齐 + 双臂微调 组合成一个可开源训练栈。尤其是 128 维空间把“跨 embodiment 数据能否一起训练”从数据工程问题变成了显式的表示设计问题。

6.3 与已有方法的本质区别

| 方法 | 动作建模 | 多机器人处理 | 对双臂多模态的态度 | | ------- | ------------------- | ----------------------------- | ---------------------------------- | | ACT | CVAE / action chunk | 通常针对单一 ALOHA embodiment | 用 latent 表示示教风格，但规模较小 | | OpenVLA | 离散 action token | 复用 VLM 的 action tokenizer | 量化方便，但连续精度受限 | | Octo | 条件 diffusion head | 使用部分 OpenX 数据 | diffusion head 与主干规模有限 | | RDT | DiT 全网络去噪 | 128 维物理统一空间 | 直接建模连续、多峰 action chunk |

6.4 关键假设

不同机器人动作可以按物理意义嵌入同一个高维空间；填充维度不会引入不可控的负迁移。
视觉、语言与低维状态足以解释静态双臂任务；论文没有覆盖高速投掷等强速度依赖任务。
目标机器人通过少量或中等规模微调即可桥接 embodiment gap。
训练数据的语言标注、相机布局和动作单位经过清洗后足够一致。

7. 局限性

7.1 作者明确提出的局限

【Paper】 研究主要面向静态双臂抓取与操作，Mobile ALOHA 的移动能力没有用于训练或推理；论文也指出模型的训练、微调和实时部署需要大量 GPU 资源。官方论文没有把方法扩展到动态导航、强接触力控制或普适的跨 embodiment 直接部署。

7.2 自己分析得到的局限

【Analysis】

128 维空间虽然覆盖常见物理量，但 reserved 槽位和 mask 设计仍然依赖人工约定；新型执行器或力矩控制需要重新定义映射。
DPM-Solver++ 只用 5 个采样步，实时性好但可能牺牲部分动作分布精度；论文没有系统报告采样步数与成功率的曲线。
论文表格主要是少量真实任务的 success rate，缺少大规模统计置信区间、能耗、延迟和安全违规率。
预训练数据的采样权重会按质量、规模和中间 loss 手工调整，复现时需要大量数据清洗经验。
models/rdt_runner.py 默认仍把条件 encoder、动作 mask 和目标 embodiment 的具体适配留给上层脚本，仓库并非下载后即可在任意机器人上零配置运行。

8. 启发与研究思考

统一空间应优先保留物理语义。 跨机器人学习不一定要寻找“完全不变”的 latent；把可解释的物理量放在固定槽位，可能比强行压缩成共享 embedding 更容易诊断和迁移。
Diffusion 的价值在双臂场景尤其明显。 当左右手分工、接触顺序和抓取姿态都存在多峰时，连续分布建模比离散 token 或单点回归更自然。
大模型规模必须和数据对齐。 1.2B 参数本身不是贡献，真正关键的是 1M+ 跨机器人数据、目标双臂数据和统一动作格式共同支撑了 scaling。
下一步应研究 action-space 自动发现。 目前 128 维表是人工设计的；未来可以让数据统计、机器人 URDF 和控制接口共同生成带语义的 mask 与映射。
部署指标需要从成功率扩展到安全。 对真实双臂机器人，采样延迟、动作平滑度、碰撞率、恢复行为和人机协作安全同样重要。

Qwen-VLA 论文精读：统一跨任务、环境与机器人形态的 VLA

Tue, 25 Aug 2026 00:00:00 GMT

1. 论文概述

【Paper】《Qwen-VLA: Unifying Vision-Language-Action Modeling across Tasks, Environments, and Robot Embodiments》提出一个统一的 embodied foundation model。它建立在 Qwen3.5-4B vision-language backbone 上，外挂约 1.15B 参数的 DiT-based flow-matching action decoder，把 manipulation、vision-and-language navigation（VLN）、人类 egocentric motion 和 trajectory prediction 都视为“给定视觉、语言与 embodiment 条件，预测一段连续轨迹”。

【Code】 官方仓库目前主要提供 README、模型总览图和演示入口；没有公开训练脚本、DataLoader、模型实现或 checkpoint。因此下文的代码对照只引用 README 明确写出的架构、参数规模和评测数字，不把论文中的内部训练实现误写成开源代码行为。

【Paper】 论文报告的统一模型 Qwen-VLA-Instruct 同时取得：LIBERO 97.9%、Simpler-WidowX 73.7%、RoboTwin Easy/Hard 86.1%/87.2%、R2R OS 69.0%、RxR SR 59.6%；在真实 ALOHA 上平均 OOD 成功率 76.9%，在没有动态操作微调的 DOMINO 上 zero-shot SR 为 26.6%。

一句话总结

【Analysis】 Qwen-VLA 的关键不是给每个机器人再加一个 head，而是把“不同 embodiment 的控制语义”变成 prompt，把“不同动作格式”变成带 mask 的统一张量接口，再用渐进式训练先学会语言到动作的 decompression，最后用视觉和闭环 reward 补齐 grounding 与执行能力。

核心贡献

【Paper】

用 Qwen3.5-4B 与单一 DiT flow-matching action expert，统一 manipulation、VLN、egocentric action 和 trajectory-centric supervision。
用 embodiment-aware prompt 描述平台、单双臂、控制频率和 prediction horizon，使同一套权重跨机器人工作。
构建包含机器人轨迹、人类第一视角、合成仿真、导航和辅助 VL 数据的联合预训练配方。
提出 T2A → CPT → SFT → RL 的四阶段 recipe，缓解预训练 VLM 与随机初始化 action decoder 的优化不对称。
在仿真、真实 ALOHA、静态 OOD、动态 DOMINO 和 VLN 上验证单一 generalist 与 specialist 的比较关系。

2. 背景与相关工作

【Paper】 现有 embodied 模型通常按任务或平台拆分：操作策略输出末端位姿、关节或夹爪动作，导航策略输出 waypoint，人体数据则是手部/身体轨迹。它们在 action dimension、control frequency、horizon 和观测形式上都不同，导致每换一个平台就要重做输出头与训练管线。

【Analysis】 论文抓住了一个更底层的共同结构：智能体都要把语言 grounding 到视觉场景，再输出一段与物理约束相容的连续轨迹。Qwen-VLA 的统一性因此发生在“条件序列预测接口”层，而不是声称不同平台拥有相同的物理 action semantics。

3. 问题定义

【Paper】 在时刻 $t$，模型接收视觉上下文 $o_t$、任务指令 $x$、embodiment 描述 $e$ 和可选 task id $z$，预测 horizon $H$ 内的目标序列：

$$ p_\theta(y_{t:t+H-1}\mid o_t,x,e,z). $$

Input：单帧/多帧图像、视频窗口或历史观测，外加语言指令与 embodiment prompt。
Output：操作动作、VLN waypoint、人类 wrist/hand motion，或其他连续 trajectory。
Action interface：目标张量 $\mathbf{Y}\in\mathbb{R}^{H\times K}$。某种控制模式只占前 $c$ 个 channel，其余 $K-c$ 维 zero-padding，并由 mask $\mathbf M$ 排除梯度。
Robot / embodiment：论文覆盖单臂、双臂、带腰部/移动底盘的平台，以及 ALOHA、WidowX、GR1 等评测平台。
导航表示：每个 waypoint 使用 $(\Delta x,\Delta y,\Delta\theta)$。
人类 egocentric 表示：每只手 6 维相对 wrist SE(3)（平移 + axis-angle）和 10 维 eigengrasp，共 32 维/时刻。

【Analysis】 这一定义允许不同数据集保留原生控制约定；统一的是 tensor、mask 和条件方式，而不是把关节角、waypoint 与手部 PCA 系数强行解释成同一种物理量。

4. 方法

4.1 Overall Architecture

【Paper】 Qwen3.5 的视觉 token 与文本 token 在 backbone 内早期融合；DiT action expert 将 VLM hidden states 与 noisy action chunk 拼接，在 joint self-attention 中用 AdaLN 注入 timestep，再通过 flow matching 生成连续动作。数据流可概括为：images + embodiment prompt + instruction → Qwen3.5 hidden states → DiT denoising / Euler integration → action or trajectory chunk。

【Code】 README 明确给出 Qwen3.5-4B backbone、1.15B DiT decoder；仓库没有对应的 Python 模块可供逐文件核验。

4.2 核心模块

Vision-language backbone

【Paper】 Qwen3.5 是 natively multimodal VLM：ViT 产生的视觉 token 与文本流交错输入 Transformer。它负责 referential grounding、空间关系和多步指令理解；hybrid attention 让长上下文处理成本可控。

DiT flow-matching action expert

【Paper】 action expert 约 1.15B 参数，主体为 16 个 DiT block。输入是 VLM hidden states、带噪动作 chunk 与 timestep embedding；AdaLN 调制每个 block，multi-section RoPE 对齐 backbone 的序列分段。推理从噪声出发，用少量 Euler steps 积分到干净动作，因此输出的是一整段连续轨迹而非离散 token。

【Analysis】 DiT 的职责是“高频、连续、可能多模态的 motor generation”，VLM 的职责是“语义与视觉压缩”。解耦使 VLM 不必直接回归高维动作，也让 action decoder 可以在不改 backbone 的情况下适应不同控制 convention。

Embodiment-aware prompt conditioning

【Paper】 每条样本前置类似下面的文字：

The robot is {robot_tag} with {single arm / dual arms}[, waist][, and mobile base].
The control frequency is {FPS} Hz.
Please predict the next {chunk_size} control actions to execute the following task: {instruction}.

prompt 同时说明平台、臂配置、FPS 和 chunk size；VLN 样本则说明 waypoint convention。它是平台特定信息的唯一接口，不需要 per-platform output head。

Unified action tensor and masking

【Paper】 所有控制目标都整理成 $H\times K$ 张量。若某 embodiment 只有 $c$ 个有效 channel，则目标放在前 $c$ 维，其余位置补零；$M_{h,k}=1$ 只表示有效时间步和 channel。这样共享 DiT 的参数量不随平台数量线性增加，padding 也不会污染 loss。

4.3 关键公式

Flow matching

【Paper】 给定干净目标 $\mathbf Y_0$ 和噪声 $\mathbf Y_1\sim\mathcal N(0,I)$，采样 $\tau\in[0,1]$ 并构造：

$$ \mathbf Y_\tau=(1-\tau)\mathbf Y_0+\tau\mathbf Y_1. $$

模型 $v_\theta$ 预测速度场 $\mathbf Y_1-\mathbf Y_0$。对每个有效 channel 先在时间维做 MSE，再对 active channels 平均：

$$ \ell_k=\frac{\sum_h M_{h,k}\lVert v_\theta(\mathbf Y_\tau,\tau\mid o,x,e,z){h,k}-(\mathbf Y_1-\mathbf Y_0){h,k}\rVert_2^2}{\sum_h M_{h,k}}, \qquad \mathcal L_{act}=\mathbb E\left[\frac1c\sum_{k=0}^{c-1}\ell_k\right]. $$

这里 $M$ 防止 padding 主导梯度，$c$ 保证 7-DoF 和 29-DoF 平台的 channel 获得相近权重。推理时从 $\tau=1$ 的噪声向 $\tau=0$ 做少量 Euler integration。

联合 VL + action objective

【Paper】 辅助 VL 数据使用 next-token loss：

$$ \mathcal L_{vl}=-\sum_i\log p_\theta(w_i\mid w_{<i},o_{1:t}),\qquad \mathcal L=\lambda_{act}\mathcal L_{act}+\lambda_{vl}\mathcal L_{vl}. $$

VL loss 的作用不是生成动作，而是在重型 embodied co-training 中保持视觉理解、空间 grounding 和语言能力，降低 catastrophic forgetting。

4.4 Training

【Paper】 训练数据按比例混合：机器人操作 74.2%、人类 egocentric 6.0%、导航 7.5%、合成仿真 3.7%、通用 VL 3.4%、2D spatial grounding 2.5%、自动驾驶 VQA 2.4%、fine-grained action caption 0.2%。

四个阶段各自关闭一个优化缺口：

T2A：冻结 VLM，只训练 DiT；不给图像，先学习由语言和 embodiment prompt 决定的 action prior。
CPT：解冻 VLM 与 DiT，用异构视觉-动作数据把语言先验 grounding 到真实图像。
SFT：从 CPT 分出 multi-task 与 real-robot 两条分支，联合优化 VL token 和 action flow matching。
RL：从 multi-task SFT 出发，在 SimplerEnv 用 sparse binary success reward 做 PPO，得到 Qwen-VLA-Instruct。

【Paper】 SFT 中 VL next-token loss 权重为 0.1，manipulation 与 navigation action loss 权重为 1.0。RL 使用 GAE（$\gamma=0.99,\lambda=0.95$）、PPO clip $\epsilon=0.2$，value coefficient 为 1；每个 action chunk（默认 $H=16$）获得一个 advantage。

4.5 Inference

【Paper】 推理时给定当前图像、指令与 embodiment prompt，从高斯噪声动作 chunk 开始，执行若干 Euler steps 的 flow integration，输出 horizon 内的连续动作。操作任务使用动作 chunk，VLN 使用 sliding-window waypoint；评测时 RL 模型将采样 temperature 从 1.0 降到 0.6。

【Analysis】 与 autoregressive action token 不同，flow matching 没有直接的 softmax log-probability；论文为 PPO 将每个 Euler denoising transition 转成显式 Gaussian SDE，从而能计算 chunk-level log probability。

4.6 代码实现对照

【Code】 QwenLM/Qwen-VLA 的公开内容包括 README、assets/qwenvla_overview.png 和 demo 链接。README 明确确认：模型由 Qwen3.5-4B 与 1.15B DiT 组成，支持 manipulation、navigation 与 trajectory prediction，并给出 LIBERO、ALOHA、DOMINO 等结果。

【Code】 仓库没有公开 model.py、训练配置、数据加载、loss 或 inference 脚本，因此无法从代码确认论文中的 channel mask、PPO log-probability 或 checkpoint 目录结构。博客中这些细节均标为 【Paper】，而不是“官方代码实现”。

5. 实验

5.1 Experimental Setup

【Paper】 实验覆盖四类问题：

Manipulation：LIBERO、Simpler-WidowX、RoboCasa-GR1、RoboTwin 2.0，含单臂、双臂与 humanoid 平台。
Real-world：ALOHA 双臂、三路 RGB 相机；六类 in-domain 任务包括 pick-and-place、table cleaning、bowl stacking、bowl pick & place、towel folding、fine-grained manipulation。
Navigation：VLN-CE 的 R2R 与 RxR Val-Unseen。
OOD：SimplerEnv-OOD、DOMINO 动态操作，以及 ALOHA 的 color、instance、position、background、instruction shift。

5.2 Main Results

| Benchmark | Qwen-VLA-Base | Qwen-VLA-Instruct | | ------------------------- | ------------: | ----------------: | | LIBERO | 90.8 | 97.9 | | Simpler-WidowX | 64.3 | 73.7 | | RoboTwin Easy / Hard | 64.3 / 66.4 | 86.1 / 87.2 | | R2R OS / SR | 61.7 / 53.8 | 69.0 / 57.5 | | RxR SR / SPL | 55.1 / 45.8 | 59.6 / 47.8 | | SimplerEnv-OOD average SR | 25.3 | 32.0 | | DOMINO zero-shot SR / MS | 21.1 / 37.4 | 26.6 / 39.5 |

【Paper】 在真实 ALOHA，使用 Qwen-VLA-Base 预训练后再适配的模型平均 in-domain SR 为 83.6%，从头训练同架构模型只有 48.5%。五种 OOD 的平均 SR 为 76.9%，高于无预训练的 36.2% 和 $\pi_{0.5}$ 的 41.5%；其中 background 与 instruction generalization 分别为 80.8% 和 84.6%。

【Analysis】 这组对照把“架构收益”和“预训练收益”分开了：两种 ALOHA 模型架构相同，主要差异来自 Qwen-VLA-Base 的跨任务初始化，而非简单增加参数。

5.3 Ablation Study

【Paper】 T2A 的最佳设置是 20% synthetic + 80% real（且 real 不看图像），SFT success 达到 71.1%；完全 real 只有 51.0%，完全 synthetic 为 64.0% 左右。T2A 使用 Sig-Norm timestep 分布时比 Beta 分布更好，且训练过久（约 40× data passes）会从稳定区间跌落。

【Paper】 混入 VL 数据在 LIBERO、Simpler 上几乎不损害动作性能，但在需要细粒度识别与组合指令的 RoboCasa-GR1 上提升 4.9 个百分点（51.1 → 56.0），RoboTwin 2.0 提升 4.6 个百分点（81.8 → 86.4）。预训练 DiT 相比随机初始化收敛更快且峰值更高。

【Paper】 projection ablation 中 Multi-MLP、Concatenation 与 Zero-Padding 的性能差异小于 1.2 个百分点；Zero-Padding 参数更省，因此作为默认方案。RL 的累积消融显示，CPT → SFT → RL 在 Simpler 上为 64.3 → 70.8 → 73.7，在 DOMINO SR 上为 21.1 → 25.7 → 26.6；RL 没有破坏未参与 rollout 的 benchmark。

5.4 Generalization

【Paper】 DOMINO 包含 35 个动态操作 suite。Qwen-VLA-Instruct 在 zero-shot 条件下 SR 26.6%、MS 39.5，超过需要动态数据微调的 PUMA（SR 17.2%）以及 LingBot-VA（SR 24.1%）。模型只看 current-frame observation，没有使用 DOMINO 专门的动态操作训练。

【Analysis】 这不是“模型理解了完整世界动力学”的证据；更谨慎的解释是，跨数据源的 spatial grounding、连续 action prior 与 action chunking 共同提供了可迁移的 spatial-to-kinematic prior。

6. 方法分析

6.1 为什么有效？

【Analysis】 有三层原因：

语义压缩 → 动作解压缩：T2A 先让 DiT 学会“语言/平台描述对应什么动作分布”，CPT 才需要学习视觉 grounding。
连续生成与离散理解分工：VLM 负责“看懂和说清楚”，flow-matching DiT 负责高维连续控制，避免把动作粗暴离散化。
数据互补：机器人轨迹提供可执行信号，人类视频提供开放世界 manipulation prior，VL/VLN 数据补充空间语言与长时程导航。

6.2 核心创新

【Paper】 真正的新意是把 embodiment prompt、masked unified action tensor 和 progressive recipe 组合成一个跨任务接口。单独看 DiT、flow matching 或 prompt conditioning 都不是首次出现；论文的贡献在于证明它们能在一个 generalist 中协同工作。

6.3 与已有方法的本质区别

| 维度 | Specialist VLA | Qwen-VLA | | -------- | -------------------------------- | -------------------------------------- | | 输出头 | 每个平台/benchmark 常有独立 head | 一个 DiT，通过 prompt + mask 适配 | | 训练 | 单任务 imitation 或窄域微调 | T2A、CPT、SFT、RL 四阶段 | | 数据 | 机器人轨迹为主 | 机器人、人类、仿真、VLN、VL 混合 | | 泛化目标 | 同一平台内变化 | 任务、环境和 robot embodiment 同时变化 |

6.4 关键假设

【Paper】 方法依赖以下假设：控制信号可以整理为固定 $H\times K$ 张量；平台差异足以由自然语言 prompt 表达；不同数据集的动作可通过归一化与 mask 共享 DiT latent space；少量 Euler steps 足以在实时约束下恢复动作 chunk。

【Analysis】 这些假设在论文评测的平台范围内成立，但并不自动覆盖接触力、柔顺控制、异步传感器或强闭环状态估计。prompt 是接口，不是动力学模型；如果两个平台的同一文字描述仍对应完全不同的安全约束，单靠 prompt 可能不够。

7. 局限性

7.1 作者明确提出的局限

【Paper】 论文将统一 formulation 的后续方向指向 episodic memory / persistent state，以及动作与未来视觉状态的 co-prediction；这说明当前版本并未完整解决长时程记忆、failure recovery 或 world modeling。

【Paper】 RL rollout 主要来自 SimplerEnv，真实机器人分支是单独的 ALOHA 适配；因此论文并没有证明“一次训练后无需任何真实数据即可部署到所有真实 embodiment”。

7.2 自己分析得到的局限

【Analysis】 官方仓库没有公开训练代码、数据配方实现或 checkpoint，社区难以复现实验、审计采样比例，也无法验证论文中 PPO 的 flow-matching log-probability 工程细节。

【Analysis】 DOMINO zero-shot SR 虽高于基线，但绝对成功率仍为 26.6%；“能跨域”与“能稳定完成动态任务”之间还有明显距离。另一个风险是 $K$ 取决于最大 action dimension，padding 与 per-channel averaging 在加入更多形态后可能增加无效计算。

8. 启发与研究思考

【Analysis】 Qwen-VLA 给出的重要研究路线不是继续堆更大的 action head，而是把 embodied learning 拆成可验证的接口：

用文本明确写出 embodiment、频率和 horizon，让跨平台迁移首先成为条件建模问题。
用 T2A 等预训练把 action decoder 的“生成先验”与视觉 grounding 解耦，减少随机 decoder 破坏 VLM 的风险。
在保留 VL loss 的同时加入动作监督，避免为了控制能力牺牲空间语言能力。
将 RL 的粒度对齐到 action chunk，而不是把连续 denoising 误当作 token policy。

【Analysis】 后续值得验证的问题包括：prompt 是否能表达安全约束与力控语义；统一 DiT 是否能处理跨频率、异步多相机和触觉；memory/world-state 是否能把当前的 reactive policy 变成可恢复的长时程 agent；以及公开代码后，T2A 的数据构成和 RL transfer 是否能被独立复现。

π₀.₇ 论文精读：用多模态提示把机器人基础模型变成可操控的通才

Tue, 25 Aug 2026 00:00:00 GMT

1. 论文概述

论文名称：《π₀.₇: a Steerable Generalist Robotic Foundation Model with Emergent Capabilities》

作者：Physical Intelligence、Bo Ai、Ali Amin、Kevin Black、Danny Driess、Chelsea Finn、Karol Hausman、Sergey Levine、Karl Pertsch、Allen Z. Ren、Lucy Xiaoyang Shi、Marcel Torne、Quan Vuong、XuDong Wang、Charles Xu 等 88 位作者

机构：Physical Intelligence

论文链接：arXiv 2604.15483；项目主页

一句话总结

【Paper】 π₀.₇ 是一个约 5B 参数的 Vision-Language-Action（VLA）模型。它在 Gemma 3 4B VLM 与 860M flow-matching action expert 之上，把“做什么”和“怎么做”都写入 prompt：除了任务语言，还加入下一子任务、未来子目标图像、速度/质量/错误等 episode metadata，以及 joint/EE control mode。这样模型可以从多机器人示范、失败数据、自主 rollout、开源数据和人类视频中学习，并在未见环境、未见 embodiment 和组合任务上被直接提示或语言 coaching。

核心贡献

【Paper】

把 prompt 从一句任务描述扩展成多模态 context。 子任务文字表达语义阶段，subgoal images 表达“接下来世界应该长什么样”，metadata 表达轨迹质量、速度和错误模式。
提出一套能吸收混合质量数据的训练 recipe。 通过 metadata 把高质量轨迹、失败轨迹和自主数据中的不同模式区分开，而不是简单平均它们的动作。
在一个通才模型中获得 specialist-level dexterity。 论文报告 π₀.₇ 在 espresso、box building、laundry folding、切菜、削皮和换垃圾袋等任务上，可直接达到或接近任务专用 RL/SFT specialist 的性能。
展示多种 emergent capability。 包括 zero-shot cross-embodiment laundry transfer、复杂语言跟随、短时程组合泛化，以及只用语言 coaching 学会全新的长时程任务。
把 coaching 数据提升为高层策略。 低层动作无需重新 teleoperate；只需把人类逐步指令记录下来，训练 high-level policy 自动产生下一条 subtask instruction。

2. 背景与相关工作

【Paper】 机器人基础模型的困难不只是数据量不足，而是轨迹之间存在大量“模式差异”：不同机器人、相机和控制空间会改变动作；同一个任务也可能有快慢不同、质量不同、甚至失败的执行方式。若把这些轨迹只配一条粗粒度语言标签，行为克隆会倾向于把多种模式平均成一个不够好的动作。

【Paper】 π₀、π₀.５、π₀.６等前代模型已经证明预训练 VLM + flow/diffusion action expert 能够兼顾语义与连续动作。π₀.７延续这条架构路线，并吸收 π₀.６-MEM 的视频历史编码器、π₀.５的高层语义子任务，以及 goal-image conditioning 的研究。

【Analysis】 这篇工作和“再加一个更大的 VLM”不同。它的中心问题是：当数据的质量、策略和 embodiment 都不一致时，模型能否通过额外 context 选择正确的行为模式。换句话说，模型学习的不是单一平均 policy，而是一个可被 prompt steer 的 policy family。

3. 问题定义

【Paper】 在时间步 $t$，观测由多视角图像和本体状态组成：

$$ \mathbf{o}_t = [\mathbf{I}_t^1, \ldots, \mathbf{I}_t^n, \mathbf{q}_t], $$

其中 $\mathbf{I}_t^i$ 是相机图像，$\mathbf{q}_t$ 是关节或本体状态。策略接收最近 $T$ 个观测，并输出未来 $H$ 步动作 chunk：

$$ \mathbf{a}{t:t+H} \sim \pi\theta(\mathbf{a}{t:t+H}\mid \mathbf{o}{t-T:t}, \mathcal{C}_t). $$

这里的关键变量是 context：

Task instruction $\ell_t$：完整任务，例如 fold the shirt。
Subtask instruction $\hat{\ell}_t$：当前阶段，例如 grasp the left corner。
Subgoal images $\mathbf{g}_t$：每个相机对应的近未来目标图像。
Episode metadata $m$：速度 bin、质量评分、当前 segment 是否有 mistake。
Control mode $c$：joint 或 ee。

【Analysis】 与普通 VLA 的差别可写成：普通模型近似 $\pi(a\mid o,\ell)$，而 π₀.₇ 学习的是 $\pi(a\mid o,\ell,\hat{\ell},g,m,c)$，并在训练时随机丢弃其中部分条件，使同一个 checkpoint 能在不同信息预算下运行。

4. 方法

4.1 Overall Architecture

【Paper】 π₀.₇ 由约 4B 参数 VLM backbone、MEM-style history vision encoder 和 860M 参数 flow-matching action expert 组成，总规模约 5B。运行时，high-level policy 生成子任务文字，BAGEL 初始化的 lightweight world model 生成 subgoal images，低层 VLA 再根据最新观测和 context 输出 50-step action chunk。

【Analysis】 信息流的核心是“语义、视觉目标、本体状态先进入 VLM；连续动作由 action expert 读取 VLM activation 后生成”。因此新增的 context 不需要改变 action space，而是改变 action expert 所看到的条件分布。

4.2 核心模块

多视角历史视觉编码器

【Paper】 模型最多接收 front、左右 wrist 和可选 rear 四路相机，每路最多六帧历史。历史帧以 1 秒 stride 采样，经 temporal/spatial compression 后被压缩成与单帧相近数量的 token；历史整体以 0.3 概率 dropout，rear view 也以 0.3 概率 dropout。图像和 subgoal 统一 resize 到 $448\times448$，proprioception 则用线性投影映射到 backbone 维度，每个历史状态是一个 token。

Subtask instruction

【Paper】 高层文字把长任务拆成当前语义阶段。它可以来自 high-level language policy，也可以来自 human coach，还可以被省略。由于模型训练时见过不断变化的子任务文字，它能够在未见任务中按步骤接受“先拿起甜薯，再打开空气炸锅”式指令。

Subgoal image 与 world model

【Paper】 subgoal image 描绘当前动作成功后不久的场景状态。多视角目标同时约束环境/物体和机械臂/夹爪，弥补“open the fridge door”没有说明抓取位置的问题。目标由一个以 BAGEL 14B 初始化的 world model 生成；该模型使用机器人片段、egocentric human video、web image/video 数据训练，目标是把非机器人数据中的语义和物理先验转移给 π₀.₇。

Episode metadata

【Paper】 metadata 包含三类主要信号：将 episode 长度按 500 steps 分箱的 overall speed；1–5 的 overall quality；以及当前 action segment 是否发生 mistake。训练中这些字段由速度计算或人工粗标。推理时通常把 quality 设为 5、mistake 设为 false、speed 设为该任务 episode length 的第 15 百分位，从而请求“快、质量高、无错误”的模式。

Flow-matching action expert

【Paper】 action expert 是 860M 参数 transformer，使用 adaptive RMSNorm 注入 flow timestep，固定处理 50 个 action tokens，对应 50 步 action chunk。50 个 action token 彼此双向注意，并读取 VLM backbone activations；训练目标是 continuous action 的 flow matching，而不是把动作离散成文本 token。

Prompt dropout 与控制模式

【Paper】 每个 prompt 组成在训练时独立 dropout：subgoal image 只出现在 25% batch 样本中；有 subgoal 时，subtask text 以 30% 概率丢弃；metadata 整体以 15% 概率丢弃，speed、quality、mistake 还各自以 5% 概率丢弃；control mode 不丢弃。这让测试时可以只用语言，也可以组合语言、目标图像和 metadata。

4.3 关键公式

VLA 目标

$$ \max_\theta;\mathbb{E}{\mathcal{D}} \left[\log \pi\theta(\mathbf{a}{t:t+H} \mid \mathbf{o}{t-T:t},\mathcal{C}_t)\right]. $$

【Paper】 $\mathcal{D}$ 是混合来源轨迹，$\mathcal{C}_t$ 是完整 context。严格地说，flow-matching action expert 优化的是 log-likelihood 的近似下界；公式表达的重点是动作必须依赖观测和可操控的 context，而不是只依赖粗任务名。

World model 目标

$$ \max_\psi;\mathbb{E}_{\mathcal{D}g} \left[\mathcal{L}{\mathrm{CFM}}\big(\mathbf{g}^{\star}t, g\psi(\mathbf{o}_t,\hat{\ell}_t,m)\big)\right]. $$

【Paper】 $\mathbf{g}^{\star}t$ 是 segment 末端的真实未来图像，$g\psi$ 根据当前观测、子任务和 metadata 生成目标，$\mathcal{L}_{\mathrm{CFM}}$ 是 flow matching loss。world model 的作用不是直接输出动作，而是生成更容易被低层 policy 使用的视觉中间目标。

Classifier-free guidance

$$ \nabla_a\log\pi_\theta(a\mid o,C_t) +\beta\left(\nabla_a\log\pi_\theta(a\mid o,C_t) -\nabla_a\log\pi_\theta(a\mid o,C_t^{\mathrm{uncond}})\right). $$

【Paper】 $C_t^{\mathrm{uncond}}$ 是去掉指定条件的 prompt，$\beta\in{1.3,1.7,2.2}$ 是 guidance weight。论文主要用 metadata CFG 来偏向高质量、高灵巧行为；这相当于在同一个 policy family 中选择更合适的 mode。

4.4 Training

【Paper】 训练数据包括多机器人 demonstration、policy evaluation 的 autonomous rollouts、人类 intervention、开源 robot dataset、egocentric human video，以及 web 上的定位、属性预测、VQA、文本和 video captioning 数据。作者明确排除 generalization evaluation 任务产生的 autonomous data，避免把测试任务泄漏回训练集。

【Paper】 一个重要 recipe 是保留 failure 和 suboptimal trajectories。metadata 让模型知道这些轨迹“快不快、质量高不高、这段是否出错”，因此它可以在训练时吸收状态覆盖和策略多样性，在推理时请求高质量模式。训练同时模拟 0–12 timesteps 的延迟，对应 50 Hz 机器人最多约 240 ms inference latency，并采用 training-time Real-Time Chunking（RTC）。

4.5 Inference

【Paper】 推理时每个任务至少提供 control mode 和 metadata。subtask instruction 来自 high-level policy 或人工 coach；若启用 goal conditioning，world model 在子任务变化或每 4 秒刷新一次多视角 subgoal。world model 和 VLA 在独立线程异步运行，低层策略始终使用当前可用的最新目标。

每次 VLA inference 生成 50-step action chunk，实际执行其中 $\hat H\in{15,25}$ 步；使用 5 个 denoising steps。最小 π₀.₇ 变体在单张 H100 上约 38 ms，启用 MEM 历史和 subgoal 后最坏约 127 ms；world model 用 4 张 H100、25 denoising steps 约 1.25 s，并异步生成。

4.6 代码实现对照

【Code】 截至本文写作，论文和 Physical Intelligence 项目页没有公开 π₀.₇ 的官方 GitHub 代码、训练配置或 checkpoint；公开的是项目介绍和实验视频。因此无法对 model definition、DataLoader、optimizer、checkpoint 或真实 inference implementation 做逐文件核对。

【Paper】 可以核对的实现级细节仅来自论文：Gemma3 4B backbone、860M action expert、50 action tokens、5 denoising steps、0–12 timestep RTC delay、subgoal 每 4 秒刷新，以及 H100 上的延迟测量。不要把前代 openpi 代码当作 π₀.₇ 的实现；两者的 prompt、MEM、world model 和数据配方并不等价。

5. 实验

5.1 Experimental Setup

【Paper】 评测覆盖双臂移动机器人、轻量静态双臂 BiPi、双臂 UR5e 和单臂 6 DoF 机器人。大多数机器人以 50 Hz 运行，UR5e 以 20 Hz 运行；每台机器人有 front camera 和左右 wrist cameras，移动平台额外有 rear camera。输出通过简单 PD controller 执行，EE action 需要数值 inverse kinematics 转成 joint target。

【Paper】 实验分为四类：out-of-the-box dexterity、novel-environment instruction following、zero-shot cross-embodiment transfer，以及 compositional task generalization；最后用 mixed-quality 和 task-diversity ablation 分析数据与 context 的交互。

5.2 Main Results

【Paper】 在 espresso、box building、T-shirt/shorts folding、peanut-butter sandwich、shirt inside-out、切 zucchini、削果蔬和换垃圾袋等任务上，同一个 π₀.₇ checkpoint 直接运行即可接近或超过任务专用 RL/SFT specialist。对于 diverse laundry 和 box building，论文还报告 π₀.₇ 的 throughput 高于 RL specialist。

【Paper】 在 14 个 instruction-following 场景中，测试环境包括 4 个未见 kitchen 和 2 个未见 bedroom，每个场景需要完成 3–6 步开放式指令。π₀.₇ 相比 π₀.５与 π₀.６在复杂 referential instruction 和违反数据集偏置的 Reverse Bussing、Reverse Fridge-to-Microwave 上有明显提升；生成 subgoal images 对后者尤其关键。

5.3 Ablation Study

【Paper】 对照 π₀.₇ (no metadata) 和 π₀.₇ (no eval data) 的结果显示：metadata 和 autonomous evaluation data 都重要，尤其影响 throughput。没有 metadata 时，模型难以区分 specialist rollout、失败片段和一般示范，加入更多混合质量数据反而可能退化。

【Paper】 在 laundry 数据上，作者按质量/速度保留 top 30%、50%、80% 或全部数据，并分别训练带/不带 metadata 的模型。带 metadata 的模型随着数据增多持续提升，即使平均质量下降；不带 metadata 的模型则可能下降。在 task-diversity ablation 中，移除最具任务多样性的 20% 数据比随机移除 20% 更差，说明多样性本身被转化成了未见任务的泛化能力。

5.4 Generalization

【Paper】 训练数据没有包含双臂 UR5e 的 laundry folding，但 π₀.₇ 能在 UR5e 上折叠 T-shirt 和 towel。10 位有平均 375 小时 teleoperation 经验的专家首次操作该 embodiment 时，human 的 task progress 为 90.9%、success rate 为 80.6%；π₀.₇ 为 85.6% 和 80%，接近专家水平。策略没有机械复制源机器人动作，而是学会针对 UR5e 的形态和工作空间改变抓取策略。

【Paper】 对组合泛化，π₀.₇ 能直接完成按压 french press、把米舀入 rice cooker、用布擦耳机/尺子、旋转风扇和齿轮等短时程新任务。对于最多约 5 分钟的 air fryer、unloading air fryer 和 toasting bagel，它先由人类语言逐步 coaching，再用 coaching episode 训练 high-level policy；五个任务的 autonomous policy 表现大致匹配 live coaching，而不需要新增低层 teleoperation action data。

6. 方法分析

6.1 为什么有效？

【Analysis】 第一，metadata 把“同一任务的多种行为模式”变成可条件化的监督信号。模型不必把快而稳的动作和慢而错的动作平均，而是可以在推理时请求 quality=5、mistake=false 的模式。

【Analysis】 第二，subgoal image 把语言难以表达的几何约束变成视觉条件。对“打开门”“折叠衣服”这类动作，目标图像同时约束物体状态和夹爪状态，使 action expert 更接近 inverse dynamics。

【Analysis】 第三，多样数据的价值被 context 解锁。人类视频带来物理先验，自主失败带来状态覆盖，RL specialist rollout 带来高性能片段；prompt 负责告诉模型这些片段应如何解释。

6.2 核心创新

【Paper】 论文最重要的创新是 diverse context conditioning，而非新的 transformer block。它把 prompt expansion 的思想从图像生成迁移到机器人控制，并把文本、图像和质量 metadata 统一放进 policy context。

【Analysis】 更准确地说，π₀.₇ 的贡献是训练接口和数据配方的创新：它让一个 VLA 学习“可组合的行为条件”，再通过 CFG、coaching 和 high-level policy 将这些条件暴露给用户。

6.3 与已有方法的本质区别

| 维度 | 传统 VLA | π₀.₇ | | ------------- | -------------------------- | --------------------------------------------------- | | Prompt | 通常只有任务语言 | 任务、子任务、subgoal image、metadata、control mode | | 数据 | 偏好过滤后的高质量示范 | 示范、失败、自主 rollout、人类视频和 web 数据 | | 多模态目标 | 主要是当前观测 | 当前观测 + 未来近状态图像 | | 新任务 | 常需动作数据或 fine-tuning | 短任务直接 prompt，长任务可 language coaching | | 跨 embodiment | 依赖对齐或专门数据 | 通过多形态训练和目标图像产生 zero-shot transfer |

【Analysis】 因而它不是“更大的单一 policy”，而是一个可以通过 context 选择子策略的 policy family。

6.4 关键假设

【Paper】 方法隐含了几个关键假设：episode quality、speed 和 mistake 可以被可靠标注；未来图像足以表达当前动作的局部目标；不同 embodiment 的数据共享可迁移的视觉和操作概念；大规模数据中的技能能够被模型重新组合。

【Analysis】 这些假设对数据工程要求很高。metadata 若粗糙或不一致，模型可能学到错误的 shortcut；world model 若产生不真实的目标，视觉条件反而会误导 action expert；控制 mode 也不能解决所有动力学和夹爪差异。

7. 局限性

7.1 作者明确提出的局限

【Paper】 π₀.₇ 在 zero-shot unseen task 或 unseen task-robot combination 上的成功率通常为 60–80%，低于 in-distribution 任务超过 90% 的成功率。作者建议未来利用它的 steerability，通过更详细 language coaching 或 autonomous RL 高效适应测试任务。

【Paper】 由于训练集极其多样，严格判断一个评测任务是否 truly unseen 很困难。相关技能可能以不同标签、不同场景或另一个任务的子步骤出现在训练数据中，因此论文把结果称为 compositional generalization 的强迹象，而不是绝对的数据隔离证明。

7.2 自己分析得到的局限

【Analysis】 第一，world model 推理成本很高：4×H100、约 1.25 秒一次目标生成，意味着部署需要异步缓存和昂贵硬件。第二，5B VLA 加 14B world model 的系统复杂度远高于单模型 policy，复现门槛也被公开代码缺失进一步提高。

【Analysis】 第三，quality=5、mistake=false 这类测试 prompt 是人工选择的目标模式，不等于模型真的理解了任务质量；不同任务的“最快可行速度”也未必由第 15 百分位 episode length 充分描述。第四，论文没有公开完整数据规模、采样权重和训练超参，因此很难判断性能增益来自 context 机制、数据量，还是两者的共同作用。

8. 启发与研究思考

【Analysis】 π₀.₇ 给 VLA 研究的启发，是把“数据清洗”重新表述为“数据可条件化”。如果每条轨迹都携带策略、质量、阶段和目标状态的上下文，失败数据不再只是噪声，而可能成为覆盖状态空间和学习错误恢复的资源。

【Analysis】 对实际系统而言，最值得借鉴的是三层接口：低层 action expert 负责连续控制，中层 subgoal image/world model 负责把语义变成可执行目标，高层 policy 或人类负责产生子任务。这样的分层允许用语言 coaching 替代昂贵的逐步 teleoperation。

【Analysis】 下一步值得研究的问题包括：如何自动且一致地标注 episode quality；如何校准 world model 的不确定性；能否用小型 latent goal model 取代 14B 图像生成器；以及如何用可验证的 task split 证明是真正的组合泛化，而不是训练数据中的隐式重混。

OneTwoVLA 论文精读：让 VLA 在必要时思考、其余时间行动

Tue, 25 Aug 2026 00:00:00 GMT

1. 论文概述

论文名称：《OneTwoVLA: A Unified Vision-Language-Action Model with Adaptive Reasoning》

作者：Fanqi Lin、Ruiqian Nai、Yingdong Hu、Jiacheng You、Junming Zhao、Yang Gao

会议：ICLR 2026

论文 / 代码 / 项目：arXiv · GitHub · Project Page

一句话总结

【Paper】 OneTwoVLA 是一个统一的 Vision-Language-Action（VLA）模型：它不把大模型规划器和低层控制器拆成两个系统，而是在同一模型内自适应选择输出文字推理或 action chunk；同时以 reasoning 标注的机器人数据和 16,000 条合成视觉语言数据共同训练。

核心贡献

【Paper】

提出统一的 Reasoning–Acting VLA，在每个决策点预测 [BOR] 或 [BOA]。
将轨迹划为 reasoning / acting interval，并以场景、计划、历史、下一步构造 embodied reasoning 标注。
构建“文本布局 → FLUX 图像 → Gemini 指令与推理”的数据流水线，合成 16,000 条样本。
在真实长程操作、失败恢复、人机交互与视觉 grounding 上验证；长程任务平均成功率为 87%，VL co-training 后开放世界 grounding 为 73%。

2. 背景与相关工作

【Paper】 Dual-system 方案通常让 VLM/LLM 做慢速高层计划、让 VLA 做低层执行。但规划器未必理解动作 policy 的能力边界，且外部大模型的时延可能使建议过期。Flat VLA 则直接图像/语言到动作，实时却缺少任务进度、失败原因和下一步的显式表征。

【Paper】 本文不主张每个控制周期都 Chain-of-Thought，而是学习何时更新认知状态：在完成子任务、发现失败或发生人机交互等关键时刻 Reason，其他时间复用最新 reasoning 来 Act。

【Analysis】 关键不在于展示一段可读文字，而在于让文字 $R$ 成为后续动作条件的一部分。它提供闭环重规划接口，又避免把昂贵的自回归文本生成塞进每一帧控制。

3. 问题定义

【Paper】 时间 $t$ 的输入为多相机观测 $I_t^{1:n}$、上次 reasoning 时保存的参考图像 $I_{ref}^{1:n}$、语言指令 $\ell$、最近 reasoning content $R$；行动时还输入本体状态 $s_t$：

$$ \hat R \sim \pi_\theta(\cdot \mid I_t^{1:n}, I_{ref}^{1:n}, \ell, R), \qquad A_t \sim \pi_\theta(\cdot \mid I_t^{1:n}, I_{ref}^{1:n}, \ell, R, s_t). $$

$\hat R$ 是更新后的自然语言状态，$A_t$ 是连续 action chunk。$I_{ref}$ 让模型能比较“计划建立时”与“当前”的视觉状态，避免仅靠当前图像或文字摘要而产生歧义。

【Paper】 主实验使用带平行夹爪与鱼眼 GoPro 的单臂 7-DoF Franka；泛化规划另用双 6-DoF ARX 平台和三路相机。动作 expert 基于 $\pi_0$，输出连续动作。

4. 方法

4.1 Overall Architecture

【Paper】 OneTwoVLA 以 $\pi_0$ 为基座：视觉语言模型自回归地产生 decision / reasoning token，Action Expert 用 flow matching 建模连续动作。两条路径共享视觉、指令、reference 与 reasoning 上下文。

4.2 核心模块

自适应决策 token

【Paper】 [BOR]（Beginning of Reasoning）触发文本生成，直到 [EOS]；[BOA]（Beginning of Action）触发 action chunk。论文的假设是大部分执行时间应为 Act，因此只在少数关键点产生语言推理。

【Code】 src/openpi/models/pi0_fuse.py 的 prefill() 将 next-token logit 限制在 BEGIN_OF_ACTION、BEGIN_OF_REASONING 两个候选，再以 argmax 或采样决定模式。这证实触发器由模型学习，而不是测试时的外部固定规则。

四段式 embodied reasoning

【Paper】 每次 reasoning 含四个字段：任务相关物体位置的 Scene description、子任务序列的 High-level plan、已完成步骤的 Historical summary、以及眼下动作的 Next step。人类问题/回答会追加到 $\ell$；失败时 reasoning 输出诸如“后撤、对齐、再次抓取”的恢复意图。

Reference image 与 Action Expert

【Paper】 Reason 后将 $I_{ref}\leftarrow I_t$，使“最新文本状态 + 建立状态时的视觉锚点”共同表示 history。动作端继承 $\pi_0$ action expert，以 flow matching 处理复杂连续动作分布；文字端使用 cross-entropy。

4.3 关键公式

决策可写成：

$$ d_t = \arg\max_{d \in {[BOR],[BOA]}} p_\theta(d \mid I_t^{1:n}, I_{ref}^{1:n}, \ell, R). $$

【Paper】 动作端继承 $\pi_0$ 的 flow matching。其常见目标为：

$$ \mathcal L_{\mathrm{FM}} = \mathbb E_{t,x_0,x_1}\left[|v_\theta(x_t, c, t) - (x_1-x_0)|_2^2\right], $$

其中 $x_0$ 为噪声、$x_1$ 为真实 action chunk、$x_t$ 为插值状态，$c$ 汇集观测、语言、reasoning 与状态。论文主体没有给出具体噪声调度及 chunk 长度，应以基座 $\pi_0$ 实现为准。

4.4 Training

【Paper】 对每条专家示教，作者先定义 $K$ 个有序子任务，再均匀抽取 $N=32$ 帧，调用 Gemini 2.5 找出各子任务完成后的 $K+1$ 个 reasoning interval。每个 interval 的中点图像生成 scene description，结合计划 $P$、已完成子序列 $H_j=(p_1,\ldots,p_j)$ 与下一步 $X_j=p_{j+1}$，构成监督目标。

【Paper】 当已有 reasoning 已过期时监督 [BOR]；更新后监督 [BOA]；acting interval 始终监督 [BOA]。由此，“应该思考”来自数据而非固定频率。

【Code】 训练入口为 scripts/train.py；train_scripts/train_onetwovla_cocktail.sh 通过 --reasoning_json_path 传入标注。脚本按 GPU 数设定总 batch（单卡训练 batch 为 20），并提示先单卡运行 scripts/compute_norm_stats.py 计算归一化统计。

【Code】 src/openpi/policies/umi_dataset.py 默认 pred_reasoning_prob = 0.7，会从 reasoning、过期 reasoning、人类回答/干预等分支构造不同 thought 输入输出；配置也默认启用 use_reference_image、use_outdated_reasoning。代码的训练状态覆盖比论文两模式摘要更细。

4.5 Inference

【Paper】 Figure 2 的 Tomato-Egg 计时显示 OneTwoVLA 总耗时接近 flat VLA，而固定间隔“持续 reasoning”的 dual-system 显著更慢。不过，单次 Reason 仍会造成约 2–3 秒暂停。

4.6 代码实现对照

| 论文概念 | 官方实现位置 | 可核对的行为 | | ------------------ | ---------------------------------------- | ---------------------------------------------------------------- | | Reason / Act 选择 | src/openpi/models/pi0_fuse.py::prefill | 仅在 BEGIN_OF_ACTION、BEGIN_OF_REASONING 两个 token 间选择。 | | 文本推理解码 | pi0_fuse.py::reason | 复用 prefix KV cache，最多解码 256 token，遇 EOS 停止。 | | 推理增强的数据采样 | src/openpi/policies/umi_dataset.py | 读取 reasoning JSON，构造旧/新 thought、干预和回答样本。 | | 训练配方 | train_scripts/train_onetwovla_*.sh | 提供 Cocktail 与 visual grounding 的 OneTwoVLA / π0 对照脚本。 | | 合成图像域增强 | scripts/augment_vl_data/augment.py | README 明确提供鱼眼畸变、机械爪合成与自适应亮度。 |

【Analysis】 仓库公开了核心模型、Cocktail 和 open-world grounding 的数据/脚本，但 README 没有列出 Hotpot、Tomato-Egg 全量复现实验资源。复现时需区分“方法实现开源”和“全部数字可直接复跑”。

5. 实验

5.1 Experimental Setup

【Paper】 长程任务包括 Tomato-Egg、Hotpot、Cocktail：它们涉及倒油、抓取滤网、翻炒/盛盘或从近十种外观相似材料中倒入 3–4 种。物体初始位置在 $10\times10,\mathrm{cm}^2$ 内随机化。

【Paper】 baseline 是同数据微调的 $\pi_0$，以及由 Gemini 2.5 Pro 定期产生原子命令、$\pi_0$ 执行命令的 dual-system；每项长程与泛化规划任务均有 20 次 trial。Open-World grounding 包含 16 个场景、933 条有效 UMI 示教、180 种家庭物体，并在 8 个未见环境测试。

5.2 Main Results

【Paper】 长程任务中，$\pi_0$ / Dual-System / OneTwoVLA 的平均成功率为 50% / 63% / 87%。OneTwoVLA 在 Tomato-Egg、Hotpot、Cocktail 分别为 85%、80%、95%，比 $\pi_0$ 高 30 个百分点、比 dual-system 高 24 个百分点。

【Paper】 泛化规划中，加入合成 VL co-training 的 OneTwoVLA-VL 平均为 70%；纯 OneTwoVLA 为 10%，$\pi_0$ 为 6%。任务包括“给我冰可乐”（开冰箱寻找不可见物体）、“空盘子”（先移开水果）和根据“让我清醒”准备咖啡。这表明统一 Reason/Act 不会自动带来开放任务知识，数据覆盖仍是关键变量。

【Paper】 失败恢复中 OneTwoVLA 成功 8/10（80.0%），$\pi_0$ 为 8/14（57.1%），Dual-System 为 7/12（58.3%）。人机交互的子任务级评测中，OneTwoVLA 为 20/20（100%），Dual-System 为 13/20（65%）；20 个未见交互情境中 OneTwoVLA-VL 为 72.5%。

5.3 Ablation Study

【Paper】 论文未提供逐模块移除的完整 ablation table，因此不能把这些对照误写成严格的因果消融。它给出的关键比较是：

| 对照 | 隔离出的因素 | 观察 | | ------------------------- | ----------------------------------------------------------- | --------------------------------------------------- | | $\pi_0$ vs OneTwoVLA | 显式 reasoning、reference/history、adaptive decision 的组合 | 长程 50% → 87%；Single-Env grounding 5% → 78%。 | | OneTwoVLA vs OneTwoVLA-VL | 16,000 synthetic VL co-training | 泛化规划 10% → 70%；Open-World grounding 8% → 73%。 | | OneTwoVLA vs Dual-System | 统一自适应模型 vs 固定间隔外部规划 | 长程 87% vs 63%，后者更受能力错配与时延影响。 |

【Analysis】 这些实验支持设计组合有效，但未量化 reference image、四段 reasoning、[BOR]/[BOA] 及各合成增强的独立边际贡献；这是最值得补齐的后续实验。

5.4 Generalization

【Paper】 Single-Env grounding 中，$\pi_0$ / OneTwoVLA / OneTwoVLA-VL 分别为 5% / 78% / 88%；Open-World 中为 3% / 8% / 73%。指令可通过空间关系、属性或语义特征引用物体，而非只报物名。候选物体涵盖 robot data 见过、只在 VL data 见过、两个训练集均未见三类。

【Paper】 合成数据流水线为：Gemini 2.5 Pro 生成桌面布局文字，FLUX.1-dev 生成图像，随机加入鱼眼畸变或机械爪与亮度合成，最后由 Gemini 生成指令和 reasoning。它试图将预训练 VLM 中的语义知识经数据 co-training 接入动作 policy。

6. 方法分析

6.1 为什么有效？

【Analysis】 OneTwoVLA 把时序责任拆开：连续控制层跟随相对稳定的“下一步”，reasoning 层在事件边界修订全局状态。动作 policy 不再同时承担进度记忆、异常解释、新对话解析和高精度轨迹的所有压力。

【Analysis】 reference image 是小而关键的设计。文本说“糖浆已倒入”但不一定说明当前物体位置；当前帧也未必显示之前发生了什么。图像锚点加文本摘要提供一种轻量的视觉历史比较。

6.2 核心创新

【Analysis】 本文真正的创新是一个闭环接口组合：可学习的 mode switch、可被动作消费的 reasoning state、视觉 reference、连续 action expert，以及针对这些接口的训练标注。它们同处一个模型，减少外部 API 串联时的语义断裂。

6.3 与已有方法的本质区别

| 路线 | Reason 与 Act 的关系 | 主要代价 | | ----------- | ----------------------------------- | ----------------------------------- | | Flat VLA | 图像/语言直接到动作，无显式推理状态 | 长程进度、异常解释与开放语义较弱。 | | Dual-system | 外部 VLM 规划、独立 VLA 执行 | latency，且规划不一定可执行。 | | 每步 CoT | 每个控制周期先文字再行动 | 推理频繁，实时性差。 | | OneTwoVLA | 同模型稀疏选择 Reason 或 Act | Reason 仍需暂停，触发质量依赖标注。 |

6.4 关键假设

【Analysis】 方法假设关键 reasoning 时刻能通过子任务边界可靠标注、文字足以概括低层执行需要的隐状态、预训练 VLM 知识可经合成 VL 数据安全迁移。若视觉误判但模型自信地产生错误计划，统一模型会把该错误状态一致传给动作端。

7. 局限性

7.1 作者明确提出的局限

【Paper】

推理时刻依赖人工选择的 heuristic；作者认为 RL 可能学习到更优策略。
Reason 时机器人暂停约 2–3 秒，未来可用 asynchronous architecture 并行推理和行动。
没有专门优化 action inference；模型变大后动作时延可能成为瓶颈。
只研究高质量合成 VL 数据，未系统比较数据来源。

7.2 自己分析得到的局限

【Analysis】 成功率来自有限试验和作者构建的数据分布，不能直接等同于开放家庭环境的长期可靠性。公开实现也未覆盖论文全部 benchmark 的完整复现资源，外部研究者难以评估每组数字的方差和采集成本。

【Analysis】 可读 reasoning 不必然是 action 的忠实因果解释。需要文本替换、reference image 遮蔽、强制决策 token 等干预测试，才能验证它是可控的内部状态还是相关性文本。

8. 启发与研究思考

【Analysis】 对具身模型，test-time reasoning 的价值或许不在更长 CoT，而在事件驱动、可持久、可被执行模块消费的状态更新。可将 [BOR] 视为有计算成本的 option-selection：只有预期纠错/重规划收益超过等待成本才思考。

【Analysis】 下一步可探索 asynchronous 双速率系统：低层 action chunk 连续滚动，后台生成 candidate reasoning，在风险或价值模型判定必要时切换；也可把四段文字收敛为可验证的对象、关系、进度和不确定性状态，保留自然语言用于人机沟通。

MolmoAct 论文精读：空间推理 Action Reasoning Model

Tue, 25 Aug 2026 00:00:00 GMT

1. 论文概述

论文名称：《MolmoAct: Action Reasoning Models that can Reason in Space》

作者：Jason Lee 等（Allen Institute for AI、University of Washington）

论文链接：arXiv · 代码：allenai/MolmoAct · 项目介绍：Ai2 Blog

一句话总结

【Paper】 MolmoAct 把 VLA 的隐式“看图就出动作”改成显式的三段式推理：从 RGB 估计离散深度、画出末端执行器的 Visual Reasoning Trace，再生成低层 Action Tokens；因此策略不仅能控制机器人，也能被人检查和用轨迹草图 steer。

核心贡献

【Paper】

提出 Action Reasoning Model（ARM）范式，把 perception、spatial planning 和 control 串成可监督的 token 序列。
用 Depth Perception Tokens 蒸馏 Depth Anything V2 的深度估计，用 2D trace 保存比语言更精确的空间计划。
设计保持序关系的 256-bin action token 初始化，降低动作词表学习成本；预训练约 9,216 GPU hours。
发布超过 10,000 条高质量轨迹的 MolmoAct Dataset，以及模型权重、训练代码和数据配方。

2. 背景与相关工作

【Paper】 传统 VLA 通常直接学习 $p(a\mid I,T)$。这种端到端映射缺少显式深度和中间计划：同一条动作失败时，很难判断是目标理解错、空间定位错，还是控制错；语言 CoT 又会丢失尺度、坐标和时间信息。MolmoAct 的出发点是让中间变量本身就位于机器人真正需要的空间表示中。

【Analysis】 这不是把语言 CoT 换成另一种“解释文本”，而是把解释绑定到可渲染的深度 token 和可编辑轨迹上。这样中间结果同时承担监督信号、控制条件和人机交互接口三种角色。

3. 问题定义

【Paper】 给定多视角 RGB 观测 $I$ 和语言指令 $T$，模型要生成深度字符串 $\mathbf d$、二维末端轨迹 $\boldsymbol\tau$ 以及 $D$ 维离散动作 $\mathbf a$：

$$ (I,T)\longrightarrow(\mathbf d,\boldsymbol\tau,\mathbf a). $$

Observation：side/front/wrist 等多视角 RGB；部分任务还会把用户画的轨迹叠加到图像。
Action：每个自由度先按数据集分位数归一化，再量化为 256 个 bin；post-training 时通常以 $K=8$ 的 action chunk 执行。
Embodiment：Google Robot、WidowX、Franka 单臂与双臂，以及 LIBERO 仿真中的 Franka Panda。
数据：OXE 子集（RT-1、BridgeData V2、BC-Z）、多模态 web data、辅助 depth/trace data 与 MolmoAct Dataset。

4. 方法

4.1 Overall Architecture

【Paper】 backbone 沿用 Molmo 的 ViT + 两层 MLP connector + decoder-only LLM；在语言模型输出空间中依次生成 depth tokens、visual trace tokens 和 action tokens。训练阶段还混合 dense caption、pointing、trajectory drawing 等任务，推理阶段只需一次自回归生成即可得到三种结果。

4.2 核心模块

Depth Perception Tokens

【Paper】 深度图先由 Depth Anything V2 specialist 估计，再由 VQVAE 压缩成 $M=100$ 个 code，每个 code 映射到 128 个 <DEPTH_k> token。VLA 只看原始 RGB，却被监督去重建 specialist 的深度字符串，属于 specialist-to-generalist distillation。

【Code】 preprocess/processors.py 中先调用 DepthAnythingV2.infer_image，把深度归一化为 8-bit 灰度，再通过 DepthTokens.inference_depth_tokens 输出 <DEPTH_START>...<DEPTH_END>。

Visual Reasoning Trace

【Paper】 轨迹是最多 5 个点的折线 $\boldsymbol\tau=(p_1,\ldots,p_L)$，坐标归一化到 $[0,255]$。$p_1$ 是当前夹爪位置，其余点从未来 episode 均匀采样。它提供比自然语言更精确的末端定位和时间方向。

【Code】 preprocess/line_utils.py 与 processors.py 将未来末端点均匀 subsample 成 line；推理 parser 在 olmo/hf_model/molmoact/modeling_molmoact.py 中解析 <TRAJ_START> 之间的坐标。

Action Tokenizer 与 Policy

【Paper】 每个动作维度按 1% 到 99% 分位数裁剪后量化为 256 bins，并映射到 Qwen tokenizer 末端的 byte-level BPE symbols。相邻 bin 使用相邻 symbol，给 action embedding 一个保留序关系的初始化，论文报告这使预训练成本比 GR00T 的 50,000 GPU hours 少五倍以上。

【Code】 preprocess/processors.py 的 ActionProcessor 完成 quantile normalization、tokenization 与 chunking；launch_scripts/train_multitask_model.py 的 --action-chunk-size 默认值为 8。

4.3 关键公式

三阶段联合概率分解为：

$$ p(\mathbf d,\boldsymbol\tau,\mathbf a\mid I,T)= \prod_i p(d_i\mid I,T,\mathbf d_{<i}) \prod_j p(\tau_j\mid I,T,\mathbf d,\boldsymbol\tau_{<j}) \prod_k p(a_k\mid I,T,\mathbf d,\boldsymbol\tau,\mathbf a_{<k}). $$

其中 $d_i$ 是深度 code，$\tau_j$ 是轨迹坐标 token，$a_k$ 是动作维度或 chunk 中的动作 token。【Analysis】 这个因子化把误差传播方向固定为“感知 → 计划 → 控制”：深度和轨迹不是生成后的解释，而是后续动作的条件。

深度字符串写作：

$$ \mathbf d=(\langle\mathrm{DEPTH_START}\rangle,\langle\mathrm{DEPTH}{z_1}\rangle,\ldots,\langle\mathrm{DEPTH}{z_{100}}\rangle,\langle\mathrm{DEPTH_END}\rangle), $$

其中 $z_i\in{1,\ldots,128}$。轨迹点 $p_i=(u_i,v_i)$，且 $u_i,v_i\in[0,255]$。

4.4 Training

【Paper】 预训练混合 26.3M 样本：action reasoning 和 trajectory-conditioned 数据各占约 38.7%，multimodal web 约 21.5%，其余为 depth/line 辅助数据。随后用约 1M action reasoning + 1M trajectory-conditioned 的 MolmoAct Dataset 做 mid-training（50k steps、batch size 128、128 张 H100），最后对新任务用 30–50 条示教做 LoRA post-training。

【Code】 scripts/train.py 实现训练入口和 LoRA；olmo/data/robot_datasets.py 注册 MolmoAct 数据集；README 给出的 post-training 配置通常是 LoRA rank 32、alpha 16，LIBERO batch size 128、真实机器人 batch size 64。

4.5 Inference

【Paper】 推理时给定当前图像和指令，模型先生成深度，再生成轨迹，最后生成动作；执行 $K=8$ 个动作后重新进行 action reasoning。用户也可以把轨迹直接画在图像上，形成 $I^+=I\oplus\boldsymbol\tau$，绕过语言歧义实现交互式 steer。

【Code】 experiments/libero/run_libero_eval.py 和 vLLM 版本都先调用 parse_depth、parse_trace，再 parse_action；olmo/hf_model/molmoact/modeling_molmoact.py 与 experiments/libero/molmoact.py 提供同一套 parser。

4.6 代码实现对照

| 论文概念 | 官方代码位置 | 实际行为 | | --- | --- | --- | | ARM / VLA | olmo/hf_model/molmoact/modeling_molmoact.py | Hugging Face MolmoActForActionReasoning 负责生成与解析三类 token | | 深度蒸馏 | preprocess/processors.py、scripts/vqvae.py | Depth Anything V2 → 灰度图 → VQVAE code → depth string | | Trace 标注 | preprocess/line_utils.py | 从未来末端轨迹均匀采样最多 5 个点 | | Action chunk | preprocess/processors.py、experiments/libero | 256-bin action tokenizer，默认 chunk size 8 | | LoRA post-training | scripts/train.py、launch_scripts/train_multitask_model.py | 对下游任务启用 adapters，README 提供合并与推理脚本 |

5. 实验

5.1 Experimental Setup

【Paper】 评测覆盖 SimplerEnv zero-shot、LIBERO 四个 suite、Franka 单臂/双臂真实任务、OOD 变化、开放指令跟随和 trace steering。真实评测每项任务通常 25 次试验；MolmoAct Dataset 包含 tabletop、home 等多场景和超过 100 个任务。

5.2 Main Results

【Paper】 关键数字如下：

| 设置 | MolmoAct 结果 | 论文报告的比较 | | --- | ---: | --- | | SimplerEnv Visual Matching zero-shot | 70.5% | 超过 Pi-0、GR00T N1.5 等闭源/大规模基线 | | LIBERO 平均成功率 | 86.6% | Long suite 比 ThinkAct 高 6.3 个百分点 | | 真实单臂 task progression | — | 平均比 Pi-0-FAST 高 10% | | 真实双臂 task progression | — | 平均比 Pi-0-FAST 高 22.7% | | OOD 真实泛化 | — | 平均比 Pi-0-FAST 高 23.3% |

5.3 Ablation Study

【Paper】 去掉 MolmoAct Dataset 的 mid-training 后，三项真实任务平均下降 5.5%；这说明数据质量和域对齐不是可有可无的附加项。视觉 trace 也不是装饰：在歧义的 “pick up the bowl” 任务中，trace steering 成功率达到 0.75，比开放式语言 steering 高 33 个百分点。

5.4 Generalization

【Paper】 真实 OOD 测试分别改变语言、目标空间位置、干扰物和未见物体；模拟 variant aggregation 则改变光照、纹理和相机视角。MolmoAct 在这些变化上保持更稳定的 task progression。开放指令人评中，它相对 SpatialVLA 的 Elo 高 109 分，相对 OpenVLA 的 pairwise 胜率为 81%。

6. 方法分析

6.1 为什么有效？

【Analysis】 第一，深度 token 给 RGB-only backbone 注入了可压缩的 3D 先验；第二，trace 把长时域规划变成少量几何约束，减少语言描述到控制的语义损失；第三，三段 token 都能用现成的 next-token infrastructure 训练，不需要为每个 embodiment 设计新的 diffusion head。数据消融还表明，结构化中间监督和高质量 household trajectories 具有叠加收益。

6.2 核心创新

【Analysis】 真正的创新不是“增加一个深度估计器”，而是把深度、轨迹和动作放进一个可自回归组合的 token interface：同一接口既连接 perception 与 policy，也连接 robot 与 human operator。

6.3 与已有方法的本质区别

【Paper】 CoT-VLA 等方法主要在语言空间中分解任务；TraceVLA 主要使用轨迹作为辅助输出；MolmoAct 则把 depth、trace、action 组织成有固定顺序的因子化链，并在预训练阶段同时学习三者。【Analysis】 因此它更像“可观测的 latent program”，而不是在动作旁边附加一段解释。

6.4 关键假设

【Paper】 由 RGB 蒸馏出的离散深度足以支持常见桌面操作，且 100 个 VQVAE code 能保留有用的空间结构。
【Analysis】 2D trace 与低层动作之间存在稳定映射；当遮挡严重、相机外参变化很大或需要接触力反馈时，这个假设可能失效。
【Analysis】 action token 的序关系初始化能跨 embodiment 迁移，但不同机器人动作维度和范围仍需 post-training 校准。

7. 局限性

7.1 作者明确提出的局限

【Paper】 作者指出，生成更多 reasoning tokens 会带来推理速度与数据采集控制频率不匹配的问题；服务器到机器人通信延迟也会放大这一差距，未来需要更快的 VLM 优化或更小的 edge model。

7.2 自己分析得到的局限

【Analysis】 深度 specialist、VQVAE 和 trace 标注把训练管线变复杂；深度 token 是固定长度的压缩，可能丢失细小接触几何；trace 仍是相机平面表示，不能单独表达遮挡后的 3D 路径或力控策略。另一个现实问题是，论文展示的成功率主要来自已校准相机和少量示教，换传感器、控制频率或动作空间时仍需重新验证。

8. 启发与研究思考

【Analysis】 MolmoAct 给 VLA 研究的启发是：中间表示不必是自然语言，关键是它是否同时满足“可监督、可解释、可控制”。后续可以沿三个方向推进：

用不确定性或多候选 trace 表示动作多模态，而不是只生成一条折线。
将 2D trace 与相机标定、点云或触觉 token 融合，弥补纯 RGB 的遮挡和接触盲区。
把 depth/trace 的早停、缓存和 speculative decoding 纳入控制器设计，降低 reasoning token 对闭环频率的影响。

LAPA 论文精读：从无动作标签视频学习 Vision-Language-Action 模型

Tue, 25 Aug 2026 00:00:00 GMT

1. 论文概述

【Paper】《Latent Action Pretraining from Videos》提出 LAPA（Latent Action Pretraining for general Action models）。它针对一个很现实的瓶颈：机器人视频往往只有昂贵的 teleoperation 才能得到 action label，而互联网上的大量人类操作视频只有图像和语言，没有机器人末端位姿、关节或力矩标签。

论文把“动作”拆成一个可从视频自监督学习的中间语言：先用两帧图像学习离散 latent action，再让 Vision-Language Model（VLM）根据当前图像和任务描述预测这个 latent action，最后只用少量带真实动作的机器人轨迹重新训练 action head，把 latent policy 迁移到可执行的机器人动作空间。

一句话总结

【Paper】 LAPA 用 image delta → discrete latent action → robot action 的三级接口替代了“所有预训练视频都必须带机器人动作标签”，从而可以把机器人视频和人类操作视频放进同一个预训练框架。

核心贡献

【Paper】

提出不依赖 ground-truth robot action 的 Latent Action Pretraining，并将训练拆成 Latent Action Quantization、Latent Pretraining 和 Action Finetuning 三个阶段。
用 VQ-VAE/NSVQ 从相邻帧的视觉变化中学习离散 codebook；latent action 不预先规定是 end-effector、joint 还是 torque，而是由视频中的观测变化决定粒度。
在 Language Table、SIMPLER 和 Franka 真实机器人上验证跨任务、跨环境、跨 embodiment 泛化；LAPA（Open-X）真实任务平均成功率达到 50.1%，高于 OpenVLA（Open-X）的 43.9%。
证明只用 Something-Something V2 人类操作视频也能带来正迁移：在真实机器人上平均成功率 34.0%，超过 OpenVLA（Bridge）的 30.8%。
【Paper】 LAPA（Open-X）预训练使用 8 张 H100、34 小时，作者估计相对 OpenVLA 约 30–40 倍更高效；这是训练效率的报告，不等同于总研究成本。

2. 背景与相关工作

【Paper】 RT-1、RT-2、OpenVLA 等 VLA 通常把连续机器人动作离散成 token，然后用 next-token prediction 训练。这个范式在动作标签丰富时有效，但有两个规模限制：

teleoperation 产生动作标签的速度远低于互联网视频的增长速度；
不同机器人、相机坐标系和控制频率有不同 action representation，直接混合标签会把 embodiment 差异带进策略输出空间。

已有的无标签视频路线大致分成三类：只预训练视觉表示、先生成未来视频再用 inverse dynamics model（IDM）恢复动作、或从人手姿态/轨迹中做 human-to-robot retargeting。【Paper】 LAPA 的区别是：它不把无标签视频只当作视觉预训练数据，也不要求先估计人手关键点，而是直接学习“当前观测到未来观测之间发生了什么”，再让 VLM 对这种变化做行为克隆。

【Analysis】 LAPA 的关键取舍是把动作监督从“物理坐标”后移到 fine-tuning 阶段。这样预训练阶段获得了更统一的接口，但 latent action 也可能混入相机运动、物体运动甚至视频剪辑造成的变化；因此它更像一个 environment-centric transition token，而不是天然等价于机器人控制量。

3. 问题定义

【Paper】 给定视频中的当前帧 $x_t$、未来帧 $x_{t+H}$ 和语言任务描述 $l$，LAPA 学习三种映射：

Latent Action Quantization（LAQ）：$q_\phi(x_t, x_{t+H}) \rightarrow z_t$，把帧间变化编码成离散 latent action。
Latent Policy：$\pi_\theta(x_t,l) \rightarrow z_t$，VLM 根据当前观察和任务描述预测 latent action。
Action Finetuning：$\pi_\psi(x_t,l) \rightarrow a_t$，用少量真实机器人动作标签训练新的 action head。

论文主实验的 latent code 默认是 $s=4$ 个 token、每个 token 来自大小为 $|C|=8$ 的 codebook，因此单个时间步的输出空间是 $8^4$；官方 README 也明确提醒，这个输出不是可以直接发送给机械臂的真实 action space。

【Paper】 主要 embodiment 与数据如下：

| 项目 | 设置 | | -------------- | --------------------------------------------------------------------------------------------- | | 语言与视觉输入 | 当前 RGB 帧 + 视频/任务语言描述 | | 真实动作 | fine-tuning 时为离散化的 delta end-effector action | | 仿真 | Language Table、SIMPLER | | 真实机器人 | 7-DoF Franka Emika Panda | | 预训练来源 | Bridgev2、Open-X Embodiment、Something-Something V2 | | 评测能力 | in-domain、cross-task、cross-environment、cross-embodiment、unseen object、unseen instruction |

4. 方法

4.1 Overall Architecture

【Paper】 整体数据流是：相邻视频帧先经过 LAQ encoder 得到离散 $z_t$；VLM 再以当前帧和语言描述为条件预测 $z_t$；fine-tuning 时替换 latent head，用带标签轨迹学习真实 action head。LAQ 的 decoder 还可以把 latent action 解码回下一帧，用于可视化和 neural closed-loop rollout。

4.2 核心模块

Latent Action Quantization Model

输入：当前帧 $x_t$ 与固定窗口 $H$ 后的帧 $x_{t+H}$。
中间模块：两帧共享 patch embedding；encoder 先做 spatial Transformer，再做 temporal Transformer；差分表示进入 NSVQ codebook；decoder 用当前帧 token 通过 cross-attention 读取 latent action。
输出：离散 latent token 序列 $z_t \in C^s$，以及重建帧 $\hat x_{t+H}$。
为什么需要：直接把连续像素变化交给 VLM 难以生成；离散 codebook 把“动作词表”变成标准分类/next-token prediction 问题。

【Paper】 论文对 GENIE 的改动包括：只使用当前帧和未来帧（不拼接更多历史帧），decoder 用 cross-attention 而不是简单相加 latent embedding，并采用只对两帧做输入的 C-ViViT 风格结构。【Code】 laq/laq_model/latent_action_quantization.py 中确实实现了 enc_spatial_transformer、enc_temporal_transformer、带 context 的 dec_spatial_transformer 和 NSVQ；laq/laq_model/data.py 当前数据加载器按“每个轨迹目录包含多张帧图像”的 Something-Something V2 结构取随机起始帧和 offset 帧。

Latent Pretraining VLM

输入：当前图像、语言指令，以及 LAQ encoder 为视频帧生成的 latent token 标签。
输出：$s$ 个 codebook token。
中间模块：以预训练 LWM-Chat-1M-Jax 7B 为 backbone，保留视觉 encoder，训练 language model，并接一个 vocab size 为 $|C|$ 的 latent action head。
为什么需要：VLM 负责学习“任务语义 + 当前视觉状态 → 下一步视觉变化”，而不被某一种机器人坐标系绑定。

【Paper】 默认冻结 vision encoder、解冻 language model。【Code】 latent_pretraining/train.py 用 --modality='vision,text,delta' 进入 latent 预训练分支，scripts/latent_pretrain_openx.sh 设置 delta_vocab_size=8、n_tokens_per_delta=4、batch size 256、总步数 70,000。

Action Finetuning Head

输入：相同的图像与任务 prompt。
输出：真实机器人 action token。
做法：丢弃 latent action head，换成 action head；对连续 action 的每个维度做等频分箱（equal-frequency discretization），再用带动作标签的轨迹训练。
关键取舍：作者尝试过保留 latent head、额外增加 latent-to-action decoder，但重新初始化 action head 的结果更好。【Analysis】 这说明 latent pretraining 主要把控制相关的视觉—语言表征写入 backbone，而不是要求 latent token 与最终物理动作一一对应。

4.3 关键公式

VQ-VAE / NSVQ 量化

设 encoder 产生连续差分表示 $d_t$，codebook 为 $C={c_1,\ldots,c_{|C|}}$，量化结果为：

$$ z_t = \arg\min_{c_k\in C}|d_t-c_k|_2^2 $$

其中 $z_t$ 是被 VLM 预测的离散 token，$s$ 是 token 序列长度，$|C|$ 是每个位置可选的词表大小。【Paper】 NSVQ 用带归一化噪声的量化误差替换原始 VQ 误差，并在训练早期替换未使用 codebook，以降低 codebook collapse；decoder 的输入帧 patch embedding 使用 stop-gradient，避免表示塌缩。

重建目标

$$ \mathcal L_{LAQ}=\mathcal L_{recon}(x_{t+H},\hat x_{t+H})+\mathcal L_{VQ/NSVQ} $$

其中第一项要求 latent action 保留足以重建未来帧的视觉变化，第二项约束连续 embedding 与 codebook 的量化关系。论文没有把所有 NSVQ 实现项展开成一个统一闭式公式，具体权重以官方实现为准。

Latent Pretraining 交叉熵

$$ \mathcal L_{latent}=-\sum_{i=1}^{s}\log p_\theta(z_{t,i}\mid x_t,l,z_{t,<i}) $$

$z_{t,i}$ 是第 $i$ 个 codebook token；$p_\theta$ 来自 VLM 的 latent action head。这个目标本质上是 behavior cloning，只是监督信号从人工 action 换成 LAQ encoder 生成的 pseudo label。

Action Finetuning

$$ \mathcal L_{action}=-\sum_{j=1}^{D}\log p_\psi(a_{t,j}^{bin}\mid x_t,l) $$

其中 $D$ 是机器人 action 维度，$a_{t,j}^{bin}$ 是第 $j$ 维连续动作经过等频分箱后的类别。【Paper】 论文将动作离散化以匹配 OpenVLA/RT-1 风格的 action token 训练；真实值在部署时通过数据集统计量反量化。

4.4 Training

【Paper】 训练是顺序进行的，而不是把真实 action 和 latent action 同时端到端学习：

在无动作标签视频上训练 LAQ，使其能从 $x_t,x_{t+H}$ 产生稳定的离散 latent action。
用冻结的 LAQ encoder 给所有预训练帧打 latent label，训练 7B VLM 预测这些 token。
在小规模 action-labeled robot trajectories 上替换 latent head，训练真实 action head。

【Code】 官方命令把三个阶段分开：laq/train_sthv2.py 训练 LAQ；laq/inference_sthv2.py 生成 latent labels；scripts/latent_pretrain_openx.sh 以 LWM checkpoint 继续训练；scripts/finetune_real.sh 以 vision,action,delta modality 做机器人动作 fine-tuning。README 报告 Open-X latent pretraining 使用 8 张 H100、34 小时，batch size 256；真实 fine-tuning 脚本默认 4 张 GPU、2000 steps、batch size 128。

4.5 Inference

【Code】 官方 latent_pretraining/inference.py 的基础推理输入是一张 uint8 RGB 图像和自然语言指令，返回 latent action；README 明确指出该输出空间默认为 $8^4$，不能直接驱动机器人。完成 action fine-tuning 后，部署脚本再加载 action checkpoint 和数据集 action scale 文件，把 action token 反量化为真实 delta end-effector 动作。

【Paper】 论文还展示了一个不需要真实 action head 的 neural closed-loop：LAPA 预测 latent action，LAQ decoder 根据当前帧和该 latent action 生成下一帧，再把预测帧反馈给下一轮。这是世界模型式的定性验证，不是论文的真实机器人控制评测协议。

4.6 代码实现对照

【Code】

| 论文概念 | 官方代码位置 | 实际行为 | | ------------------------ | --------------------------------------------- | ---------------------------------------------------------------------------------- | | LAQ encoder-decoder | laq/laq_model/latent_action_quantization.py | spatial + temporal Transformer 编码，NSVQ 量化，cross-attention decoder 重建未来帧 | | LAQ 数据 | laq/laq_model/data.py | 从轨迹目录中随机选帧，并按 offset 取未来帧；默认数据结构针对 Sthv2 | | Latent label 生成 | laq/inference_sthv2.py | 用训练好的量化模型为 jsonl 样本写入离散视觉/latent token | | Latent VLM 训练 | latent_pretraining/train.py | vision,text,delta modality，delta vocab 默认 8 | | Robot action fine-tuning | scripts/finetune_real.sh | vision,action,delta modality，action vocab 默认 256，读取预处理后的 jsonl | | 推理 | latent_pretraining/inference.py | 返回 latent action，不自动完成真实动作映射 | | 部署 | latent_pretraining/deploy.py | 加载 fine-tuned checkpoint 与 action scale 文件，输出可执行动作 |

【Analysis】 代码和论文之间最容易误读的地方是“LAPA 是否已经是机器人 policy”：严格来说，latent-pretrained checkpoint 还是一个 latent policy；只有 action fine-tuning 后，输出才进入机器人的离散 action vocabulary。这个两阶段接口正是它能跨 embodiment 预训练的原因，也是部署时必须额外准备少量动作标签的原因。

5. 实验

5.1 Experimental Setup

【Paper】 实验覆盖三类问题：

Language Table：2-DoF 推块仿真，测试 in-domain、cross-task 和 real-to-sim cross-environment。
SIMPLER：7-DoF WidowX 仿真，4 个任务；使用 100 条 fine-tuning trajectories，重点考察复杂动作空间下的迁移。
Real-world tabletop：7-DoF Franka，Pick <object> into Sink、Cover <object> with Towel、Knock <object> Over 三类任务，每类 15 个物体、150 条轨迹；每个模型共 54 次 rollout，分别测试已见物体的新组合、未见物体、已见物体但未见指令。

比较方法包括只在下游训练的 Scratch、视频扩散 + IDM 的 UniPi、用 IDM 伪标签的 VPT、使用真实动作标签预训练的 ActionVLA，以及 OpenVLA。

5.2 Main Results

【Paper】 Language Table 的平均成功率如下（%）：

| 设置 | Scratch | UniPi | VPT | LAPA | ActionVLA | | ------------------- | ------: | ----: | -------: | -------: | --------: | | In-domain / seen | 15.6 | 22.0 | 44.0 | 62.0 | 77.0 | | In-domain / unseen | 15.2 | 13.2 | 32.8 | 49.6 | 58.8 | | Cross-task / seen | 27.2 | 20.8 | 72.0 | 73.2 | 77.0 | | Cross-task / unseen | 22.4 | 16.0 | 60.8 | 54.8 | 58.8 | | Cross-env / seen | 15.6 | 13.6 | 18.0 | 33.6 | 64.8 | | Cross-env / unseen | 15.2 | 12.0 | 18.4 | 29.6 | 54.0 |

【Analysis】 LAPA 并非所有列都达到上限：在 cross-task unseen 上 VPT 更高，说明更准确的 IDM 伪标签仍然有价值。但 LAPA 在跨环境列的优势更明显，符合“latent action 不绑定某个具体 action coordinate system”的设计目标。

【Paper】 SIMPLER 的 Bridgev2 预训练平均成功率为：Scratch 34.4、UniPi 1.3、VPT 51.0、LAPA 57.3、ActionVLA 63.5、OpenVLA 36.4。LAPA 在没有使用 Bridgev2 action label 的前提下接近 ActionVLA，并显著超过其他无标签视频基线。

真实机器人结果的关键汇总：

| 预训练 | Seen object / unseen combo | Unseen object | Unseen instruction | 平均 | | ------------------- | -------------------------: | ------------: | -----------------: | -------: | | OpenVLA (Bridge) | 35.6 | 34.6 | 22.1 | 30.8 | | LAPA (Bridge) | 43.4 | 31.4 | 35.6 | 36.8 | | OpenVLA (Open-X) | 46.2 | 42.1 | 43.4 | 43.9 | | LAPA (Open-X) | 57.8 | 43.9 | 48.5 | 50.1 | | LAPA (Human Videos) | 36.5 | 37.4 | 28.1 | 34.0 |

【Paper】 LAPA（Open-X）在三种泛化设置都超过 OpenVLA（Open-X）；但在 pick-and-place 的早期 grasping 上仍可能失败，OpenVLA 在该子任务更强。论文报告 LAPA 的 reaching performance 为 83.33%，高于 OpenVLA 的 66.67%。

5.3 Ablation Study

【Paper】 消融显示三类 scaling 都有收益：

增大 LAQ model 参数量，SIMPLER 成功率上升；
增加预训练数据比例，性能持续提升；
扩大 latent action 的 sequence length 或 vocabulary，通常能提高下游成绩。

但 latent space 的最佳形状取决于数据中的动作复杂度：Language Table 这类视觉简单、动作维度低的环境，扩大 vocabulary 比扩大 sequence length 更有效；对于更复杂的行为，增加 sequence length 才有更多表达空间。窗口 $H$ 过大时性能下降，因为 300M 规模的 LAQ 难以建模很大的视觉 delta。

5.4 Generalization

【Paper】 在 Language Table 中，不同 latent token 对应左/右、前/后等稳定移动方向；在 Something-Something V2 中，latent action 还会编码相机移动；在 Open-X 多 embodiment 数据上，相同 latent action 在不同机器人和环境中能诱导相似的视觉变化。

【Paper】 人类视频预训练并非只在仿真有效：LAPA（Sthv2）在 SIMPLER 平均成功率 52.1%，高于 UniPi 0.7%，也高于 VPT 45.8%；真实机器人平均 34.0%，说明“人类手部操作视频 → 机器人 manipulation prior”确实存在正迁移。

6. 方法分析

6.1 为什么有效？

【Analysis】 LAPA 的有效性可以拆成三个层面：

表示层：VQ codebook 把连续视觉变化压缩成可预测 token，让 VLM 能用成熟的 token prediction 学动作先验。
迁移层：latent action 主要描述“观测如何变化”，而不是 WidowX 或 Franka 的绝对关节坐标，因此跨 embodiment 时少了一层 action-space overfitting。
数据层：LAQ 只需要两帧，预训练数据从“有 action label 的机器人轨迹”扩展到任意带时间顺序的视频；视频规模和物体多样性直接转化为 policy 的先验。

6.2 核心创新

【Paper】 真正的创新不是单独使用 VQ-VAE，也不是单独使用 VLM，而是把“从未来帧反推 latent action”和“根据任务预测 latent action”串成一个可 fine-tune 的接口。这个接口同时扮演 pseudo action label、跨 embodiment 中间表示和 world model control token 三个角色。

6.3 与已有方法的本质区别

| 方法 | 无标签视频如何变成监督 | 是否绑定 embodiment | 预训练输出 | | --------- | ------------------------------------------ | ---------------------------------------- | ------------------- | | UniPi | 生成未来视频，再用 IDM 解码动作 | IDM/动作解码器仍受数据集影响 | 视频计划 | | VPT | 用动作标签训练 IDM，再给无标签视频打伪动作 | 依赖 IDM 的 action space | 伪 action | | ActionVLA | 直接使用真实 robot action label | 强绑定预训练 embodiment | 真实 action token | | LAPA | LAQ 从帧间变化直接学习 codebook | latent space 更接近共享 transition space | latent action token |

6.4 关键假设

【Analysis】 LAPA 至少依赖以下假设：

相邻帧之间的视觉变化包含足够的任务相关动作信息；
同一个 codebook 可以在不同 embodiment 中表示可迁移的 transition；
少量 fine-tuning 数据足以把 latent policy 对齐到目标机器人的物理动作；
视频中的语言描述与视觉变化大体对应，而不是完全由剪辑、相机运动或旁观者行为主导。

7. 局限性

7.1 作者明确提出的局限

【Paper】 作者明确指出：

LAPA 在 fine-grained grasping 等精细运动上弱于直接 action pretraining，可能需要扩大 latent action generation space。
与其他 VLA 一样，真实机器人实时推理仍有 latency；作者建议未来采用更高频的小型 hierarchical action head。
虽然观察到 latent action 能表示相机运动，但论文尚未系统探索导航、自动驾驶或非 manipulation 场景。

7.2 自己分析得到的局限

【Analysis】

LAQ 的监督是未来图像重建，因此一个 token 可能同时解释机械臂运动、物体运动、相机运动和遮挡变化，语义不一定是可执行 action。
当前公开的 ImageVideoDataset 针对 Sthv2 目录结构，且随机采样轨迹目录而不是精确的 frame-level episode index；换数据集需要自行改 loader。
latent pretraining 与 action fine-tuning 是顺序训练，fine-tuning 会替换 latent head；如果目标机器人与预训练视频差异很大，少量标签可能不足以恢复接触动力学、抓取姿态和夹爪时序。
论文的 real-world 结果使用 partial success criteria，平均分能够反映泛化趋势，但不能完全等价于端到端任务完成率。

8. 启发与研究思考

【Analysis】 LAPA 给后续工作留下了三个清晰方向：

从 transition token 到 hierarchical action language：当前 $8^4$ latent space 对粗粒度移动有效，但抓取仍不够细。可以让高层 latent token 表示技能阶段，让低层 action decoder 负责接触和力控制。
把 camera-centric latent 与 robot-centric latent 分离：人类视频中的相机移动是有用信号，也可能是噪声。显式分解 object motion、camera motion 和 agent motion，可能让跨场景迁移更稳定。
利用 decoder 做 test-time planning：论文已经展示 latent policy + LAQ decoder 的 neural rollout。下一步可以采样多个 latent plan，用视觉目标判别器或语言评分器筛选，再执行最有希望的候选轨迹。
扩大到互联网视频前先解决数据质量：真正的 YouTube-scale 训练需要过滤剪辑、镜头切换、第三视角与手持相机运动，并构建语言描述与帧窗口的可靠对齐。

LAPA 最值得借鉴的并不是“把 action 离散成 8 个 codebook”，而是它重新定义了预训练的最小监督单位：只要视频能说明“状态发生了变化”，就可以先学习一个中间动作语言；物理可执行性则留到目标 embodiment 的小规模 fine-tuning 再解决。