Paper Reading: Embodied AI 1

ACT是一种经典的机器人Manipulation方法，采用了CVAE架构，上图展示了ACT的模型架构。 ACT的输入是机器人Joint position以及多视角下的观测图像，输出是未来一系列的Action。 CVAE-Encoder采用了BERT-like的结构，以机器人Joint position和专家Action chunking（加上了position embedding）为输入，并将[CLS]经过投影后得出隐向量$z$。 CVAE-Decoder采用Transformer-like的结构，输入是经过特征提取后的多视角Image token、机器人Joint position以及经过CVAE-Encoder编码后的隐向量 $z$（在测试阶段， $z$是0），输出是Action chunking。 在训练过程中，使用了L1损失而非L2损失，这里文章里有详细的解释。 ACT使用了Temperal ensembling来提高输出动作哦的平滑性，其实就是针对多个Action chunking同个时间步下的Action进行加权，具体见图。 ACT在文章的最后给出了详细的流程图，非常清晰，这点很值得点赞！

Diffusion Policy是非常经典的工作。 简单来说，就是使用Diffusion模型来进行Action的预测，输入是Noise，输出是Action Chunk。文中给出了CNN-based和Transformer-based的两种变体。 不同于DDPM，除了去噪step $k$，DP还将历史观测 $o_t,o_{t-1},o_{t-2}$ 作为Condition。 DP直接输出Action Chunk，加快推理速度的同时也提高了Action的一致性和多样性。 在实际执行过程中，采用了保守策略，只执行Action Chunk的前几步Action，这样会更加稳定。

RT-1是Google于22年提出的工作，是一种王源（传统）VLA模型。 VLA模型其实就以视觉图像、语言指令等为输入，输出智能体的Action。 为什么这么说它是王源（传统）呢？因为它没有使用经过大规模预训练的LLM或是VLM作为Fusion模型。 RT-1旨在实现泛化性能，使用了大规模的Multi-task Dataset进行训练，能够完成少量的Unseen Task。 文中给出了详细的架构图，下面我来分块讲解。 从整体上来看RT-1，它以历史图像（文中是6个图像）和语言指令为输入，以Action为输出。 首先，它使用了FiLM架构来融合Image和Language的信息。 视觉主干网络是EfficientNet-3B（经过ImageNet预训练），语言特征提取使用了Universal Sentence Encoder，这些网络的参数能从网上下载。 然后，得出了Image Token，并进一步使用TokenLearner进行降维处理。 最后，将Token拼接起来，并使用位置编码，经过一个Transformer-Decoder风格的解码器，最终得出Action。 值得注意的是，RT-1将连续动作进行了离散化，文中具体离散为256个区间。 在结构上可以看到，RT-1采用了许多推理加速的方法，比如减少输入的Token或是采用高效的模型（EfficientNet-3B）。 RT-1虽然能够做到一定程度的泛化，但是也有一定的局限性。 为什么说具有局限性？首先，RT-1只使用了具身Dataset直接拟合Action，优质的具身Dataset本来就少，而且难以获取。 再来就是，RT-1也很容易摆烂，也是因为Dataset不够全面，遇到一些没有见过的物体，可能就无法work了。 RT-1早期的贡献还是值得肯定的，并且在后续的工作RT-2中解决了这些问题。

RT-2是Google继RT-1后于2023年提出的一种VLA模型。 RT-2抛弃了RT-1的FiLM结构，使用了预训练的VLM来处理Image观测与Language指令（本质是Image经过ViT映射为Language Token并与指令Token一同输入到LLM中）。 RT-2采用了PaLI-X 和 PaLM-E 作为主干，这两个模型都进行了大规模VQA预训练。 和RT-1一样，RT-2也对连续动作进行了离散化处理（256个区间），但RT-2将离散动作映射到了LLM Token中，因此需要保留256个词元作为动作词元。 对PaLI-X，将动作词元对应到整数词元。对PaLM-E，则采用频率最低的256词元作为动作词元。 同时，RT-2对训练数据进行了处理，转为了适合VLM训练的VQA格式。 RT-2使用了协同微调，也就是将网络数据与机器人数据混合起来微调，这样可以提高泛化能力。 因为使用LLM进行Action的输出，所以需要限制其输出动作词元，RT-2使用了Prompt进行限制。 RT-2发布了不同参数规模的模型，如5B和55B。5B可以部署在本地，55B需要使用云服务进行部署。 RT-2还可以结合CoT的架构进行推理，如SayCan这类方法，以处理更加复杂的指令。 RT-2在Unseen限制下表现出一定的泛化能力，但还是具有局限性。 比如，它不能处理一些没有经验的新动作，且无法完成一些Unseen Object的动力学任务（如移动马克笔到指定位置）。 它使用离散化的动作，可能难以处理一些高精度的任务。 而且使用低频词元去学习高频输出的动作词元，会出现双峰学习的问题（学习VLM降低这些词元的输出频率，而学习VLA却要提高，属于是左右脑互博）。

OpenVLA基本继承了RT-2的思想，形成了OpenVLA-like的VLA范式。 简单来说，就是使用LLM对Image观测以及Language指令进行Fusion，输出Action Token，最后再Detokenizer成机器人可执行的Action。 OpenVLA使用Prismatic-7B VLM作为主干，文中详细解释了为什么采用Prismatic-7B VLM。 和RT-2一样，使用256个频率最低的词元作为Action Token。 训练数据主要使用了OXE Dataset，并对数据进行了处理，以便于训练。 最终，OpenVLA展示了在不同消费级和服务级的GPU上的运行效果。 然而，OpenVLA也有着诸多Limitation。 首先，它只接受单图像预测，无法处理异构的机器人设置。 其次，它的吞吐量不够，无法实现高频率的控制。 最后，同时也是最大的硬伤，和RT-2一样，在面对Co-Training时，选择频率最低的256个Token作为Action Token，会出现双峰学习问题。 但不可否认的是，OpenVLA还是一份伟大的工作，开创了OpenVLA-like的VLA学习范式。

Open X-Embodiment数据集包含超过100万个真实机器人轨迹，涵盖22种机器人实体，从单机械臂机器人到双臂机器人和四足机器人。 该数据集是通过汇集来自全球 34 个机器人研究实验室的 60 个现有机器人数据集，并将它们转换为一致的数据格式以便于下载和使用而构建的。 该团队还使用OXE训练了RT-1和RT-2，展现出泛化性能。 工作量如此之大，伟大无需多言。

从数据流上看，UVA首先学习了Image与Action Chunk的Joint Latent，然后使用Diffusion模型解码出未来的Action Chunk以及观测Image。 为了兼容多种类型的输入，并解耦出对应的Action Chunk以及Image，UVA采用了掩码学习。 下面讲解学习Joint Latent的流程。 对于每张历史Image使用预训练的VAE编码器进行编码，得出$N$个$d$维的Image Token。 对于每个历史Action Chunk，为了对齐Image Token的维度，采用重复$M$次拼接的方式对齐到$N$维度，并经过一个MLP投影到$N\times d$。 对于要预测的Image，处理方式与历史Image一样，但加上了定义好的掩码。 最终，将三类Token拼接在一起，输入到Transformer中进行编码，得出Joint Latent。 接下来讲解预测流程。 对于预测Image，将每个Token作为Image Diffusion的Condition，经过去噪还原出局部的VAE的Latent，最后拼接经过VAE的解码器还原出Image。 对于预测Action Chunk，则将所有的Token作为Action Diffusion的Condition，经过去噪得出Future Action Chunk。 UVA使用了灵活目标的掩码训练方法，有助于防止模型对特定任务产生过拟合，从而提升模型的整体通用性和鲁棒性。

Genie Envisioner 并不是单独提出一个 VLA，而是尝试使用同一个视频生成世界模型统一 Policy Learning、Simulation 与 Evaluation。 不同于 OpenVLA 等方法将视觉观测映射到以语言为中心的语义空间，Genie Envisioner 选择构建以视觉为中心的 Latent Space，尽可能保留机器人交互中的空间、时间以及运动细节。

整个平台的核心是 GE-Base，一个由 Language 与 Multi-View Observation 引导的视频 Diffusion World Model。 GE-Base 以初始观测、Language Instruction 以及从历史视频中稀疏采样的 Memory Frames 为 Condition，自回归地生成下一个 Multi-View Video Chunk。 Sparse Memory 能让模型在不保留全部历史 Frame 的情况下捕获 Long-Horizon 依赖，而跨视角 Attention 则用于维持头部相机与左右腕部相机之间的空间一致性。 具体实现上，GE-Base 可以建立在 LTX-Video 2B 或 COSMOS2 2B 上，并使用冻结的 T5-XXL 编码 Language Instruction。

GE-Base 在 AgiBot-World-Beta 上进行预训练，这份数据包含约 100 万条真实双臂机器人轨迹，共计 2967 小时。 训练分为两个阶段：首先在 3Hz 到 30Hz 随机采样的 57 帧视频上进行 Multi-Resolution Temporal Adaptation，使模型适应不同速度的机器人运动；随后使用固定 5Hz 的 9 帧视频进行 Low-Frequency Policy Alignment，使视觉 Latent 的时间粒度与下游控制对齐。

在 GE-Base 的基础上，GE-Act 添加了一个轻量的 160M Action DiT 分支。 Action DiT 与 Video DiT 具有对应的 Block 深度，但使用更小的 Hidden Dimension，并通过 Cross-Attention 读取 Video DiT 的视觉 Latent。 它从 Noise Action 出发，使用 Flow Matching 生成结构化的 Action Chunk，因此部署时不需要真的把未来视频解码出来。 GE-Act 先在大规模机器人数据上冻结 GE-Base、只预训练 Action Module，再依次进行 Task-Specific Video Adaptation 与 Action Specialization。

为了满足实时控制，GE-Act 还采用了 Slow-Fast Asynchronous Inference。 Video DiT 只进行一次去噪，并将得到的视觉表示 Cache；Action DiT 则复用这些表示进行五次去噪。 同时，Video DiT 以 5Hz 更新，Action Model 以 30Hz 输出控制信号，在 RTX 4090 上可以在 200ms 内生成 54 步 Action。

GE-Act 不仅能在 AgiBot G1 上完成家务与工业任务，还能使用约 1 小时、250 条新平台示范迁移到 Agilex Cobot Magic 与 Dual Franka，并在 Cloth Folding、Box Folding 等精细操作上超过 $\pi_0$、GR00T N1 与 UniVLA。 消融实验也说明，通用视频模型本身并不足以直接学习 Policy；使用机器人领域的 GE-Base 预训练后，模型的 Step-wise Success Rate 与 End-to-End Success Rate 才会显著提升。

GE-Sim 则把 GE-Base 改造成 Action-Conditioned Video Simulator。 它一方面将 End-Effector Pose 投影到图像空间，提供显式的空间 Condition；另一方面将相邻动作的位姿变化编码为 Motion Token，并与参考图像的 Style Token 一起注入 Video DiT。 Policy 输出 Action 后，GE-Sim 生成对应的视频结果，再将生成结果送回 Policy，便可以形成 Closed-Loop Rollout；配合集群并行后，每小时可以评估数千条 Episode。

最后，EWMBench 从 Scene Consistency、Spatial/Temporal Alignment、Dynamic Consistency、Instruction Alignment 与行为多样性等维度评估具身视频世界模型。 这点很重要，因为通用视频指标主要关心画面质量，并不能可靠反映机器人动作是否合理、是否完成了 Instruction。

Genie Envisioner 的局限也比较明显：预训练数据全部来自 AgiBot-World-Beta，Embodiment 与数据来源仍然单一；实验集中在平行夹爪的上半身桌面操作，没有覆盖灵巧手和全身运动；EWMBench 仍依赖 Proxy Metric 与有限的人工验证，距离完全可靠的自动 Task Success Evaluation 还有距离。

TinyVLA首次提出了VLM+DP的VLA范式，这个范式后续被应用到了 $\pi$ 系列。 在这个范式下，Action不再由LLM的Token Detokenize出来，而是直接由一个Action Expert（DP或是ACT）输出。 这样做，可以避免RT-2以及OpenVLA中的双峰学习问题，能够避免灾难性遗忘，使得VLM和Action Expert各司其职。 在TinyVLA中，选用了Pythia作为VLM主干，选用DP作为Action Expert。 Action Expert以VLM主干输出的信息为Condition，输出Action Chunk。 在训练过程中，使用LoRA微调VLM，防止了VLM的灾难性遗忘，且可以进行高效的微调。 在实验部分，TinyVLA超越了OpenVLA，且可以在OOD的场景下完成一些任务。 TinyVLA应该是最早提出PI-like架构的工作，算是祖师爷。

CogACT也是一种PI-like的VLA，分为VLM Fusion和Action Expert模块。 在VLM Fusion模块中，CogACT采用了一种BERT-like的方式进行Fusion，输入Image观测以及Language指令，输出类似于[CLS]的Cognition Feature。 在Action Expert模块中，以Cognition Feature为Condition，经过一个DiT得出Action Chunk。 CogACT和ACT一样，使用了类似的Action Ensembling，但CogACT中的权重是自适应的，避免了不同模式中不合理地聚合Action。

简单说一下 $\pi_0$ 的两个结构，对 Image 观测与 Language 指令进行 Fusion 的 VLM 以及基于 FLow Matching 的 Action Expert。在Fusion模块，考虑到实时控制的需求，采用了规模小便利性高的 PaliGemma。Image观测被ViT映射到语义空间，与Language指令一同进入PaliGemma，得出上下文Token。Action Expert采用Flow Matching结构建模Action连续分布。其输入为随机化的Action Chunk，以上下文Token的cross attention以及机器人的Joint Position作为Condition，使用Flow Matching Loss进行训练，输出真实的Action Chunk。 在训练数据上，$\pi_0$ 使用了长达10000小时的真机数据，以及开源数据OXE等。在多种任务上表现出强大的性能，非常牛逼。

PI-0.5 是 PI-0 的续作，主要在模型训练上做了一些改进。 PI-0.5 对 VLM 进行了大量的 Co-Training,包括使用了 VQA、Discretized Actions、Sub Tasks 以及 Boxes Bounding 等多种数据。 这样做的话，可以让 VLM 在 Inference 过程中先拆分 Sub Tasks，然后再使用 Action Expert 去预测 Action Chunk。 同时，Co-Training 可以有效预防 VLM 的灾难性遗忘。 另外一点，PI-0.5 使用了 FAST 编码器，可以将 Token 转换为离散的动作，这样可以在预训练过程中输出离散动作。 这样做可以使得 Pre-Training 与 Post-Training 的学习更加的耦合，以提高模型的泛化能力。

GR-3 是字节继 GR-2 后的工作，整体采用了 PI-like 的架构，也就是使用 VLM 进行 Fusion，并使用 Flow Matching 的 Action Expert 去输出 Action Chunk。 GR-3 的 VLM 使用的是 Qwen2.5-VL-3B-Instruct。 在训练上，GR-3 采用了 Co-Training 的方式。 对于无 Action 标签的 Web 数据，采用 VQA 的方式进行训练。 对于有 Action 标签的机器人数据，采用 Flow Matching 损失进行训练。 这样使用 Co-Training 的方式，可以让 VLM 在训练过程中同时学习 Web 数据和机器人数据的知识，同时能避免破坏 VLM 的知识。

InstructVLA 采用了 PI-like 架构，也就是 VLM + Action Expert 的结构。 如图，InstructVLA 采用了 Eagle2-2B 作为 VLM 主干，使用 SigLIP 将图像信息映射到语言空间。 为了使得 VLM 能同时进行多模态推理和语言引导的 Latent Action 规划，InstructVLA 引入了一组可学习的 Action Query，这样就可以提取 Latent Action。 同时，为了使得 VLM 能够在推理与操作之间切换，InstructVLA 引入了 MoE 设计的 LoRA 模块，来适应不同的输入模式。 接着，Latent Action 被用于下游的 Flow Matching 进行 Action Chunk 的预测。 具体做法就是，将 Latent Action 以 FiLM 的方式注入到 DinoV2 中，同时作为 Flow Matching 的 Condition，以预测 Action Chunk。

InstructVLA 的训练分为两个阶段，第一个阶段是动作预训练，第二个阶段是 VLA-IT。 在动作预训练阶段，InstructVLA 使用异构机器人数据集，例如 OXE、Bridge等。 训练时联合交叉熵与流匹配损失，冻结 VLM 主干的参数，只更新 MoE 设计的 LoRA 模型参数。 在 VLA-IT 阶段，InstructVLA 冻结了 Flow Matching 模块的参数，新增了语言 LoRA 适配器和 MoE 适应缩放头。 其中，MoE 模块是唯一可训练参数，并使用了 VLA-IT 数据集进行训练，详细可以见原文。

DINOv3 是 DINOv2 的大规模续作，目标是训练一个冻结后就能直接服务于 Classification、Segmentation、Depth、Tracking 与 3D Geometry 等任务的通用视觉 Backbone。 它真正解决的难点不只是把模型扩大到 7B，而是如何在长时间自监督训练中同时保住 Global Feature 与 Dense Feature。

在数据方面，DINOv3 从约 170 亿张公开 Instagram 图片构成的 Raw Pool 出发。 作者一方面使用基于 DINOv2 Embedding 的分层 K-Means 与 Balanced Sampling 构造了 16.89 亿张图片的 LVD-1689M，另一方面使用下游数据作为 Seed 进行 Retrieval Curation，并混入 ImageNet 与 Mapillary 等公开数据。 训练时还特意保留 10% 的 ImageNet-1k Homogeneous Batch，以兼顾数据多样性与高质量视觉概念。

训练目标基本继承了 DINOv2，由 Image-Level 的 DINO Loss、Patch-Level 的 iBOT Loss 以及用于分散特征的 Distributed KoLeo Regularization 组成。 主模型是 6.7B 参数的 ViT-7B，共 40 个 Transformer Block，Embedding Dimension 为 4096，Patch Size 为 16，并保留 4 个 Register Token。 位置编码改为带 Box Jitter 的 RoPE，使输入坐标范围在训练中随机缩放，从而提高模型对 Resolution、Scale 与 Aspect Ratio 的鲁棒性。 优化上去掉了 Cosine Schedule，Learning Rate、Weight Decay 与 Teacher EMA Momentum 在 Warmup 后保持不变，因此不必在训练前确定最终的 Optimization Horizon。

DINOv3 最重要的 Insight 是发现：随着训练继续，ImageNet Classification 等 Global Metric 会持续变好，但 Segmentation 等 Dense Task 在约 20 万 Iteration 后反而开始退化。 从 Patch Similarity Map 可以看到，后期模型会让大量无关 Patch 具有很高的相似度，Patch Feature 逐渐失去 Locality。 这并不是 DINOv2 中 High-Norm Outlier 的同一个问题，即使加入 Register Token，长训时的 Patch-Level Consistency 仍然会崩坏。

为了解决这个问题，作者提出了 Gram Anchoring。 具体来说，将同一张图中所有 L2-Normalized Patch Feature 两两做内积，得到描述 Patch 关系的 Gram Matrix；然后让当前 Student 的 Gram Matrix 去匹配一个训练早期、Dense Feature 更干净的 Gram Teacher。 这样只约束 Patch 之间的相对结构，而不会强迫 Student 逐点复制 Teacher Feature，因此 Global Representation 仍然可以继续学习。 在 100 万 Iteration 后加入 Gram Loss，也可以很快修复已经明显退化的 Dense Feature。

作者还让 Gram Teacher 处理两倍分辨率的图像，再将 Feature Map 下采样到 Student 的尺寸。 这种方式可以把高分辨率下更平滑、更局部一致的 Patch 关系蒸馏回 Student，在 ADE20k 上相比普通 Gram Anchoring 又提高约 2 mIoU。 随后，DINOv3 使用 512/768 等混合分辨率进行短暂的 High-Resolution Post-Training，使模型在训练分辨率之外、甚至 4K 图像上仍能产生稳定的 Feature Map。

为了便于实际部署，作者又把 ViT-7B 蒸馏为 ViT-S、ViT-B、ViT-L、ViT-H+ 等不同规模的模型，并提出 Multi-Student Distillation，让多个 Student 共享一次昂贵的 Teacher Forward。 此外，DINOv3 也可以冻结视觉 Backbone，仅训练 Text Encoder 与顶部两层 Transformer，通过拼接 [CLS] 与 Mean-Pooled Patch Feature 完成 Image-Text Alignment，从而获得 Zero-Shot 能力。

实验中大多数场景都冻结 DINOv3 主干，只训练线性层或轻量 Decoder。 仅使用 Linear Probe，DINOv3-7B 在 ADE20k、Cityscapes 与 VOC 上分别达到 55.9、81.1 与 86.6 mIoU，同时在 NYUv2 与 KITTI 的单目深度估计上超过 DINOv2。 它的 Dense Feature 还在 3D Correspondence、Unsupervised Object Discovery 与 Video Segmentation Tracking 上取得了最优结果；例如 DAVIS 的 $J\&F$ 达到 83.3，比 DINOv2 高 6.7。 将它作为冻结 Backbone 接入 Plain-DETR、Mask2Former 或 Depth Anything，也能达到或刷新 Object Detection、Semantic Segmentation 与 Relative Depth 的 SOTA。 对于 Embodied AI 来说，这种稳定的高分辨率局部特征、几何对应关系和 Sim-to-Real 能力，可能比单纯提高 Image Classification Accuracy 更有价值。

DINOv3 的代价是非常高的训练成本：单次 ViT-7B 预训练约消耗 47MWh，论文估计整个项目约使用 900 万 GPU Hours，并产生约 2600 吨二氧化碳当量。 纯视觉自监督对文字与 Glyph 的建模仍弱于 Image-Text Supervision；公平性评估中，低收入地区相对高收入地区仍有约 23% 的性能差距，欧洲与非洲之间也存在超过 14% 的差距。

现有 PI-like VLA 通常将 VLM 作为 System 2，再外挂一个独立的 Diffusion Policy 作为 System 1。 虽然 Action Expert 很轻量，但它没有经过 Internet-Scale Pre-Training，只能被动接收 VLM 提取出的 Feature，无法直接继承 VLM 内部的知识。 FiS-VLA 的核心想法是 Fast-in-Slow：保留完整 VLM 负责慢速推理，同时把 VLM 最后的若干个 Transformer Block 复用为快速执行模块，让 System 1 本身也来自预训练模型。

FiS-VLA 从 Prismatic VLM 初始化，视觉编码器同时使用 SigLIP 与 DINOv2，分别提取高层语义与局部空间特征。 它还加入了轻量的 3D Tokenizer，通过 FPS、KNN 与 Linear Layer 将单目 Depth 恢复出的 Point Cloud 转为 Token，再复用同一个 Vision Encoder 映射到 LLM Space。 LLM Backbone 是具有 32 个 Block 的 LLaMA2-7B；论文默认从中间层读取 System 2 的 Latent，并将最后少量 Block 作为 System 1。 Robot State、Diffusion Timestep 与 Noised Action 则分别经过 MLP 投影为连续 Token。

两个系统使用不同的输入与运行频率。 System 2 低频读取 2D Image 与 Language Instruction，依靠完整 VLM 进行场景理解和上下文推理，并输出 Intermediate Latent。 System 1 高频读取最新的 2D Image、3D Point Cloud 与 Robot State，再结合一段时间内复用的 System 2 Latent，通过 Diffusion 生成连续 Action Chunk。 训练时使用 Asynchronous Sampling，让 System 1 学会在 System 2 尚未更新的情况下，仍然正确理解较早的高层 Condition。

由于 System 1 与 System 2 共享模型参数，只训练 Diffusion Action Loss 会破坏 VLM 原有的自回归能力。 因此 FiS-VLA 提出了 Dual-Aware Co-Training：$L_{fast}$ 使用 Diffusion Denoising Loss 学习连续动作，$L_{slow}$ 使用 Next-Token Prediction 继续监督 System 2 输出离散动作或 Language Plan，最终联合优化两个目标。 这种设计既让 System 1 学会实时控制，也降低了 System 2 发生灾难性遗忘的风险。

预训练数据来自 OXE、DROID 与 RoboMIND 等跨 Embodiment 数据集，过滤后包含超过 86 万条轨迹。 预训练阶段由于缺少 Subgoal Annotation，System 2 先学习离散 Action Token；在下游微调中再加入人工标注并自动增强的 Sub-Task Plan，使它获得更明确的语言推理监督。

在 RLBench 的 10 个任务上，FiS-VLA 的平均成功率为 69%，高于 CogACT 的 61% 与 $\pi_0$ 的 55%。 Action Chunk 为 1 时，它在 RTX 4090 上达到 21.9Hz，分别高于 CogACT 的 9.8Hz 和 $\pi_0$ 的 13.8Hz；Action Chunk 为 8 时，控制频率可以达到 117.7Hz。 在真实双臂任务中，FiS-VLA 在 Agilex 与 AlphaBot 上分别取得 68% 与 74% 的平均成功率，而 $\pi_0$ 分别为 59% 与 61%。 面对 Unseen Object、复杂背景以及光照扰动时，FiS-VLA 的性能下降也普遍小于 $\pi_0$。

消融实验比较有说服力：将两个 VLM Block 用于 System 1 后性能基本趋于饱和；Robot State、2D Image 与 3D Point Cloud 都会带来增益；System 2 与 System 1 的 1:4 更新比例在速度与性能之间最好。 如果移除 $L_{slow}$，平均成功率会从 69% 降到 62%，说明保留慢系统的推理表示确实会反过来改善快系统的控制。

FiS-VLA 目前仍然静态指定 System 1 共享多少个 Block，以及两个系统以什么频率协作。 不同任务对推理深度与反应速度的需求并不相同，因此如何根据任务难度与环境变化动态调整共享参数和更新频率，是这套架构下一步需要解决的问题。

VIMA 的具体做法就是将 Robotic Manipulation 任务规范为 Multi-Modal Prompt。 Multi-Modal Prompt 具体实现为 Vision 与 Text 的排列组合，文中考虑了6种任务类别。 由于时代的局限，当时没有 Multi-Modal 的 Robotic Task 的 Benchmark。 于是，该团队提出了VIMA-Bench，可以通过脚本化的 Oracle 智能体生成大量的模仿学习数据。

VIMA 这个工作比较早期，所以只使用了 T5 进行 Vision 与 Text 的 Fusion。 对于 Text，采用预训练的 T5 词嵌入获取 Text Token。 对于 Scene Vision，首先使用领域微调的 Mask R-CNN 来提取物体，然后经过 ViT 编码成 Scene Token。 对于 Object Vision，和 Scene Vision一样的方式，编码为 Object Token。 经过 T5 模型，可以得出 Prompt Tokens。

VIMA 控制器采用了 Decoder-Only 的架构，于 Decision Transformer 类似，采用序列建模的方式。 VIMA 控制器以 History 为输入，输出 Action。 这部分与 Fusion 相似，被处理成了若干的 Vision Token，然后与机器人的 Joint Position 以及 Action 拼接，形成 History Token。 在推理过程中，经过了多层的 Self-Attention 与 Cross-Attention 结构，自回归产生下一步的 Action。 在 Cross-Attention 模块中，Prompt Tokens 被投影至 $K_{\mathcal{P}}$ 和 $V_{\mathcal{P}}$，并使用 History 投影的 $Q_{\mathcal{H}}$查询。

SayCan 是任务规划的早期工作。任务规划就是给一个高级任务指令，分解为一系列机器人可执行的下游任务。 很显然，具有强泛化能力的 LLM 非常适合做这个任务，但也有一些问题。 最主要的问题就是 LLM 无法识别到物理世界，从而产生一些机器人无法执行的任务，也就是幻觉问题。

为了解决这个问题，SayCan 引入了 RL 中的 Value Function，表示为在当前状态下执行成功某个 skill 的成功率。 在 SayCan设置的场景中，机器人有固定的 skill 集合，每次从里面选择一个 skill 执行。 直接让 LLM 输出需要执行的 skill 是不保险的，因为可能输出 skill 集合中没有的 skill。 所以，SayCan 不再让 LLM 去输出下一步执行的 skill，而是让 LLM 给所有的 skill 进行评分。 同时，SayCan 会给 LLM 一些 Example Prompt，让 LLM 能够更加有效地提取知识。 最后将两者结合，去选择机器人应该执行的 skill。

PaLM-E 做的事情很简单，就是在 PaLM 的基础上添加若干的视觉编码组件，如 ViT、OSRT等。 然后，使用 VQA 与机器人场景数据进行 Co-Training，这样就得到了一个通用的 VLM，可以处理多种任务。 在机器人场景下，PaLM-E 可以发挥 Planning 的作用。

PaLM-E 其实没有多少的 insight，主要是在输入上做处理，具体可以去看原文。 但 PaLM-E 的效果很好，在 Planning 任务中薄纱了当时的 SayCan，且有跨任务的能力。

ViLA 的思路非常简单，就是告诉 VLM 当前要执行的 Task 以及 Obs，然后使用 Prompt 输出 CoT 形成 Task Planning， 然后维护 TODO List，每次执行 TODO List 中的第一条 Low-level Task，不断循环直到任务结束。

ViLA 的思路虽然简单，但是有用且本质，非常具有启发性。

CoPa 结合了许多种方法，让机器人直接输出 Action 去完成 high-level 任务。 CoPa 将大多数操作任务分为任务导向抓取和运动规划两个阶段。

在”任务导向抓取”中，分为粗粒度 Object 锚定和细粒度 Grasp 锚定。 在粗粒度 Object 锚定中，先使用 SoM 去分割出 Obs 中的可抓取 Object，然后再使用 GPT-4V 去筛选最终抓取 Object。 在细粒度 Grasp 锚定中，使用同样的方式去筛选最终 Grasp 的位置。

进一步，CoPa 使用 GraspNet 去生成机器人的候选抓取姿态，并使用 Grasp 锚定进行筛选。

在”任务运动规划”中，首先采用同样的锚定方式识别多个任务相关的部件。 然后，使用 GPT-4V 生成操作约束限制。 最后，可以得出一系列的 SE(3) 的矩阵，求可以得出抓取姿态。

PointLLM 主要有两个贡献，第一个是提出了基于 Prompt 的 3D LLM 问答数据标注方法，第二点是训练一个 3D 点云版本的 VLM。 由于时代的局限性，当时没有用于 3D 点云用于 LLM 问答的数据集。 于是，这篇工作基于 Cap3D 数据集，基于 Prompt 使用 VLM 对数据进行标注。 随后，PointLLM 使用这份数据训练了一个 3D 点云版本的 VLM，如框架图所示。

EmbodiedGPT 是一个端到端的决策模型，并且具有跨任务的能力，如 TAMP、VQA 等。 下面简单描述一下 EmbodiedGPT 的工作流，可以分为 Planning 和 low-level 决策执行阶段。

对于 Planning 阶段，EmbodiedGPT 首先使用 ViT 对图像信息进行编码得出 Vision Token。 然后，Vision Token 与可学习的 Embodied Token 经过 Q-Former 进行 Fusion。 最后，Fusion 后的信息与 Text Prompt 一同输入到 LLaMA3 中得出 Planning Text。

对于 low-level 决策执行阶段，Planning Token、Embodied Token 以及 Vision Token 再次在 Q-Former 进行 Fusion，得出 Instance Information。 同时，为了捕获全局信息，图像信息经过 ImageNet 预训练的 ResNet50 进行全局平均池化特征提取，得出 Global Information。 最后，这两个 Information 拼接在一起，并输入到 low-level 的决策网络中，以输出 low-level action。

EmbodiedGPT 的亮点是借助 Q-Former 将 Planning 的信息融入了 low-level 的决策中。

RT-Trajectory 做的事情很简单，就是使用运动 Trajectory 去代替了 RT-1 中的 Text Instruction。 在具体实现中，Trajectory 被表示为一张 轨迹图像。 在训练过程中，使用从数据集中标注的 Trajectory 图像，文中给出了详细的标注方法。 而在推理过程中，提供了三种方式去得出 Trajectory 图像，详细见图。

RT-Trajectory 这篇工作证明了，在 low-level 控制中使用 Text 进行引导可能不是最优的选择，这种 Trajectory 引导能够处理更加细粒度的控制。 同时，RT-Trajectory 缺点也很明显，在推理过程中，无法保证 Trajectory 是合理的，特别是将 3D Trajectory 映射为 2D 图像，会存在失真的现象。

Im2Flow2Act 是一个 End-to-End 的模型，其核心思想是基于 Object Flow 去生成 low-level policy。

Im2Flow2Act 首先基于 Task Description 以及 初始 Frame 去生成 Object Flow。对于初始 Frame，使用 DINO 去检测出 Object 的框图，然后在框图中均匀采样 Points ，作为 Object Flow 的初始 Points。之后，以初始 Frame、初始 Points 以及 Task Description 为 Condition，使用视频生成模型 AnimateDiff 去生成 Object Flow。

为了确保实时感知，Im2Flow2Act 首先根据初始 Frame 以及当前 Frame 使用点追踪算法 TAPIR 去捕获 Object 的当前的 Keypoints。随后，使用 BERT-like 的状态编码器将 Keypoints 压缩为 [CLS]。同时，为了进行时间对齐，也就是让机器人自己做到哪里了，Im2Flow2Act 使用了一个 Transformer 将 Object Flow、[CLS]以及机器人 Joint Position 编码成 Latent。最后，以 Latent、[CLS]以及 Joint Position 为 Condition，使用 DP 去生成 Action Chunk。

这篇工作比 RT-Trajectory 更加有细粒度，但还是存在 3D 歧义的问题。