--- title: DuoCore-FS link: https://arxiv.org/abs/2512.20188 doi: arXiv:2512.20188 status: "阅读中" doc_type: paper tags: [实时VLA, 异步控制, 快慢系统, Whole-Body Manipulation, Action Tokenizer, Latent Buffer] date: 20260701 --- # Asynchronous Fast-Slow Vision-Language-Action Policies for Whole-Body Robotic Manipulation (Arxiv 2025) [Paper](https://arxiv.org/pdf/2512.20188) --- ## Motivation 现有 VLA 通常把视觉语言推理和动作生成放在同一个同步循环里：每次观测后先让 VLM / policy 推理，再输出一个 action 或 chunk，机器人执行完后进入下一轮。这种单频同步范式在全身机器人上会被放大成实时性瓶颈。 核心矛盾是高层语义推理和底层控制的频率需求不同： - **慢语义模块**：大规模 VLM 需要处理语言、多视角图像和长程任务意图，推理延迟高，但语义目标不一定需要每 30 Hz 更新。 - **快控制模块**：全身操控同时涉及双臂、夹爪、躯干、头部和移动底座，动作空间更大，视角变化更剧烈，需要稳定的高频连续控制。 - **同步执行问题**：如果把两者强制绑在同一频率，快模块会被慢模块拖住，表现为动作停顿、响应迟滞、chunk 边界不连续，甚至在移动底座和躯干协同时造成轨迹偏移。 ## Contribution ![alt text](asserts/DuoCore-FS/figure-01.png) ![alt text](asserts/DuoCore-FS/figure-02.png) - **DuoCore-FS 异步快慢系统**：将高层 VLM 推理和低层动作生成拆成两个并行路径。Slow Pathway 低频运行，负责语义理解、任务规划和动作意图；Fast Pathway 高频运行，负责实时生成连续全身动作。 - **Latent Representation Buffer**：在快慢路径之间加入潜空间缓存，保存与当前任务、视觉场景和动作意图对齐的 latent representation。Fast Pathway 不等待 Slow Pathway 完成每次推理，而是读取最新可用 latent 作为高层条件。 - **Whole-Body Action Tokenizer**：把双臂、夹爪、躯干、头部和移动底座等全身 DoF 压缩为统一的离散动作 token，使慢路径可以用紧凑动作表征表达全身动作意图。 ## Limitation - **缓存 stale 的风险**：Latent Buffer 解决了等待慢模型的问题，但也引入了表征过期风险。如果物体突然被移走、目标状态快速变化或外力强干扰发生，Fast Pathway 可能在短时间内继续按照旧 latent 执行。 - **快慢路径的一致性边界不清晰**：论文的核心是异步解耦，但系统仍需要判断什么时候 latent 已经过期、什么时候必须打断或重算。这个 invalidation / refresh 机制如果不够强，会影响闭环纠错能力。 --- ## Architecture ### Input 系统输入是异构多模态流： 1. **语言指令**：用户给出的自然语言任务，例如“把桌上的水杯拿到厨房”。 2. **多视角视觉**：头部相机、腕部相机等 RGB 图像，视角会随头部、手臂和底座运动持续变化。 3. **机器人本体状态**：全身关节位置、速度、夹爪状态，以及移动底座状态。 ### Output - **Slow Pathway**：输出动作 token 和语义 latent representation，并写入 Latent Buffer。 - **Fast Pathway**：以 **30 Hz** 输出连续 whole-body action chunks，控制双臂（14 DoF）、夹爪、躯干（4 DoF）、头部（2 DoF）和全向移动底座（3 DoF）。 ### Method #### Fast-Slow 异步执行 Slow Pathway 类似 System 2，低频运行，负责多模态理解、长程任务约束和动作意图生成。Fast Pathway 类似 System 1，高频运行，负责根据当前视觉、本体状态和最新 latent 生成可执行动作。 关键不是简单地把模型拆成两个线程，而是让两条路径有不同的更新频率： - Slow Pathway 可以花更长时间做更强的语义推理。 - Fast Pathway 不阻塞等待 Slow Pathway，每个控制周期都能输出动作。 - 两者通过 latent 条件连接，而不是通过同步动作 token 串行连接。 #### Latent Representation Buffer Slow Pathway 将当前语言指令、视觉场景和动作意图编码为 latent representation，并写入 buffer。Fast Pathway 在每次动作生成时读取最新 latent，同时结合高频观测和机器人状态。 这样做相当于把“大模型推理延迟”从控制闭环里移出去：慢模型负责更新高层条件，快模型负责实时闭环控制。代价是系统必须接受 latent 存在短暂滞后，因此 buffer 的刷新频率、有效期和异常重算策略会直接影响鲁棒性。 #### Whole-Body Action Tokenizer 全身机器人动作维度高，直接让慢 VLM 处理所有连续控制量会很低效。Action Tokenizer 将全身动作压缩成离散 token，使慢路径可以在较低频率上表达动作意图，快路径再把该意图转为连续控制。 这个设计的作用更接近“语义动作接口”：慢路径不需要输出每个关节的细粒度控制，只需要提供可被快路径消费的紧凑动作条件。 #### 三阶段训练 Pipeline 1. **持续 VLM 预训练**：增强空间理解、轨迹预测和具身规划能力。 2. **跨机器人联合训练**：混合 cross-embodiment 数据和视觉语言数据，提升动作与语义之间的对齐能力。 3. **全身动作微调**：在目标机器人平台上做 whole-body action alignment，使策略适配 Astribot S1 的具体自由度和动力学约束。 --- ## Experiments ### Setup - **平台**：Astribot S1 移动双臂机器人。 - **自由度**：双 7-DoF 手臂、夹爪、4-DoF 躯干、2-DoF 头部、3-DoF 全向底座。 - **基线**：同步 fast-slow VLA 架构，即慢语义推理和快动作生成仍在同步链路里耦合。 - **目标指标**：动作生成频率、任务成功率、真实机器人交互响应速度和全身控制稳定性。 ### Results - **实时性**：在使用 3B 级 VLM slow system 的情况下，Fast Pathway 仍能维持 **30 Hz** whole-body action chunk 生成。 - **速度提升**：相对同等模型规模的同步 VLA，动作生成速度约提升 **3x**。 - **控制表现**：在大范围移动、多关节协同、腕部视角快速变化的真实操控任务中，异步机制提高了控制连续性和任务成功率。 --- ## My Takeaways ### fast system 性能可靠吗？ 将 vlm 抽离出来， fast system 的视觉输入为了高频可能是一个极小的 transformer 特征提取器（Encoder），相对于 vlm (Decoder) 效果区别差距？