DuoCore-FS

Asynchronous Fast-Slow Vision-Language-Action Policies for Whole-Body Robotic Manipulation (Arxiv 2025)

Paper

---

Motivation

现有 VLA 通常把视觉语言推理和动作生成放在同一个同步循环里：每次观测后先让 VLM / policy 推理，再输出一个 action 或 chunk，机器人执行完后进入下一轮。这种单频同步范式在全身机器人上会被放大成实时性瓶颈。

核心矛盾是高层语义推理和底层控制的频率需求不同：

• 慢语义模块：大规模 VLM 需要处理语言、多视角图像和长程任务意图，推理延迟高，但语义目标不一定需要每 30 Hz 更新。
• 快控制模块：全身操控同时涉及双臂、夹爪、躯干、头部和移动底座，动作空间更大，视角变化更剧烈，需要稳定的高频连续控制。
• 同步执行问题：如果把两者强制绑在同一频率，快模块会被慢模块拖住，表现为动作停顿、响应迟滞、chunk 边界不连续，甚至在移动底座和躯干协同时造成轨迹偏移。

Contribution

• DuoCore-FS 异步快慢系统：将高层 VLM 推理和低层动作生成拆成两个并行路径。Slow Pathway 低频运行，负责语义理解、任务规划和动作意图；Fast Pathway 高频运行，负责实时生成连续全身动作。
• Latent Representation Buffer：在快慢路径之间加入潜空间缓存，保存与当前任务、视觉场景和动作意图对齐的 latent representation。Fast Pathway 不等待 Slow Pathway 完成每次推理，而是读取最新可用 latent 作为高层条件。
• Whole-Body Action Tokenizer：把双臂、夹爪、躯干、头部和移动底座等全身 DoF 压缩为统一的离散动作 token，使慢路径可以用紧凑动作表征表达全身动作意图。

Limitation

• 缓存 stale 的风险：Latent Buffer 解决了等待慢模型的问题，但也引入了表征过期风险。如果物体突然被移走、目标状态快速变化或外力强干扰发生，Fast Pathway 可能在短时间内继续按照旧 latent 执行。
• 快慢路径的一致性边界不清晰：论文的核心是异步解耦，但系统仍需要判断什么时候 latent 已经过期、什么时候必须打断或重算。这个 invalidation / refresh 机制如果不够强，会影响闭环纠错能力。

---

Architecture

Input

系统输入是异构多模态流：

1. 语言指令：用户给出的自然语言任务，例如“把桌上的水杯拿到厨房”。
2. 多视角视觉：头部相机、腕部相机等 RGB 图像，视角会随头部、手臂和底座运动持续变化。
3. 机器人本体状态：全身关节位置、速度、夹爪状态，以及移动底座状态。

Output

• Slow Pathway：输出动作 token 和语义 latent representation，并写入 Latent Buffer。
• Fast Pathway：以 30 Hz 输出连续 whole-body action chunks，控制双臂（14 DoF）、夹爪、躯干（4 DoF）、头部（2 DoF）和全向移动底座（3 DoF）。

Method

Fast-Slow 异步执行

Slow Pathway 类似 System 2，低频运行，负责多模态理解、长程任务约束和动作意图生成。Fast Pathway 类似 System 1，高频运行，负责根据当前视觉、本体状态和最新 latent 生成可执行动作。

关键不是简单地把模型拆成两个线程，而是让两条路径有不同的更新频率：

• Slow Pathway 可以花更长时间做更强的语义推理。
• Fast Pathway 不阻塞等待 Slow Pathway，每个控制周期都能输出动作。
• 两者通过 latent 条件连接，而不是通过同步动作 token 串行连接。

Latent Representation Buffer

Slow Pathway 将当前语言指令、视觉场景和动作意图编码为 latent representation，并写入 buffer。Fast Pathway 在每次动作生成时读取最新 latent，同时结合高频观测和机器人状态。

这样做相当于把“大模型推理延迟”从控制闭环里移出去：慢模型负责更新高层条件，快模型负责实时闭环控制。代价是系统必须接受 latent 存在短暂滞后，因此 buffer 的刷新频率、有效期和异常重算策略会直接影响鲁棒性。

Whole-Body Action Tokenizer

全身机器人动作维度高，直接让慢 VLM 处理所有连续控制量会很低效。Action Tokenizer 将全身动作压缩成离散 token，使慢路径可以在较低频率上表达动作意图，快路径再把该意图转为连续控制。

这个设计的作用更接近“语义动作接口”：慢路径不需要输出每个关节的细粒度控制，只需要提供可被快路径消费的紧凑动作条件。

三阶段训练 Pipeline

1. 持续 VLM 预训练：增强空间理解、轨迹预测和具身规划能力。
2. 跨机器人联合训练：混合 cross-embodiment 数据和视觉语言数据，提升动作与语义之间的对齐能力。
3. 全身动作微调：在目标机器人平台上做 whole-body action alignment，使策略适配 Astribot S1 的具体自由度和动力学约束。

---

Experiments

Setup

• 平台：Astribot S1 移动双臂机器人。
• 自由度：双 7-DoF 手臂、夹爪、4-DoF 躯干、2-DoF 头部、3-DoF 全向底座。
• 基线：同步 fast-slow VLA 架构，即慢语义推理和快动作生成仍在同步链路里耦合。
• 目标指标：动作生成频率、任务成功率、真实机器人交互响应速度和全身控制稳定性。

Results

• 实时性：在使用 3B 级 VLM slow system 的情况下，Fast Pathway 仍能维持 30 Hz whole-body action chunk 生成。
• 速度提升：相对同等模型规模的同步 VLA，动作生成速度约提升 3x。
• 控制表现：在大范围移动、多关节协同、腕部视角快速变化的真实操控任务中，异步机制提高了控制连续性和任务成功率。

---

My Takeaways

fast system 性能可靠吗？

将 vlm 抽离出来， fast system 的视觉输入为了高频可能是一个极小的 transformer 特征提取器（Encoder），相对于 vlm (Decoder) 效果区别差距？