Skip to content

FASTER: Rethinking Real-Time Flow VLAs (Arxiv 2026)

Section titled “FASTER: Rethinking Real-Time Flow VLAs (Arxiv 2026)”

Paper


  • 痛点:基于 Flow Matching 的 Action Chunking VLA 虽然保证了动作多峰分布与高精度,但在动态交互场景下面临严重的反应延迟瓶颈。
  • Constant Schedule 的缺陷:对整段 Chunk 内所有动作分配相同的全局去噪步长。机器人必须等待全部多步 ODE 求解完成后才能拿到第一个动作 a1a_1,导致 TTFA 过长,无法应对突发动态环境。

alt text

  • 洞察:动作 Chunk 内不同时间步的去噪复杂度具有非对称性。Near-term Actions 受当前视觉条件约束强,流线更趋近直线,仅需单步即可高精度求解;而 Long-horizon Actions 才需要多步求解来保证轨迹平滑与长程质量。

alt text

  1. 反应时间量化:分析 Action Chunking 架构下反应延迟的物理机理,建模 TTFA 与 Execution Horizon 对闭环控制的影响。

alt text

  1. Horizon-Aware Schedule (HAS):解耦动作块各帧的去噪进度。首个动作仅需单步求解(t:1→0t: 1 \to 0)即下发执行,实现 TTFA 约 10 倍加速,后续动作随时间逐步多步细化。
  2. Mixed Schedule 微调:在不改变损失函数与模型结构的前提下,通过混合异构时步与恒定时步分布进行微调,消除训练与推理间的分布偏移。
  3. Streaming Pipeline:打通去噪与执行的异步流水线,首步计算完毕立即下发执行,执行期间后台并行更新 Action Buffer,显著降低消费级 GPU 的部署门槛。

。


完全复用标准的 DiT / Action Expert 架构。

  • 异构时间步向量:
    • 将全局标量 tt 扩展为 Token 级的时间步向量 t=[t(1),t(2),…,t(K)]\mathbf{t} = [t^{(1)}, t^{(2)}, \dots, t^{(K)}]。
    • 每个动作 Token 注入各自的时间步嵌入:
    h(k)=Embed(a(k))+TimeEmbed(t(k))h^{(k)} = \text{Embed}(a^{(k)}) + \text{TimeEmbed}(t^{(k)})
  • 单链非均匀 ODE 积分机制:
    • Step 1:a1a_1 步长取 Δt(1)=1.0\Delta t^{(1)} = 1.0(直接归零),aka_k(k>1k>1)取较小步长。前向传播完成后,立即将已收敛的 a1a_1 提取并推流至执行器。
    • Step 2∼N2 \sim N:固定已执行动作,未完成去噪的远期动作以已收敛 Token 为先验条件,在后续迭代中通过 Self-Attention 持续细化更新。
  • 损失函数:沿用标准 Flow Matching MSE 损失,仅在采样 t\mathbf{t} 时引入异构采样联合分布: LFM=Et,x0,x1[∥vθ(xt,t)−ut(x1∣x0)∥2]\mathcal{L}_{FM} = \mathbb{E}_{\mathbf{t}, \mathbf{x}_0, \mathbf{x}_1} \left[ \| v_\theta(\mathbf{x}_\mathbf{t}, \mathbf{t}) - u_t(\mathbf{x}_1 | \mathbf{x}_0) \|^2 \right]

  • 评估基准与任务:涵盖高动态抓取、轨迹拦截仿真,以及真实物理机器人任务(乒乓球击球、动态接球与扰动恢复)。

  • 核心指标对比:

    alt text

    首动作生成时间相比传统 10-step Constant Schedule 极限情况下最高可降低 10 倍(但是给出的表格最高是 3 倍)。

    alt text alt text

    • 在高动态突发扰动任务中,成功率显著高于原生 Constant Schedule 与 RTC 基线。