RTC

RTC: Real-Time Execution of Action Chunking Flow Policies (NeurIPS 2025)

Motivation

基于 Diffusion Policy 和 Flow Matching 的 VLA 普遍采用 Action Chunking 来提升高频控制的时序一致性。然而，这些大模型单次生成 action chunk 的计算耗时 $\delta$ 往往显著大于底层控制器的控制周期 $\Delta t$ （ $\delta \gg \Delta t$ ），引发了物理交互中的实时性困境：

同步推理：机器人必须在执行完当前 chunk 后停下等待新 chunk 计算完成，不仅大幅降低任务吞吐量，还会破坏高动态任务中的物理动量。
Naive 异步推理：在执行前一个 chunk 的同时后台异步生成下一个 chunk。但在多模态动作分布下，相邻 chunk 容易采样到完全不同的动作轨迹分支（Mode），导致 chunk 切换边界出现剧烈的加速度突变和跳变抖动。
Temporal Ensembling 的局限：传统方法采用重叠段动作加权平均。但在多峰分布场景（例如向左绕障 vs 向右绕障）或大延时下，对不同 mode 简单求均值会生成严重 OOD 的无效动作，极易引发机械臂剧烈共振甚至触发底层安全急停。

核心矛盾在于：如何在后台异步生成新 Chunk 的同时，强制其与前序正在执行的动作保持平滑连续，且不陷入多模态平均的无效区域？

Contribution

提出 RTC（Real-Time Chunking），一种专为 Diffusion / Flow Matching 策略设计的推理期方法，在无需重新训练的前提下实现平滑的异步控制：

Asynchronous Inpainting 建模：将异步生成下一段 chunk 形式化为动作空间的 Inpainting 问题。后台生成新 chunk 时，将推理延迟期间“注定会被执行”的前序动作作为已知前缀进行“冻结”，并引导新 chunk 的剩余部分向该前缀平滑对齐。
Soft Masking 机制：抛弃硬性的 0/1 截断掩码，提出指数衰减的 Soft Mask。前序必执行动作给予权重 1（严格保持连续），中间过渡段权重平滑衰减（允许策略根据新信息适度偏离重规划），末尾新动作权重为 0（完全由 Policy 自由探索）。
Guided Flow Matching 与 Weight Clipping：在 Flow Matching 的逆向 ODE 积分中引入伪逆引导（Pseudoinverse Guidance）来修正速度场；同时引入 Guidance Weight Clipping，解决了去噪初期（ $t \approx 0$ ）梯度爆炸与数值不稳定问题。
Zero Retraining 开箱即用：纯推理期优化，不改动模型权重与网络架构，可无缝部署到预训练的 $\pi_0$ 、 $\pi_{0.5}$ 及各类 Diffusion Policy 上。

alt text

Limitation

单步去噪算力开销：由于 RTC 需要在 Flow Matching 的每个 denoising step 内部计算引导损失相对隐状态的梯度反向传播，每次推理的计算耗时增加了约 $2.5\times$ 。
模型架构受限：算法强依赖 Diffusion / Flow Matching 具备连续隐空间演化与梯度可微引导的特性，无法直接应用于离散 Token 自回归生成的纯 Transformer VLA 。
视觉观测滞后：与多数异步方案类似，新 chunk 的视觉输入 $o_t$ 依然采集自推理发起时刻。尽管 RTC 保证了机械臂本体运动学的平滑过渡，但在面对外界环境高速不确定性突变时，视觉信息仍然存在推理延迟导致的陈旧性。

Architecture

Background

设策略预测的 Action Chunk 为：

A = (a_0, a_1, \dots, a_{H-1}) \in \mathbb{R}^{H \times D}

其中 $H$ 为 Prediction Horizon。每次策略只执行前 $s$ 个动作（Execution Horizon， $s \le H$ ）。

设单次推理耗时折合为 $d$ 个控制步。在异步执行架构下：

控制器在第 $t$ 步发起下一次推理；
在推理计算耗时 $d$ 步期间，机器人必须依赖上一个正在执行的 chunk $A^{prev}$ 中尚未执行完毕的动作 $a_{t:t+d-1}^{prev}$ ；
当新 chunk $A^{new}$ 在 $t+d$ 时刻生成完毕并接入控制器时， $A^{new}$ 的前 $d$ 个动作实际上对应的时间戳已经过去。

Problem Formulation as Inpainting

RTC 将上述重叠动作对齐问题定义为在生成 $A^{new}$ 时施加一致性约束：

W \odot A^{new} \approx W \odot A^{prev}_{\text{overlap}}

其中 $W \in [0, 1]^H$ 为各控制步的掩码权重向量。

Soft Masking Design

如果采用硬掩码，会导致过渡段过于生硬或模型生成分布退化。RTC 采用三段式指数衰减 Soft Mask：

W_i = \begin{cases} 1, & 0 \le i < d \quad \text{（推理期必执行的 Frozen Actions）} \\ \exp(-\lambda (i - d)), & d \le i < H - s \quad \text{（平滑过渡与重规划区）} \\ 0, & H - s \le i < H \quad \text{（全新未来动作区）} \end{cases}

$i < d$ ：前 $d$ 步动作在推理完成前必然已被执行，必须严格对齐以保证轨迹一阶/二阶导数连续。
$d \le i < H-s$ ：处于两段 chunk 的交叉重叠期，权重逐渐衰减，赋予策略脱离旧轨迹、根据新观测调整动作的自由度。
$i \ge H-s$ ：旧 chunk 已经没有对应动作，权重置 0，完全由策略自由生成。

Guided Flow Matching ( $\Pi\text{GDM}$ )

以条件流匹配为例，前向去噪过程由可学习的速度场 $v_\theta(z_t, t)$ 控制：

\frac{\mathrm{d}z_t}{\mathrm{d}t} = v_\theta(z_t, t)

在每一步数值积分中，策略预测终点动作估计值 $\hat{z}_1(z_t, t)$ 。RTC 通过添加基于约束梯度的引导项修正速度场：

v_{\text{guided}}(z_t, t) = v_\theta(z_t, t) - \gamma_t \nabla_{z_t} \mathcal{L}(z_t)

其中引导损失函数为加权均方误差：

\mathcal{L}(z_t) = \frac{1}{2} \| W \odot (\hat{z}_1(z_t, t) - A^{prev}_{\text{overlap}}) \|_2^2

Guidance Weight Clipping：由于在去噪早期（ $t \to 0$ 时）， $\hat{z}_1$ 的预测方差极大，直接计算梯度会导致数值爆炸。RTC 对引导权重进行截断处理：

\gamma_t = \min\left(\gamma_{\text{base}} \cdot \frac{t}{1 - t}, \ \gamma_{\text{max}}\right)

从而保证了整个逆向扩散过程的平滑与数值稳定性。

Experiments

Setup

算法基线：Sync（同步执行）、Naive Async（朴素异步）、Temporal Ensembling（TE，时序平滑均值）、Bidirectional Decoding（BID）。
策略骨干： $\pi_{0.5}$ （Flow-matching VLA）、Diffusion Policy。
仿真评测：Kinetix 动力学物理仿真平台（包含 12 个强依赖接触力与速度的高动态任务）。
真实评测：双臂机器人（Bimanual Manipulation），评测 6 项对连续性与精度极度敏感的复杂长程/接触任务（如划火柴 Lighting a match、点蜡烛、双臂动态插装等）。
延迟鲁棒性测试：注入人工延时（Injected Delay: +100ms, +200ms, +300ms）。

Results

极佳的延迟鲁棒性：在 Kinetix 高动态任务中，当推理延迟达到 Prediction Horizon 的 50% 时，RTC 依旧维持高成功率；而 Naive Async 和 BID 性能断崖式下跌，Temporal Ensembling 则因平均多模态动作导致彻底失效。
消除多模态均值抖动：在真实双臂划火柴等任务中，Temporal Ensembling 在延迟增加时会产生严重的关节震荡，导致机械臂急停；RTC 的 Soft Mask 机制生成了极其平滑的位置、速度和加速度曲线。
真实任务吞吐量（Task Throughput）：在保持甚至提升任务成功率的同时，RTC 彻底消除了同步模式下的 Stop-and-go 停顿，任务完成速率大幅提升。

执行模式	额外注入延时	划火柴 (Match Lighting) 成功率	运动曲线平滑度	吞吐效率 (Throughput)
Sync	0ms	65%	停顿明显 (Stop-and-Go)	基准 (1.0x)
Temporal Ensembling	+100ms	0%（剧烈振荡保护停机）	严重抖动 / 震荡	失败
Naive Async	+100ms	20%	边界跳变 (Mode-jumping)	中等
RTC (Ours)	+100ms / +200ms	85%+	极其平滑连续	高 (大幅提升)

RTC