---
title: RTC
link: https://arxiv.org/abs/2506.07339
doi: arXiv:2506.07339
status: "已阅读"
doc_type: paper
tags: [实时控制, 异步推理, Action Chunking, Flow Matching, Inpainting, Diffusion Policy, 轨迹连续性]
date: 20260816
---

# RTC: Real-Time Execution of Action Chunking Flow Policies (NeurIPS 2025)

[Paper](https://arxiv.org/pdf/2506.07339)

---

## Motivation
基于 Diffusion Policy 和 Flow Matching 的 VLA 普遍采用 Action Chunking 来提升高频控制的时序一致性。然而，这些大模型单次生成 action chunk 的计算耗时 $\delta$ 往往显著大于底层控制器的控制周期 $\Delta t$（$\delta \gg \Delta t$），引发了物理交互中的实时性困境：

1. **同步推理**：机器人必须在执行完当前 chunk 后停下等待新 chunk 计算完成，不仅大幅降低任务吞吐量，还会破坏高动态任务中的物理动量。
2. **Naive 异步推理**：在执行前一个 chunk 的同时后台异步生成下一个 chunk。但在多模态动作分布下，相邻 chunk 容易采样到完全不同的动作轨迹分支（Mode），导致 chunk 切换边界出现剧烈的加速度突变和跳变抖动。
3. **Temporal Ensembling 的局限**：传统方法采用重叠段动作加权平均。但在多峰分布场景（例如向左绕障 vs 向右绕障）或大延时下，对不同 mode 简单求均值会生成严重 OOD 的无效动作，极易引发机械臂剧烈共振甚至触发底层安全急停。

核心矛盾在于：**如何在后台异步生成新 Chunk 的同时，强制其与前序正在执行的动作保持平滑连续，且不陷入多模态平均的无效区域？**

---

## Contribution
提出 **RTC（Real-Time Chunking）**，一种专为 Diffusion / Flow Matching 策略设计的推理期方法，在无需重新训练的前提下实现平滑的异步控制：

- **Asynchronous Inpainting 建模**：将异步生成下一段 chunk 形式化为动作空间的 Inpainting 问题。后台生成新 chunk 时，将推理延迟期间“注定会被执行”的前序动作作为已知前缀进行“冻结”，并引导新 chunk 的剩余部分向该前缀平滑对齐。
- **Soft Masking 机制**：抛弃硬性的 0/1 截断掩码，提出**指数衰减的 Soft Mask**。前序必执行动作给予权重 1（严格保持连续），中间过渡段权重平滑衰减（允许策略根据新信息适度偏离重规划），末尾新动作权重为 0（完全由 Policy 自由探索）。
- **Guided Flow Matching 与 Weight Clipping**：在 Flow Matching 的逆向 ODE 积分中引入伪逆引导（Pseudoinverse Guidance）来修正速度场；同时引入 **Guidance Weight Clipping**，解决了去噪初期（$t \approx 0$）梯度爆炸与数值不稳定问题。
- **Zero Retraining 开箱即用**：纯推理期优化，不改动模型权重与网络架构，可无缝部署到预训练的 $\pi_0$、$\pi_{0.5}$ 及各类 Diffusion Policy 上。

![alt text](asserts/RTC/image.png)

---

## Limitation
- **单步去噪算力开销**：由于 RTC 需要在 Flow Matching 的每个 denoising step 内部计算引导损失相对隐状态的梯度反向传播，每次推理的计算耗时增加了约 $2.5\times$。
- **模型架构受限**：算法强依赖 Diffusion / Flow Matching 具备连续隐空间演化与梯度可微引导的特性，无法直接应用于离散 Token 自回归生成的纯 Transformer VLA 。
- **视觉观测滞后**：与多数异步方案类似，新 chunk 的视觉输入 $o_t$ 依然采集自推理发起时刻。尽管 RTC 保证了机械臂本体运动学的平滑过渡，但在面对外界环境高速不确定性突变时，视觉信息仍然存在推理延迟导致的陈旧性。

---

## Architecture

### Background
设策略预测的 Action Chunk 为：

$$
A = (a_0, a_1, \dots, a_{H-1}) \in \mathbb{R}^{H \times D}
$$

其中 $H$ 为 Prediction Horizon。每次策略只执行前 $s$ 个动作（Execution Horizon，$s \le H$）。

设单次推理耗时折合为 $d$ 个控制步。在异步执行架构下：
- 控制器在第 $t$ 步发起下一次推理；
- 在推理计算耗时 $d$ 步期间，机器人必须依赖上一个正在执行的 chunk $A^{prev}$ 中尚未执行完毕的动作 $a_{t:t+d-1}^{prev}$；
- 当新 chunk $A^{new}$ 在 $t+d$ 时刻生成完毕并接入控制器时，$A^{new}$ 的前 $d$ 个动作实际上对应的时间戳已经过去。

### Problem Formulation as Inpainting
RTC 将上述重叠动作对齐问题定义为在生成 $A^{new}$ 时施加一致性约束：

$$
W \odot A^{new} \approx W \odot A^{prev}_{\text{overlap}}
$$

其中 $W \in [0, 1]^H$ 为各控制步的掩码权重向量。

### Soft Masking Design
如果采用硬掩码，会导致过渡段过于生硬或模型生成分布退化。RTC 采用三段式指数衰减 Soft Mask：

$$
W_i = 
\begin{cases}
1, & 0 \le i < d \quad \text{（推理期必执行的 Frozen Actions）} \\
\exp(-\lambda (i - d)), & d \le i < H - s \quad \text{（平滑过渡与重规划区）} \\
0, & H - s \le i < H \quad \text{（全新未来动作区）}
\end{cases}
$$

- **$i < d$**：前 $d$ 步动作在推理完成前必然已被执行，必须严格对齐以保证轨迹一阶/二阶导数连续。
- **$d \le i < H-s$**：处于两段 chunk 的交叉重叠期，权重逐渐衰减，赋予策略脱离旧轨迹、根据新观测调整动作的自由度。
- **$i \ge H-s$**：旧 chunk 已经没有对应动作，权重置 0，完全由策略自由生成。

### Guided Flow Matching ($\Pi\text{GDM}$)
以条件流匹配为例，前向去噪过程由可学习的速度场 $v_\theta(z_t, t)$ 控制：

$$
\frac{\mathrm{d}z_t}{\mathrm{d}t} = v_\theta(z_t, t)
$$

在每一步数值积分中，策略预测终点动作估计值 $\hat{z}_1(z_t, t)$。RTC 通过添加基于约束梯度的引导项修正速度场：

$$
v_{\text{guided}}(z_t, t) = v_\theta(z_t, t) - \gamma_t \nabla_{z_t} \mathcal{L}(z_t)
$$

其中引导损失函数为加权均方误差：

$$
\mathcal{L}(z_t) = \frac{1}{2} \| W \odot (\hat{z}_1(z_t, t) - A^{prev}_{\text{overlap}}) \|_2^2
$$

**Guidance Weight Clipping**：由于在去噪早期（$t \to 0$ 时），$\hat{z}_1$ 的预测方差极大，直接计算梯度会导致数值爆炸。RTC 对引导权重进行截断处理：

$$
\gamma_t = \min\left(\gamma_{\text{base}} \cdot \frac{t}{1 - t}, \ \gamma_{\text{max}}\right)
$$

从而保证了整个逆向扩散过程的平滑与数值稳定性。

---

## Experiments

### Setup
- **算法基线**：Sync（同步执行）、Naive Async（朴素异步）、Temporal Ensembling（TE，时序平滑均值）、Bidirectional Decoding（BID）。
- **策略骨干**：$\pi_{0.5}$（Flow-matching VLA）、Diffusion Policy。
- **仿真评测**：Kinetix 动力学物理仿真平台（包含 12 个强依赖接触力与速度的高动态任务）。
- **真实评测**：双臂机器人（Bimanual Manipulation），评测 6 项对连续性与精度极度敏感的复杂长程/接触任务（如划火柴 **Lighting a match**、点蜡烛、双臂动态插装等）。
- **延迟鲁棒性测试**：注入人工延时（Injected Delay: +100ms, +200ms, +300ms）。

### Results
- **极佳的延迟鲁棒性**：在 Kinetix 高动态任务中，当推理延迟达到 Prediction Horizon 的 50% 时，RTC 依旧维持高成功率；而 Naive Async 和 BID 性能断崖式下跌，Temporal Ensembling 则因平均多模态动作导致彻底失效。
- **消除多模态均值抖动**：在真实双臂划火柴等任务中，Temporal Ensembling 在延迟增加时会产生严重的关节震荡，导致机械臂急停；RTC 的 Soft Mask 机制生成了极其平滑的位置、速度和加速度曲线。
- **真实任务吞吐量（Task Throughput）**：在保持甚至提升任务成功率的同时，RTC 彻底消除了同步模式下的 Stop-and-go 停顿，任务完成速率大幅提升。

| 执行模式 | 额外注入延时 | 划火柴 (Match Lighting) 成功率 | 运动曲线平滑度 | 吞吐效率 (Throughput) |
| --- | --- | --- | --- | --- |
| **Sync** | 0ms | 65% | 停顿明显 (Stop-and-Go) | 基准 (1.0x) |
| **Temporal Ensembling** | +100ms | 0%（剧烈振荡保护停机） | 严重抖动 / 震荡 | 失败 |
| **Naive Async** | +100ms | 20% | 边界跳变 (Mode-jumping) | 中等 |
| **RTC (Ours)** | **+100ms / +200ms** | **85%+** | **极其平滑连续** | **高 (大幅提升)** |