StreamingVLA

StreamingVLA: Streaming Vision-Language-Action Model with Action Flow Matching and Adaptive Early Observation (Arxiv 2026)

Paper

---

Motivation

VLA 的三个阶段（以 $\pi_{0.5}$ 为例）:

• VLM 观测当前状态
• Action Expert 生成动作（一般是一个有 50 steps 的 Action Chunk）
• Robot 执行动作

这是一个同步过程，延迟累积下来很高，于是很容易出现“上一个动作执行完了下一个动作还没生成完”，动作中断。

Contribution

使 VLA 通过“流式”方式在各阶段异步并行化从而降低延迟：

• 用基于状态的动作流匹配代替了动作分块预测（匹配流形而非预测下一 Chunk），实现延迟重叠（应该是重叠了动作生成和动作执行）
• 通过自适应观测机制（预测未来状态 $s_0+\Delta s$ 的 action 而非当前状态 $s_0$ 的 action）提前预测，在避免性能损失的前提下，实现延迟重叠（应该是重叠了状态观测和动作执行）

---

Architecture

VLA 运行时初步分析

核心目标是形成如下的异步和流式的优化：

$$T_{action} = \frac{1}{h} \cdot ((T_{observe} + T_{gen-action} + T_{execute}) - (O_{ge} + O_{oe})) \\ T_{halt} = (T_{observe} + T_{gen-action}) - (O_{ge} + O_{oe})$$

其中 $h$ 为每次观测对应的有效动作数量（每轮迭代执行的动作数）， $T$ 为耗时， $O$ 为并行优化重叠时间。

Methods

Action FLow Matching

这一项的核心工作是 Streaming Flow Policy: Simplifying diffusion/flow-matching policies by treating action trajectories as flow trajectories (CoRL) 做的， StreamingVLA 在此基础上作出改进：

1. 由于给出的策略与动作实际执行效果可能产生差异，引入了 action-space state （对应之前生成的所有动作/动作积分/历史指令，记为 $A_t$ ），策略用于更新 action-space state ，同时确保其与 physical-space state （对应实际位置，记为 $S_t$ ）对齐。训练时由物理空间预处理出一条完整的动作空间然后强制对齐（State-based Alignment, SA）（是直接一起输入 action-expert 由内部的注意力头处理？），推理时每次观测都会对齐（将 $A_t$ 清空并更新进 $S_t$ ，也就是 $S_t$ 作为观测到的最新信息， $A_t$ 作为已生成但还未观测的预测信息）。

2. 为了维持动作和状态之间的可加性，防止如归一化层等导致可加性被破坏，移除了偏置项，也就是从 $a_t'=(a_t-q_{min})/scale\times 2-1$ 变成了 $a_t'=a_t\times scale$ ，其中 $scale=q_{max}-q_{min}$ 。同时动作和状态的缩放因子共享。

3. 自适应早期观测：训练了一个轻量的基于 Transformer 的预测器，以动作和观测为输入，预测动作的显著性，用 MSE loss 训练以估计执行剩余动作后 image embedding 的变化。

---

Experiments

Environment

• Base Model： $pi_{0.5}-\textbf{Libero}$
• Hardware： NVIDIA A800-SXM4-80GB x4
• Iterations: 60,000
• Learning Rate: 1e-5
• Duration: 10-20 GPU hours
• Stabilizing Factor: $k=5, \sigma_0^2=0.16$
• Adaptive Early Observation Predictor: 54,000 iterations, cosine learning rate schedule with initial value of 1e-4

Task Suites

Spatial, Object, Goal, and Long, Each suite consists of 10 distinct tasks.

---

My Takeways

泛化性？

动作空间和物理空间对齐应该泛化性足够。

但是自适应早期观测单独训练一个轻量 Predictor 如果是从未见过的场景，会不会由于 image embedding 太陌生而不准确？如果执行动作会导致环境变化（比如改变视角？）， image embedding 会因为预测环境（不知道另一个视角的环境）而不准嘛？可能需要换一个 loss 或加一些条件，剔除环境的影响而仅关注本身的状态。

以及能处理外界影响嘛，比如需要人手干扰然后进行错误修正，此时预测器的预测还准嘛？