---
title: StreamingVLA
link: https://arxiv.org/abs/2603.28565
doi: arXiv:2603.28565
status: "已阅读"
doc_type: paper
tags: [实时VLA, 实时动作生成, 流水线优化, 异步控制, 基于状态的动作流匹配]
date: 20260616
---

# StreamingVLA: Streaming Vision-Language-Action Model with Action Flow Matching and Adaptive Early Observation (Arxiv 2026)

[Paper](https://arxiv.org/pdf/2603.28565)

---

## Motivation
VLA 的三个阶段（以 $\pi_{0.5}$ 为例）:
- VLM 观测当前状态
- Action Expert 生成动作（一般是一个有 50 steps 的 Action Chunk）
- Robot 执行动作

这是一个同步过程，延迟累积下来很高，于是很容易出现“上一个动作执行完了下一个动作还没生成完”，动作中断。

## Contribution
![alt text](asserts/StreamingVLA/figure-01.png)

使 VLA 通过“流式”方式在各阶段异步并行化从而降低延迟：
- 用基于状态的动作流匹配代替了动作分块预测（匹配流形而非预测下一 Chunk），实现延迟重叠（应该是重叠了动作生成和动作执行）
- 通过自适应观测机制（预测未来状态 $s_0+\Delta s$ 的 action 而非当前状态 $s_0$ 的 action）提前预测，在避免性能损失的前提下，实现延迟重叠（应该是重叠了状态观测和动作执行）

---

## Architecture
### VLA 运行时初步分析
![alt text](asserts/StreamingVLA/figure-02.png)

核心目标是形成如下的异步和流式的优化：

$$
T_{action} = \frac{1}{h} \cdot ((T_{observe} + T_{gen-action} + T_{execute}) - (O_{ge} + O_{oe})) \\
T_{halt} = (T_{observe} + T_{gen-action}) - (O_{ge} + O_{oe})
$$

其中 $h$ 为每次观测对应的有效动作数量（每轮迭代执行的动作数）， $T$ 为耗时， $O$ 为并行优化重叠时间。

### Methods

#### Action FLow Matching
这一项的核心工作是 [Streaming Flow Policy: Simplifying diffusion/flow-matching policies by treating action trajectories as flow trajectories (CoRL)](Streaming-Flow-Policy.md) 做的， StreamingVLA 在此基础上作出改进：

![alt text](asserts/StreamingVLA/figure-03.png)

1. 由于给出的策略与动作实际执行效果可能产生差异，引入了 action-space state （对应之前生成的所有动作/动作积分/历史指令，记为 $A_t$ ），策略用于更新 action-space state ，同时确保其与 physical-space state （对应实际位置，记为 $S_t$ ）对齐。训练时由物理空间预处理出一条完整的动作空间然后强制对齐（State-based Alignment, SA）（是直接一起输入 action-expert 由内部的注意力头处理？），推理时每次观测都会对齐（将 $A_t$ 清空并更新进 $S_t$ ，也就是 $S_t$ 作为观测到的最新信息， $A_t$ 作为已生成但还未观测的预测信息）。

2. 为了维持动作和状态之间的可加性，防止如归一化层等导致可加性被破坏，移除了偏置项，也就是从 $a_t'=(a_t-q_{min})/scale\times 2-1$ 变成了 $a_t'=a_t\times scale$ ，其中 $scale=q_{max}-q_{min}$ 。同时动作和状态的缩放因子共享。

![alt text](asserts/StreamingVLA/figure-04.png)
![alt text](asserts/StreamingVLA/figure-05.png)

3. 自适应早期观测：训练了一个轻量的基于 Transformer 的预测器，以动作和观测为输入，预测动作的显著性，用 MSE loss 训练以估计执行剩余动作后 image embedding 的变化。


---

## Experiments

### Environment

- Base Model： $pi_{0.5}-\textbf{Libero}$ 
- Hardware： NVIDIA A800-SXM4-80GB x4
- Iterations: 60,000
- Learning Rate: 1e-5
- Duration: 10-20 GPU hours
- Stabilizing Factor: $k=5, \sigma_0^2=0.16$
- Adaptive Early Observation Predictor: 54,000 iterations, cosine learning rate schedule with initial value of 1e-4

### Task Suites
*Spatial, Object, Goal, and Long*, Each suite consists of 10 distinct tasks.

![alt text](asserts/StreamingVLA/figure-06.png)

![alt text](asserts/StreamingVLA/figure-07.png)

---

## My Takeways

### 泛化性？
动作空间和物理空间对齐应该泛化性足够。

但是自适应早期观测单独训练一个轻量 Predictor 如果是从未见过的场景，会不会由于 image embedding 太陌生而不准确？如果执行动作会导致环境变化（比如改变视角？）， image embedding 会因为预测环境（不知道另一个视角的环境）而不准嘛？可能需要换一个 loss 或加一些条件，剔除环境的影响而仅关注本身的状态。

以及能处理外界影响嘛，比如需要人手干扰然后进行错误修正，此时预测器的预测还准嘛？