---
title: ElasticVLA
link: empty
doi: /
status: "已阅读"
doc_type: paper
tags: [具身智能, VLA, 实时系统, 任务调度, 弹性计算, 自动驾驶, 机器人控制]
date: 20260408
---

# ElasticVLA: Proactive Routing and Elastic Scheduling for VLA Models in Real-Time Embodied Systems

## Motivation

- **痛点**：VLA 除推理任务外，还有：
    - **硬实时任务**：Perception、Localization、Fusion 等必须在帧截止时间内完成的任务
    - **软实时任务**：Map Updates、Logging 等，依赖空闲 Slack 的任务

- **Reactive Early-Exit 缺陷**：传统的反应式早退是在推理过程中**逐层比对**才决定是否退出，调度器在帧开始派发时无法获知实际执行深度和耗时，两种预留方法：
    - **Pessimistic Reservation**：按最深完整路径预留时间，严重浪费 Slack ，导致软任务无法准入
    - **Optimistic Reservation**：按平均耗时预留，超时导致指令延期

    ![alt text](asserts/ElasticVLA/image.png)

    `Reactive Early-Exit 两种预留方法的缺陷`

    ![alt text](asserts/ElasticVLA/image-1.png)
    `OpenVLA 中 Reactive Early-Exit 的延迟分布`


- **洞察**：
    - VLA 各候选分支的执行耗时主要取决于网络深度
    - 动作质量衰减主要由输入复杂度决定
    
    因此，可以在推理前基于浅层输入特征提前预测质量衰减，接下来就是传统系统调度的背包问题（固定时间 t 内选取任务使得完成的任务价值最高）。

---

## Contribution

提出 $(E_k^{safe}, \bar{\sigma}_k)$ 抽象，让问题可以转化为调度器问题：
- **Proactive Router**：基于浅层输入特征前置预测各分支质量衰减。
- **Elastic Runtime Scheduler**：两阶段调度策略（硬 Deadline 过滤 + 背包优化），在硬实时任务的前提下最大化动作质量与软任务收益。
- **Adaptive Inference Engine**：按调度深度执行确定性截断计算，并进行跨深度 KV-Cache 修复（对齐不同深度的隐状态）。

---

## Limitation

- 强依赖离线测量的 $E_k^{safe}$ ，这个轻量网络决定了整个执行质量。

---

## Architecture

ElasticVLA 由三个核心模块协同构成：前置路由器、弹性调度器与自适应推理引擎。

- **前置路由器**：
    - **耗时**:

        $$C_k^{br} = C_k^{prof} + \Delta_k^{max} + C_{a,k}^{max} + B_k^{max}, \quad E_k^{safe} = C_{r,s}^{max} + C_k^{br}$$

        包含骨干推理耗时 $C_k^{prof}$、残差裕度 $\Delta_k^{max}$、适配器开销 $C_{a,k}^{max}$、阻塞同步开销 $B_k^{max}$ 以及路由/调度器开销 $C_{r,s}^{max}$。

    - **质量衰减**：提取浅层视觉/语言特征，经 Attention Pooling 与轻量 MLP 预测各分支相对完整路径的动作损失 $\hat{\sigma}_k$，并通过单调投影校准：

$$\bar{\sigma} = \Pi_{\mathcal{M}}(\hat{\sigma} + \rho), \quad \mathcal{M} = \{s_1 \ge s_2 \ge \dots \ge s_n = 0\}$$


- **弹性调度器**：
    1. **Safety Guard**：
    筛选出满足帧周期 $T_f$ 及硬前缀截止时间 $D_{\pi_H(j)}$ 的候选路径集合 $\mathcal{B}$：

    $$\mathcal{B} = \left\{ k \;\middle\vert{}\; E_k^{safe} + \sum_{h \in H_t} E_h^{safe} \le T_f \;\land\; \forall j \in \mathcal{P}_H, \, E_k^{safe} + \sum_{l \le j} E_{\pi_H(l)}^{safe} \le D_{\pi_H(j)} \right\}$$


    2. **Knapsack Solver**：
    对每个可行路径 $k \in \mathcal{B}$ 计算剩余空闲预算 $R_k = T_f - E_k^{safe} - \sum_{h \in H_t} E_h^{safe}$，求解软任务准入集合 $S_k \subseteq A_t^{soft}$，选取总价值最大的执行方案：

    $$k_t = \arg\max_{k \in \mathcal{B}} \left( u_{full} - p \bar{\sigma}_k + \sum_{i \in S_k} v_i \right)$$

- **自适应推理器**：
    1. **确定性早停**: 根据选定路径 $k_t$ 配置层门控，跳过更深层算子的计算。
    2. **Semantic Adapter**：将浅层 hidden state 映射对齐至末层表征，并填补跳过层在共享 KV-Cache 中的历史条目，避免跨深度切换引发状态失真。
    3. **Deadline-Gated Dispatch**：输出看门狗机制，若出现超载或异常则触发 Hold-or-Replay 重放上一帧安全指令。

![alt text](asserts/ElasticVLA/image-2.png)
`ElasticVLA 的架构`

可以看到就是: 
- **A.** 轻量网络提前预测早停的 $(质量,延迟)$ 对
- **B.** 背包优化问题
- **C.** 按照 A 和 B 的策略进行推理

---

## Experiments

- **评估基准与任务**：
    - **机械臂操作**：LIBERO 基准（Spatial、Object、Goal、LIBERO-10）结合 OpenVLA-7B / $\pi_0$-4B。
    - **端到端自动驾驶**：Bench2Drive / CARLA 闭环仿真结合 ORION-7B。
    - **调度压力测试**：基于 100,000 帧真实 Profile 数据生成的 Frame-Start 准入压力测试。

![alt text](asserts/ElasticVLA/image-4.png)

`LIBERO-10 成功率`

![alt text](asserts/ElasticVLA/image-5.png)

`RQ2 压测指标`

- **核心指标对比**：
    - 在 LIBERO-10 任务中，ElasticVLA 成功率达到 91.0%（完整深度 OpenVLA 为 94.5%），输入自适应路径选择较固定路径策略（62.2%~81.8%）大幅提升。
    - 在 Bench2Drive 135ms 周期中 Driving Score / Success Rate 达 73.22 / 47.27（Pessimistic 为 39.25 / 11.36，Optimistic 为 65.33 / 35.90）。
    - 在背景负载利用率 2.00 的压力测试下，ElasticVLA 有 100% 强制任务可行率、0% 强制任务超时、0% 契约违约，保留 18.01% 的软任务价值（Pessimistic 仅保留 0.48%，Optimistic 违约率 49.62%）。

## My takeaways

### 动作损失表示
- 依赖模型；
- 帧复杂度表示单一；

### 时空协同调度
- 实际调度可能并非串行化；

### 抢占机制
- 调度时考虑抢占延迟；