ElasticVLA

ElasticVLA: Proactive Routing and Elastic Scheduling for VLA Models in Real-Time Embodied Systems

痛点：VLA 除推理任务外，还有：
- 硬实时任务：Perception、Localization、Fusion 等必须在帧截止时间内完成的任务
- 软实时任务：Map Updates、Logging 等，依赖空闲 Slack 的任务
Reactive Early-Exit 缺陷：传统的反应式早退是在推理过程中逐层比对才决定是否退出，调度器在帧开始派发时无法获知实际执行深度和耗时，两种预留方法：
- Pessimistic Reservation：按最深完整路径预留时间，严重浪费 Slack ，导致软任务无法准入
- Optimistic Reservation：按平均耗时预留，超时导致指令延期
Reactive Early-Exit 两种预留方法的缺陷

OpenVLA 中 Reactive Early-Exit 的延迟分布
洞察：
- VLA 各候选分支的执行耗时主要取决于网络深度
- 动作质量衰减主要由输入复杂度决定
因此，可以在推理前基于浅层输入特征提前预测质量衰减，接下来就是传统系统调度的背包问题（固定时间 t 内选取任务使得完成的任务价值最高）。

提出 $(E_k^{safe}, \bar{\sigma}_k)$ 抽象，让问题可以转化为调度器问题：

Proactive Router：基于浅层输入特征前置预测各分支质量衰减。
Elastic Runtime Scheduler：两阶段调度策略（硬 Deadline 过滤 + 背包优化），在硬实时任务的前提下最大化动作质量与软任务收益。
Adaptive Inference Engine：按调度深度执行确定性截断计算，并进行跨深度 KV-Cache 修复（对齐不同深度的隐状态）。

ElasticVLA 由三个核心模块协同构成：前置路由器、弹性调度器与自适应推理引擎。

前置路由器：
- 耗时:
  
  $C_k^{br} = C_k^{prof} + \Delta_k^{max} + C_{a,k}^{max} + B_k^{max}, \quad E_k^{safe} = C_{r,s}^{max} + C_k^{br}$
  
  包含骨干推理耗时 $C_k^{prof}$ 、残差裕度 $\Delta_k^{max}$ 、适配器开销 $C_{a,k}^{max}$ 、阻塞同步开销 $B_k^{max}$ 以及路由/调度器开销 $C_{r,s}^{max}$ 。
- 质量衰减：提取浅层视觉/语言特征，经 Attention Pooling 与轻量 MLP 预测各分支相对完整路径的动作损失 $\hat{\sigma}_k$ ，并通过单调投影校准：

$\bar{\sigma} = \Pi_{\mathcal{M}}(\hat{\sigma} + \rho), \quad \mathcal{M} = \{s_1 \ge s_2 \ge \dots \ge s_n = 0\}$

弹性调度器：
1. Safety Guard：筛选出满足帧周期 $T_f$ 及硬前缀截止时间 $D_{\pi_H(j)}$ 的候选路径集合 $\mathcal{B}$ ：
$\mathcal{B} = \left\{ k \;\middle\vert{}\; E_k^{safe} + \sum_{h \in H_t} E_h^{safe} \le T_f \;\land\; \forall j \in \mathcal{P}_H, \, E_k^{safe} + \sum_{l \le j} E_{\pi_H(l)}^{safe} \le D_{\pi_H(j)} \right\}$
1. Knapsack Solver：对每个可行路径 $k \in \mathcal{B}$ 计算剩余空闲预算 $R_k = T_f - E_k^{safe} - \sum_{h \in H_t} E_h^{safe}$ ，求解软任务准入集合 $S_k \subseteq A_t^{soft}$ ，选取总价值最大的执行方案：
$k_t = \arg\max_{k \in \mathcal{B}} \left( u_{full} - p \bar{\sigma}_k + \sum_{i \in S_k} v_i \right)$
自适应推理器：
1. 确定性早停: 根据选定路径 $k_t$ 配置层门控，跳过更深层算子的计算。
2. Semantic Adapter：将浅层 hidden state 映射对齐至末层表征，并填补跳过层在共享 KV-Cache 中的历史条目，避免跨深度切换引发状态失真。
3. Deadline-Gated Dispatch：输出看门狗机制，若出现超载或异常则触发 Hold-or-Replay 重放上一帧安全指令。

alt text ElasticVLA 的架构

可以看到就是:

评估基准与任务：
- 机械臂操作：LIBERO 基准（Spatial、Object、Goal、LIBERO-10）结合 OpenVLA-7B / $\pi_0$ -4B。
- 端到端自动驾驶：Bench2Drive / CARLA 闭环仿真结合 ORION-7B。
- 调度压力测试：基于 100,000 帧真实 Profile 数据生成的 Frame-Start 准入压力测试。

alt text

LIBERO-10 成功率

alt text

RQ2 压测指标

核心指标对比：
- 在 LIBERO-10 任务中，ElasticVLA 成功率达到 91.0%（完整深度 OpenVLA 为 94.5%），输入自适应路径选择较固定路径策略（62.2%~81.8%）大幅提升。
- 在 Bench2Drive 135ms 周期中 Driving Score / Success Rate 达 73.22 / 47.27（Pessimistic 为 39.25 / 11.36，Optimistic 为 65.33 / 35.90）。
- 在背景负载利用率 2.00 的压力测试下，ElasticVLA 有 100% 强制任务可行率、0% 强制任务超时、0% 契约违约，保留 18.01% 的软任务价值（Pessimistic 仅保留 0.48%，Optimistic 违约率 49.62%）。