---
title: SmoothVLA
link: https://arxiv.org/abs/2603.13925
doi: arXiv:2603.13925
status: "已阅读"
doc_type: paper
tags: [具身智能, VLA后训练, 强化学习, GRPO, 轨迹平滑度, Trajectory Jerk, 物理先验对齐]
date: 20260816
---

# SmoothVLA: Aligning Vision-Language-Action Models with Physical Constraints via Intrinsic Smoothness Optimization (Arxiv 2026)

[Paper](https://arxiv.org/pdf/2603.13925)

---

## Motivation
VLA 在机器人操控领域表现出色，但现有 Post-training 方法面临**探索与稳定性（平滑度）的两难困境**：
- **监督微调（SFT）**：严重受限于人类示教数据的质量与多样性，在分布外（OOD）场景和复杂扰动下泛化能力差；
- **强化学习（RL）**：虽能通过自主探索提升泛化与长程任务成功率，但神经网络输出的高维离散/连续动作极易违反底层物理约束，导致生成的高频动作剧烈抖动、反复折返，引起机械磨损、传感器噪声剧增以及闭环控制失稳。

核心问题是：现有基于稀疏奖励的 RL 微调只关注“是否完成任务”，忽略了机器人动力学/运动学可行性。如何无需繁琐的外在奖励工程，让 VLA 在 RL 探索的同时自主学会符合物理规律的平滑运动？

## Contribution
提出 SmoothVLA，一个通过内在平滑性优化将 VLA 与物理运动学约束对齐的强化学习微调框架：

- **Exploration-Stability Paradox 的形式化定义**：系统揭示了现有 VLA 在 SFT 与 RL 微调下的运动学特性，引入**加加速度（Jerk，加速度对时间的一阶导数）**作为高阶微分桥梁，量化神经动作输出与物理可行运动之间的差距。
- **Physics-Informed Intrinsic Hybrid Reward**：构建融合稀疏任务成功奖励与基于 Trajectory Jerk 的稠密连续内在奖励。该奖励直接由 Policy Rollout 计算而来（无需外部环境建模与繁杂的人工奖励设计），促使模型在成功轨迹中自我修正运动质量。
- **Critic-Free GRPO Alignment**：引入 GRPO ，对同一指令采样一组轨迹，通过组内相对优势计算让最平滑的成功轨迹获得更高权重，彻底摆脱了大参数量 VLA 训练独立 Critic 网络的巨大显存与计算开销。
- **SOTA 性能与强泛化**：在 LIBERO 与 LIBERO-Plus 基准测试中，平滑度相比标准 RL 微调提升 13.8%，扰动鲁棒性相比 SFT 提升 24.2%，实现了任务成功率与运动质量的协同优化。

整体上 SmoothVLA 是架构无关的通用具身后训练范式，不修改 VLA 模型骨干网络，主要改动在于 RL 优化目标与内在物理奖励机制。

![alt text](asserts/SmoothVLA/image.png)

## Limitation
SmoothVLA 的平滑度惩罚目前主要建立在末端执行器与关节空间的运动学可微分学推导上。如果机器人与复杂非刚体、流体或接触丰富的环境发生动态交互，单纯惩罚 Jerk 可能会抑制某些必要的高频微调或瞬态接触力调整。

此外，Jerk 奖励的超参数权重 $\lambda$ 需要在“任务探索完成度”与“平滑约束”之间取得平衡：若平滑权重过大，模型可能陷入保守的缓慢移动而无法跨越动态操控的动作障碍。

---

## Architecture

### Background & Exploration-Stability Paradox
设机械臂操控任务为 MDP $(\mathcal{S}, \mathcal{A}, \mathcal{P}, \mathcal{R}, \gamma)$。
- 状态空间 $s_t = (o_t^{vis}, o_t^{prop}, l_{task})$，融合视觉、本体感知与语言指令；
- VLA 策略 $\pi_\theta(a_t | s_t)$ 通常采用 Action Chunking 生成动作序列 $\mathbf{a}_{t:t+k}=\{a_t, \dots, a_{t+k-1}\}$，执行形成轨迹 $\tau$。

论文实证发现：
- **OpenVLA-SFT**：轨迹平滑但策略脆弱，在遇到扰动时缺乏恢复能力；
- **OpenVLA-RL**：探索性强但轨迹平均 Jerk 显著增加（从 0.374 升至 0.402 $\text{m/s}^3$），在目标物体附近产生严重的高频震颤与无效折返。

### Differential Kinematics & Trajectory Jerk
SmoothVLA 采用机器人微分运动学量化轨迹平滑度。设机械臂关节位置为 $\mathbf{q}$，末端执行器速度、加速度与 Jerk 的关系为：

1. **速度旋量（Velocity Screw）**：
   $$\mathbf{V} = \mathbf{J}(\mathbf{q})\dot{\mathbf{q}}$$
   其中 $\mathbf{J}(\mathbf{q})$ 为机器人几何雅可比矩阵（Jacobian Matrix）。

2. **加速度（Acceleration Screw）**：
   $$\mathbf{A} = \dot{\mathbf{J}}(\mathbf{q}, \dot{\mathbf{q}})\dot{\mathbf{q}} + \mathbf{J}(\mathbf{q})\ddot{\mathbf{q}}$$

3. **加加速度（Jerk）**：
   $$\mathrm{Jerk}(t) = \ddot{\mathbf{J}}(\mathbf{q}, \dot{\mathbf{q}}, \ddot{\mathbf{q}})\dot{\mathbf{q}} + 2\dot{\mathbf{J}}(\mathbf{q}, \dot{\mathbf{q}})\ddot{\mathbf{q}} + \mathbf{J}(\mathbf{q})\dddot{\mathbf{q}}$$

Jerk 是位置对时间的三阶导数，直接反映了控制力与力矩的变化率。根据 Minimum-Jerk 理论，最小化 Jerk 能够消除控制输入中的突变，降低机构磨损与传感器抖动。

### Physics-Informed Hybrid Reward
为避免繁琐的环境外在奖励设计，SmoothVLA 提出内在复合奖励函数：

$$
R(\tau) = \mathbb{I}_{success} \cdot \left( 1 - \lambda \cdot \frac{1}{T}\sum_{t=1}^T \|\mathrm{Jerk}(t)\|^2 \right)
$$

其中：
- $\mathbb{I}_{success} \in \{0, 1\}$ 为稀疏任务成功指示器；
- $T$ 为轨迹长度，$\lambda$ 为平滑权重系数；
- 该乘积形式构成了两级优先级约束：**优先保证任务完成**（未完成时奖励为 0），**在成功的轨迹内部优化动作的物理平滑性**。

### Group Relative Policy Optimization (GRPO)
为规避在大参数量 VLA（如 7B）上训练 Value Critic 网络的内存开销与估计不稳定性，SmoothVLA 采用 GRPO 算法：

对同一语言任务 $l_{task}$，策略 $\pi_\theta$ 采样生成一组大小为 $G$ 的轨迹 $\{\tau_1, \tau_2, \dots, \tau_G\}$。组内优势函数（Advantage）通过组内奖励归一化计算：

$$
\hat{A}_i = \frac{R(\tau_i) - \mathrm{mean}(\{R(\tau_1), \dots, R(\tau_G)\})}{\mathrm{std}(\{R(\tau_1), \dots, R(\tau_G)\})}
$$

策略优化目标为：

$$
\mathcal{J}(\theta) = \mathbb{E} \left[ \frac{1}{G}\sum_{i=1}^G \left( \min \left( \rho_i(\theta)\hat{A}_i, \mathrm{clip}(\rho_i(\theta), 1-\epsilon, 1+\epsilon)\hat{A}_i \right) - \beta \mathbb{D}_{\mathrm{KL}}(\pi_\theta \parallel \pi_{ref}) \right) \right]
$$

其中 $\rho_i(\theta) = \frac{\pi_\theta(\tau_i)}{\pi_{old}(\tau_i)}$ 为重要性采样比，$\pi_{ref}$ 为 SFT 基座参考模型。
通过组内横向比拼，在多次尝试中更加平滑的成功轨迹会获得正优势（$\hat{A} > 0$），驱动策略向物理可行区域对齐。

---

## Experiments

### Setup
- **基座模型**：OpenVLA (7B)。
- **评测基准**：
  - **LIBERO**：LIBERO-Spatial, LIBERO-Object, LIBERO-Goal, LIBERO-Long (LIBERO-100)。
  - **LIBERO-Plus**：引入空间位置偏移、视觉扰动、语言多样性等鲁棒性/分布外测试。
- **基线方法**：OpenVLA-SFT、OpenVLA-RL（标准 PPO/GRPO/DPO 优化稀疏奖励）。
- **评估指标**：任务成功率（Success Rate %）、平均 Jerk 指标（$\text{m/s}^3$）、扰动退化率。

### Results
- **平滑度大幅改善**：在 LIBERO 全套任务中，SmoothVLA 的轨迹平滑度相比标准 RL 微调方法提升了 **13.8%**（平均 Jerk 显著降低），甚至比专家演示的 SFT 模型平滑度高出 **4.5%**。
- **泛化与鲁棒性提升**：在包含环境扰动的 LIBERO-Plus 评测中，SmoothVLA 平均成功率高出 SFT **24.2%**；相比基于相同探索机制的标准 GRPO 和 DPO，成功率分别领先 **7.0%** 和 **5.6%**。
- **消融实验**：移除 Jerk 平滑奖励项后，策略退化为标准 GRPO，在复杂长程任务中因局部抖动和频繁转向导致抓取失败率激增，证实了物理平滑先验对长程稳定性的支撑作用。
- **Case Study（拾取与放置）**：在 "pick up the alphabet soup and place it in the basket" 任务中，SFT 模型在复杂交互区稍显迟钝；标准 RL 模型在抓取点附近出现严重的高频往复抖动；而 SmoothVLA 在接近、抓取、避障输送全程保持了光滑连续的曲率轨迹。

![alt text](asserts/SmoothVLA/image-1.png)

![alt text](asserts/SmoothVLA/image-2.png)

---

## My Takeaways

### Intrinsic Physical Reward 的工程借鉴
许多机器人 RL 方法依赖复杂的外在奖励塑形（Distance Reward, Force Torque Feedback 等），工程迁移成本高。

SmoothVLA 的 Jerk 奖励是**纯内在**的——只要能采集到 Policy Rollout 的末端/关节位移序列，利用机械臂已知的运动学模型即可直接解析求导算出，无需仿真器或物理环境提供额外反馈。