---
title: 分析
---

### HiMoE-VLA

| 模块 | 层数 / 范围 | 参数量 | BF16/FP16 权重 | FP32 权重 | 占比 |
|---|---|---:|---:|---:|---:|
| SigLIP 视觉编码器 | 27 层＋输入嵌入等 | 412.44M | 786.67 MiB | 1.54 GiB | 10.14% |
| 图像投影 | 1152 → 2048 | 2.36M | 4.50 MiB | 9.01 MiB | 0.06% |
| 语言 token embedding | 257216 × 2048 | 526.78M | 1004.75 MiB | 1.96 GiB | 12.95% |
| Gemma 语言 Transformer | 18 层＋最终 RMSNorm | 1981.88M | 3780.14 MiB | 7.38 GiB | 48.71% |
| HiMoE 动作 Transformer | 18 层＋最终 RMSNorm | 1142.20M | 2178.57 MiB | 4.26 GiB | 28.07% |
| 状态、动作、时间投影 | 5 个 Linear | 3.25M | 6.20 MiB | 12.39 MiB | 0.08% |
| **合计** | | **4.069B** | **7.58 GiB** | **15.16 GiB** | **100%** |

#### 动作 Transformer

| 网络 | 层索引，从 0 开始 | 每层参数量 | 每层 BF16/FP16 权重 | 合计 |
|---|---|---:|---:|---:|
| SigLIP | 0～26 | 15.24M | 29.07 MiB | 784.81 MiB |
| Gemma 语言层 | 0～17 | 110.10M | 210.01 MiB | 3780.14 MiB |
| 动作 AS-MoE | 0、1、16、17 | 42.47M | 81.00 MiB | 324.02 MiB |
| 动作 HB-MoE | 2～5、12～15 | 108.56M | 207.07 MiB | 1656.53 MiB |
| 动作 Dense | 6～11 | 17.30M | 33.00 MiB | 198.02 MiB |

#### HB-MoE

| 范围 | BF16/FP16 权重 | 占整个模型 |
|---|---:|---:|
| 整个动作分支 | 约 2184.77 MiB | 28.15% |
| AS 的全部专家＋HB 的路由专家 | **1824 MiB** | **23.50%** |
| 仅 HB 的路由专家池 | **1536 MiB** | **19.79%** |