--- title: 数据汇总 description: 交互式查看 PI0 与 OpenVLA VLA 文本指令长度评测的 CSV 汇总指标。 --- import VlaLatencySummary from '../../../../components/VlaLatencySummary.astro'; ## $\pi_0$ 评估 数据按实际语言 token 数（横坐标）和冷启动状态（线/柱颜色）分组，指标值（纵坐标）沿用评测统计结果（20个评测任务均值）。 从 12 tokens 到 256 tokens ，总延迟从 87.69ms 到 89.25ms ，增长 1.56ms ，大约 1.7% 。 ### 结论 1. Prefill 和 Sample 阶段的耗时占比约为 1:3 （图像窗口较小时）。 2. 在常见范围内，每 10 tokens 增加延迟大约 0.1% 。 完整字段定义和原始 JSONL/CSV 下载见[详细数据](/experiments/vla-text-length/evaluation-results/)。 ## OpenVLA 评估 评测使用 OpenVLA-7B，在 RTX 3090 上以 BF16 运行。每个指令长度档包含 128 个样本，先进行 1 次 warm-up，再重复测量 3 次；验证结果显示 8 个长度档。 从实际指令长度约 17 增加到 64 token 时，端到端延迟从 305.60 ms 增加到 307.83 ms（+0.73%）。 从实际指令长度约 17 增加到 112 token 时，Prefill 中位数从 126.34 ms 增加到 131.90 ms（+4.40%），端到端延迟从 305.60 ms 增加到 311.77 ms（+2.02%），峰值显存从 14,731.6 MiB 增加到 14,828.5 MiB（+0.65%）。Action chunks 吞吐约从 3.27 降至 3.21 chunks/s。 ### 分析 | 阶段 | 理论时间复杂度 | 算力特征 | 实际推理耗时占比 | | - | - | - | - | | v Backbone | $O(N_{v}^2 ​d_{v}​+N_{v} d_{v}^2​)$ | Compute-Bound | ~15% - 25% | | Projector | $O(N_{v}d_{v}d_{llm}​)$ | Compute-Bound | < 1%| | LLM Prefill | $O(Sd_{llm}^2​+S^2d_{llm}​)$ (实际上前一项的常数大约是后一项的 6 倍，在 S 达到 10k tokens 前，后一项几乎可忽略) | Compute-Bund | ~20% - 30% （在 256-512 tokens 的图像下，更大的图像窗口其占比可翻倍）| | LLM Decoding | $O(d_{llm}^2​+Sd_{llm​})$ | Memory-Bound | ~50% - 65% （几乎都是权重加载耗时）| 可以看到 prompt text length （对应参数 $S=L_{v}+L_{text}$）主要影响的是 LLM Prefill 的 self-attention 部分，带入具体数值（仅为常见数值）： $$ O(Sd_{llm}^2​+S^2d_{llm}​) $$ $$ 6 × (512 + 16) × 4096 ^ 2 + (512 + 16) ^ 2 × 4096 = 5.43e10 $$ $$ 6 × (512 + 64) × 4096 ^ 2 + (512 + 64) ^ 2 × 4096 = 5.93e10 $$ 大约增加 9% 的 Prefill 计算，也就是大约增加 2% 的总计算。（仅为理论参考数值） ### 结论 1. 在常见范围内，每 10 tokens 增加延迟大约 0.15% ，速度降低为大约 0.9985x 。 2. 在常见范围内，文本指令每 10 tokens 的显存增量大约 10 MB ，增长趋势可近似为线性增长（主要由 FFN 的 $O(Sd^2)$ 提供，或者也可能是 Tokenizer 部分提供）。 3. 长度从 112 到 128 tokens 时延迟发生了跳变，猜测是达到阈值导致分块策略改变（Size 翻倍或计算批次 + 1）。 完整字段定义和原始 JSONL/CSV 下载见[详细数据](/experiments/vla-text-length/evaluation-results/)。