Skip to content

本实验旨在探寻:在 Pi 系列和 OpenVLA 系列模型中,文本指令长度变化会如何影响推理阶段的资源占用。

  • 文本 token 数增加后,端到端延迟、Prefill 和采样阶段耗时是否发生变化?
  • 文本长度是否会增加 GPU 显存、KV cache 或峰值显存占用?
  • 文本长度对控制频率、10/20 Hz 达标率和 OOM 风险是否有影响?
  • 这些影响在 Pi 系列与 OpenVLA 系列模型之间是否一致?

以实际参与推理的语言 token 数作为主要变量,在尽量保持图像输入、模型 checkpoint、推理设备、采样步数、动作输出设置和数据样本一致的条件下,分别测试不同文本长度。每种设置记录逐次试验结果,并按 token 数和启动状态生成分组统计。

评测重点包括:

  • 时间资源:预处理、Prefix Embedding、Prefill、Denoise Step、采样和端到端总延迟。
  • 显存资源:峰值 allocated/reserved 显存,以及可测量的 KV cache 占用。
  • 实时性与稳定性:控制频率、10/20 Hz 达标率、OOM 比例和失败记录。

逐次试验记录保存在 JSONL 中,分组统计保存在 CSV 中;“数据汇总”页面用于交互式查看不同指标随文本 token 数变化的趋势。

本实验关注推理资源和实时性能,不直接评价文本长度对任务成功率、动作质量或模型语义理解能力的影响。