Skip to content

本页记录 SFP 实验的原始结果和统计口径。结果文件来自仓库中的 blog/tmp/result/,图表见评估结果摘要。

文件内容
dp_train.jsonDP 训练日志,共 500 条记录。
sfp_train.jsonSFP 训练日志,共 1000 条记录。
sfpj_train.jsonSFPJ 训练日志,共 500 条记录,包含历史噪声的有效尺度。
dp_eval.jsonDP 在 20 个 seed 上的逐步奖励和推理耗时。
sfp_eval.jsonSFP 在 20 个 seed 上的逐步奖励和推理耗时。
sfpj_eval.jsonSFPJ 在 20 个 seed 上的逐步奖励和推理耗时。

文件中的 checkpoint 字段保留了生成结果时使用的 checkpoint 名称;其中的机器本地绝对路径不作为复现实验所需路径。

  • 环境为 PushT,设备为 CUDA。
  • 三种方法均使用 seed 600 到 619,共 20 个 episode;每个 episode 最多运行 200 步。
  • max_reward 是单个 episode 运行期间的最大奖励;本实验将 max_reward = 1 记为成功,success 字段是该判定的布尔值。
  • inference_time_ms_per_step 是该 episode 的总推理耗时除以步数,单位为毫秒。表中的均值和标准差是在 20 个 episode 上计算的。
  • SFP 使用 integration_steps_per_action = 1;DP 和 SFPJ 的该字段不适用。
方法checkpoint平均最大奖励最大奖励标准差成功率成功数单步推理耗时(ms)约等效推理频率(Hz)
DPepoch_0200.pt0.95280.057235%7/2091.87 ± 0.8310.9
SFPepoch_0500.pt0.90860.212225%5/206.31 ± 0.25158.5
SFPJlast.pt0.90080.193035%7/208.47 ± 0.44118.0

相对于 DP 的单步推理耗时,SFP 约快 14.56 倍,SFPJ 约快 10.84 倍。SFPJ 比 SFP 慢约 1.34 倍,但两者的平均最大奖励接近;在这组 20 个 seed 的评测中,DP 的平均最大奖励最高,DP 与 SFPJ 的成功率均为 35%,高于 SFP 的 25%。推理频率是 1000 / inference_time_ms_per_step 的换算值,只表示模型推理吞吐,不等同于环境最终控制频率。

训练日志按 epoch 记录一次损失和学习率。下表的“最低损失”是在完整日志中逐条取最小值,而不是只取最后一条。

方法记录数首条损失最后一条损失最低损失(epoch)学习率首值 → 末值
DP5000.734500.007980.00781(485)1.90e-5 → 1.00e-4
SFP10001.081430.024210.02301(968)9.60e-6 → 0
SFPJ5001.307940.002500.00248(492)1.86e-5 → 0

SFPJ 额外记录 history_noise_effective_scale,从第 1 条的 0.00465 逐步增加到第 500 条的 0.25,用于表示训练时动作历史噪声的实际尺度。

字段说明
epoch日志记录对应的训练轮次。
loss当前轮次的训练损失。
learning_rate当前轮次使用的学习率。
history_noise_effective_scaleSFPJ 的动作历史噪声有效尺度;DP 和 SFP 不包含此字段。
字段说明
schema_version结果文件格式版本,当前为 2。
methoddp、sfp 或 sfpj。
checkpoint生成评测结果时加载的 checkpoint。
device推理设备,当前为 cuda。
seeds本次评测使用的随机种子列表。
max_steps每个 episode 的最大步数。
integration_steps_per_actionSFP 的每个动作使用的积分步数;不适用时为 null。
episodes每个 seed 的逐步奖励、成功状态和推理耗时记录。
summary对 episodes 聚合得到的平均值、标准差和成功率。
字段说明
seed当前 episode 使用的随机种子。
rewards每个环境步的奖励序列。
max_rewardrewards 中的最大值。
steps实际运行步数。
success是否达到成功判定。
inference_time_seconds当前 episode 的总推理耗时,单位为秒。
inference_time_ms_per_step总推理耗时除以 steps,单位为毫秒。
字段说明
mean_max_reward / std_max_reward20 个 episode 的 max_reward 均值 / 标准差。
success_ratesuccess = true 的 episode 数除以 episode 总数。
mean_inference_time_ms_per_step / std_inference_time_ms_per_step单步推理耗时的均值 / 标准差。

评测 JSON 保留逐步数据,因此图表中的奖励曲线、最大奖励分布、成功率和延迟分布都可以从原始文件重新生成。训练 JSON 同样保留每条日志记录,图表中的损失和学习率曲线不依赖手工录入的汇总值。