具身策略评测完全指南:四维坐标、三道门禁与数据闭环与模型迭代

写给工程师的具身智能算法指南 · 07专题：策略评测方法论 · 主角：lerobot-eval / lerobot-rollout / 三件套统计工具

到这里，六个流派的算法已经全部拆完。回头看，我们花了大量篇幅在损失函数上：flow matching 怎么算、VQ 码本怎么学、Qwen 的 cross-entropy 怎么配平。但有一件事始终悬着没回答——

你的 loss 降到 0.03，机器人就真的会干活了吗？

前六篇解决"怎么训"，这一篇解决"训完了怎么客观评测训练的策略及如何迭代优化你的策略"。它是一套具身算法数据闭环的方法论。拆成四件事就够了：

1. 1. 评什么：一个策略能被客观评测的四个维度；
2. 2. 会怎么被骗：每个维度各自的陷阱；
3. 3. 怎么落地：训练 → 仿真 → 真机，三阶段门禁逐步逼近真相；
4. 4. 怎么变强：把失败数据收回来、补进去、重训——最后再补上各派的专属探针。

四维坐标、四类陷阱、三阶段门禁、一个回流重训环——这一篇的全部。

目录

• • 一、评测框架：四个维度与四类陷阱
• • 1.1 分布：演示分布与策略分布
• • 1.2 环境：数据集、仿真与真机
• • 1.3 指标：过程量、结果量与鲁棒量
• • 1.4 口径：点估计、区间、显著性与重复训练
• • 1.5 四维交叉：一次评测的完整坐标
• • 1.6 四类陷阱总表：陷阱、表现与解药
• • 二、三阶段门禁与源码落地
• • 2.1 三阶段门禁总表
• • 2.2 评测成熟度阶梯：L1 到 L7
• • 2.3 阶段 A/B 参数：held-out 与 EvalConfig
• • 2.4 阶段 C 统计：Wilson 区间与 Fisher 检验
• • 2.5 三处静默失效
• • 三、回流环：从失败数据到策略提升
• • 3.1 五种采集策略：职责与代价
• • 3.2 DAgger 与 HIL-SERL 的分野
• • 3.3 重训环：合并、续训与收敛判据
• • 四、分派评估与选型
• • 4.1 探针清单：病灶与源码落点
• • 4.2 探针与成功率的分工
• • 4.3 三条路径对照表
• • 4.4 选型决策树
• • 五、思考题与下一篇预告
• • 5.1 思考题（7 道）
• • 5.2 下一篇预告

一、评测框架：四个维度与四类陷阱

任何一次评测，本质是四个维度上的定量评估；然而每个维度，都有它对应的缺陷。

四类陷阱与四维一一对应，下面是该维度对应的陷阱全局概览图：

1.1 分布：演示分布与策略分布

同一个策略，可以在两种状态上被测试：

• • 演示分布（off-policy）：状态是演示者走出来的。离线 loss 全在这里。
• • 策略自身分布（on-policy）：状态是策略自己走出来的。真机 rollout 在这里。

这是四个维度里最致命的一个，因为 compounding error（累积误差，从第 02 篇起反复出现的母题）只在第二种里发生。策略在演示分布上每步只错一点点，但闭环里"这一步错出的状态，会成为下一步的输入"——它没见过，于是错得更多。

两个分布之间的差距，就是离线指标与真机指标脱钩的全部原因。

分布陷阱：离线 loss 只在演示自己走过的状态上算误差——那些状态永远不会因为你的动作而偏移。它衡量的是"给定演示分布，你预测得多准"；而真机成功率问的是"在你自己累积出的分布上，你还站得住吗"——两者没有单调关系。三个天然盲区：状态分布盲区（held-out 帧仍是演示者的状态，策略跑偏后到的地方一个都没有）、多模态盲区（第 03 篇的敌人：动作真的多模态时，MSE 类 loss 会奖励"取平均"，而平均值往往是两边都不沾的无效动作，loss 甚至更低）、闭环盲区（它算单步，闭环是几十步的复合）。

一句话：离线 loss 是体温计——便宜、频繁，但是无法真实评估在真机上性能，是一个好的策略的必要不充分条件。

1.2 环境：数据集、仿真与真机

• • 数据集（无环境）：只能算单步，看不见闭环。
• • 仿真（有环境）：闭环、便宜、可复现，但动力学 / 感知与真机有 gap。
• • 真机（目标环境）：唯一的目标环境，但慢、贵、不可复现。

环境维度决定成本和真实性，二者永远对立。

环境陷阱：仿真给了闭环，代价是它和真机不是同一个世界。三类 gap 逐级加深——感知 gap（没有相机噪声、光照变化、运动模糊）、动力学 gap（没有关节回差、摩擦、柔性形变、延迟）、标定 gap（夹爪没标定好、相机外参有偏，这一条仿真里根本没有对应物）。经验上，LIBERO / MetaWorld 里 90% 的成功率，搬到 SO-101 真机上常常只剩 40% 上下（经验基准，需复测）。

一句话：仿真闭环是模拟考——闭环，但题型和真题有偏差。

1.3 指标：过程量、结果量与鲁棒量

• • 过程量：单步动作误差、loss。便宜、高频，但只是代理指标。
• • 结果量：任务成功率、累计回报。这就是目标本身。
• • 鲁棒量：扰动下的成功率、失败后的恢复率。最难测，却决定它能不能上产线。

指标陷阱：代理不是目标。①用 loss 代替成功率——分布陷阱与指标陷阱的叠加，优化代理不等于优化目标；②成功率不告诉你失败类型——同样是 60%，可能是"5 种失败各 8%"，也可能是"同一种失败 40%"，后者才是能修的（这正是 LeRobot 默认渲染 10 个视频的原因）；③缺少鲁棒量——干净环境 100%、一遇扰动就崩的策略，和 85% 但很稳的策略，只看成功率会选错。

一句话：真机 rollout 是高考——贵、唯一的真分数，而且让你亲眼看到它是怎么失败的。

1.4 口径：点估计、区间、显著性与重复训练

• • 点估计：一个数（"成功率 90%"）。
• • 区间估计：给这个数配一个不确定性范围（Wilson）。
• • 显著性检验：回答"两个策略到底谁更好"（Fisher）。
• • 重复训练：测种子间方差——区间管不着的那部分。

同一组数据，口径不同，结论的可信度天差地别。

口径陷阱：成功率是二项分布的比例估计，而机器人评估的样本量小得可怜。三重不确定性叠加——采样噪声（跑 10 个回合的 90%，真实水平可能是 60% 也可能是 98%，第 2.4 节量化）、非独立（若 50 个回合用同一组固定初始条件，回合之间不独立，区间会偏窄，真实不确定性比报的大）、训练方差（同一个配置训 3 遍，成功率可能差 15 个点——这部分 Wilson 区间完全管不着，只能重复训练去测）。

1.5 四维交叉：一次评测的完整坐标

把四个维度各取一个值，就是一次评测的完整坐标。LeRobot 里的三个入口，恰好是三个不同的坐标：

看懂这张表，就抓住了这一篇的骨架：三个入口不是"三个工具"，而是同一个坐标系里的三个点。后面所有内容，都只是在这张表上填空。

1.6 四类陷阱总表：陷阱、表现与解药

二、三阶段门禁与源码落地

评测不是选一个最好的方式，而是一道流水线：每关只淘汰一类"不合格"，通过了才进下一关——因为真机太贵，仿真又不够真。

2.1 三阶段门禁总表

核心思想：把最便宜的门禁放最前面——过拟合的 checkpoint 不该浪费仿真机时，仿真不过关的策略不该浪费真机时间。

三关的开关，官方已经给了答案（默认值就是表态）：

阶段 A   eval_split=0.0 · eval_steps=0       默认【关】—— 离线评估只做防呆，别指望它阶段 B   env_eval_freq=20000                 默认【开】—— 闭环 > 离线，这是官方的态度阶段 C   手动跑 lerobot-eval（n_episodes=50）  结论，按版本跑，不按天跑

阶段 C 的报告只要三行，缺一不可：pc_success、pc_success_ci95、与 baseline 的 Fisher p 值。

两个硬约束：阶段 B 不支持分片训练（rank-0-only rollout 会死锁）、也不解决 sim gap；阶段 A 不支持 streaming 数据集。过了 B 只说明"仿真里能用"，过了 C 才是"真机能用"。

2.2 评测成熟度阶梯：L1 到 L7

同一套流水线，工程上可以一级一级往上爬。多数人的问题不是"没评估"，而是"停在太低的一级还以为是终点"：

多数团队卡在 L3~L4，论文级结论至少要 L5。

本节前半给了流水线，后半把它落进源码——同样只给三样东西：三阶段的参数落点、统计三件套、三处静默坑。

2.3 阶段 A/B 参数：held-out 与 EvalConfig

阶段 A 的 held-out 按 task 分层、取每个 task 末尾ceil(n × split) 个 episode（datasets/factory.py:198）；两个约束写死在校验里——eval_steps>0 必须配 eval_split>0（configs/train.py:318），且 eval_split 不支持 streaming（configs/default.py:62）。第一条是为了不让你在训练数据上算出虚低的 eval loss。

阶段 B 用 EvalConfig（configs/default.py:108）：n_episodes=50、batch_size=0（自动 min(0.7×CPU核数, n_episodes, 64)）、use_async_envs=True。最省事的 lerobot-eval --env.type=pusht --policy.path=...，已经按"跑满 CPU、并行几十个环境"来评估。

2.4 阶段 C 统计：Wilson 区间与 Fisher 检验

三件工具全在 utils/eval_stats.py：

• • Wilson 区间wilson_interval(9,10) = (0.596, 0.982)——9/10 你会说"90%"，但真值落在 60%~98%，和 60% 还是 98% 区分不了。样本量说明一切：10 回合区间宽 38 点，50 回合收窄到 18 点（这也是 n_episodes 默认 50 而非 10 的原因）。用 Wilson 不用 Wald，是因为后者在 0%/100% 附近会给出越界上下限，而机器人评估恰恰常落在两端。
• • Fisher 精确检验fisher_exact(9,10,5,10) = 0.141——90% 对 50%，p = 0.141，不显著。看起来差一倍的策略，10 个回合下统计上分不出来。
• • 边界：区间只覆盖评估采样噪声（哪些 episode 被抽到），不覆盖训练种子间差异——那要重复训练去测。

2.5 三处静默失效

真机评估里有三处不报错、但结论会错的地方：

1. 1. 成功率恒为 0 → 先查环境。success 的唯一来源是 info["is_success"]；环境不给这个键，LeRobot 静默判该回合失败，而不是报错。
2. 2. 尾部回合被丢弃。n_episodes=50、batch_size=8 → 实际跑 56 个，多出 6 个在指标里被切掉。"跑 50 个"其实是"至少 50 个"；想让浪费最小，batch_size 取整除 50 的值（10 / 25 / 50）。
3. 3. done 掩码决定谁被统计。done 累积（首个 True 之后全 True），用 argmax 取首次结束位置生成掩码；终止帧必须保留——success 只在终止帧可能为 True。

成功率是一个数字，视频是"为什么"——lerobot-eval 默认渲染 10 个回合的视频，别关。

三、回流环：从失败数据到策略提升

量出"真机只有 60%"之后，方法论的闭环是把失败的那一段收回来、补进数据集、重训。

3.1 五种采集策略：职责与代价

前四种录的是"策略做了什么"，只有 dagger 改变谁在做。两个坑：sentry 的策略状态跨回合保持、机器人回合间不复位（录的是连续切片，别当独立回合）；highlight 有 10 秒延迟窗口（等太久再按，精彩片段已滚出去）。

3.2 DAgger 与 HIL-SERL 的分野

模仿学习的数据集里只有成功轨迹，策略从没见过"搞砸之后怎么救"。DAgger 的三态机让策略自主跑、人按键接管：

AUTONOMOUS  --space-->  PAUSED  --tab-->  CORRECTING   ^                       |                  |   +--------space----------+ <------tab-------+

关键在一列intervention（自主帧 False、纠错帧 True）——这是纠错数据能被"区别对待"（只学纠错段 / 学完整恢复过程）的唯一凭据。代价是 requires_teleop=True、必须有人盯着，且用 rename_map 会让"平滑交接"静默失效。