具身策略评测完全指南:四维坐标、三道门禁
训练 loss 降到 0.03,机器人就真会干活了?别急着庆祝,这玩意儿太容易骗人。
离线 loss 只是在演示数据上算误差。策略一旦自己跑偏,错出的状态没人教过,就会越偏越远。仿真也一样,没有真实世界的噪声和延迟,模拟考高分不等于真机行。而且成功率这种点估计极不靠谱——90% 对 50%,样本少时统计上根本分不出高下。
想不被骗,得设三道门禁。先看离线 loss 防过拟合,再进仿真筛掉干不了活的,最后才上真机定结论。真机测试至少跑 50 回合,配上 Wilson 区间和 Fisher 检验才算严谨。
测出真机只有 60% 也别扔,把失败数据收回来。人在关键帧接管纠错,只把这些纠错段补进数据集重训。每转一圈,策略才真正变强。
下一篇聊 30Hz 的推理延迟怎么卡死各派算法。
原文具身策略评测完全指南:四维坐标、三道门禁与数据闭环与模型迭代