第四十课：Agent规划评测数据集构造规范

评测 Agent 的 Planner，重点根本不是看最终答案对不对。它专门盯两件事：任务拆得准不准、计划能不能跑完。

每条样本就抓四样东西：用户原话、标准参考计划、人工写的缺陷清单，再加难度和类别标签。标准计划必须做到原子化、可执行、没歧义，还得把先后顺序和参数写死。

难度分三档，比例按 2:5:3。简单题测基础拆解；中等题是主力，步骤固定，用来比核心指标；难题带分支和干扰项，执行中可能要重规划。这种题不能拿固定文本硬套，Judge 只校验逻辑约束。

正负样本的比例要拉到 1:1。一条正确计划配 4 到 6 条错误计划，每次只改一类错。这样评测时才知道，到底是原子化出错多，还是漏步骤多。

最后把数据切成四个子集分开跑：基础拆解、动态规划、工具调用、干扰项。同一条样本至少两人独立打分，有分歧就复审。训练集里绝对不能混进评测题，不然指标全是虚高。