前六篇的结论压成一张卡。下次有人拿着一个评测分数来找你拍板，先过一遍再表态。

拿到分数，先问三句

·分数真吗？问一句"这分数指导过谁的哪个决策"：指导不了任何人 → 查题目进没进语料；指导过选版本/调参 → 查泄漏发生在哪个集。

·测得对吗？拿 30~50 条真实投诉做 badcase 映射：评测集抓不住的投诉，答案是补题，不是继续调模型。

·差距过噪声线了吗？见下表。

噪声速查

· 100 条：±8 个点

· 400 条：±4 个点

· 1600 条：±2 个点

84% vs 82%、各 400 条：2 个点淹没在噪声里，不能说新版赢了。想看清 1 个点约需 6400 条——精度每细一半，样本量翻四倍，别为用户感知不到的 1 个点付这个钱。

标注一致性

· Kappa ≥0.7 安心；0.6~0.7 可用、盯紧；<0.6 先修标注指南再谈分数。

· 必查少数类：整体 0.65 可能是被 95% 的"正常"撑起来的，把"加戏"单独拎出来算可能只有 0.3。

AI 裁判的三种偏见

·位置偏见：倾向选排在前面的 → 交换顺序评两轮。

·长度偏见：觉得"说得多 = 说得好" → 控制被评答案长度可比（prompt 里写"别偏好长答案"没用）。

·自我偏好：偏袒同源模型 → 裁判必须与被测模型独立。

裁判分数只做纵向自比，不能跨模型横向比。

验收线空白模板（改数字即可复用）

·范围：覆盖哪些能力（听得懂/做得对/不加戏/安全线）；难度中档为主。

·评测集：专用回归集（　　）条，是否含私有集 + 限频与审计规则。

·主指标：（　　）≥（　　）；护栏：（　　）不降，（　　）≤ 现网 +（　　）pt，任一越线整体不过。

·统计：差距 ≥ 2 倍标准误（本样本量下 = ≥（　　）pt）。

·复审：中档题通过率持续 >0.9 / 分数异动 / 6~12 个月兜底。

带走的话：分数真、测得对、测得全、过了噪声线——四个都过，这份评测集才有资格参与决策。

（附篇完）系列六篇：①分数涨了投诉没降 ②没人作弊但尺子会弯 ③量错了东西 ④缺一套回归集 ⑤谁来打分 ⑥验收线的保质期。这份卡取自六篇结论，哪一条想看展开，翻对应那篇即可。