评测工程基线如何构建
- 更新时间 2026-11-02 22:21:39
评测工程基线如何构建
有个团队每周出评测报告，数字一列列摆着，大家盯着看。三个月后老板问，咱这季度模型到底变好了没，全场沉默。报告里只有「本周值」，没有「和哪版比」，三个月的曲线各自为政，谁也说不清是涨是跌。 指标没有基线，就等于没有尺子，所有数字都是漂浮的，看着热闹比不出东西。 基线要的是固定对比锚，而非某个飘忽的数字。把今天的结果和锁定的基线版一比，才知道这次是进步还是退化。没有基线，分数再高也只是一时好看，经不起和上周比是好是坏这一问。 基线锁定最容易被误用成「用最新一期当基线」，结果永远在和自己比，永远显示「没退化」，等于没锚。正确做法是锁一个固定版本，只有主动重设才换。 回归对比是基线的搭档，没有它锁了基线也只是存着，建议每轮自动 diff 才算用起来。指标下钻解决「总分好看内部塌了」的问题，只摆总分，一条维度退化被平均分掩盖，下钻才能定位到线。退化告警是收口，前面三样都齐了，但没人翻看板就白搭，超阈值主动推，退化才拦得住。 看板不是把数字堆上去就完事，缺一个要素，对比就断了。
这四个要素里，基线锁定最常被省，但它是源头，没有它后面三个全悬空。先锁一个固定基线，比急着做花哨看板有用得多。 
基线锁好了，diff 也每天在跑，下一个问题立刻就到：这周掉了 2 个点，算退化还是噪声。拍一个「超过 2 个点就告警」的阈值最省事，也最容易把团队练成「每次告警都不当回事」。 原因很直接，比例型指标自带抽样误差。300 条集子、通过率 0.9 时，标准误约 0.017，95% 置信区间是正负 3.4 个点。同一版模型重跑两次，差 2 个点完全落在噪声里，判成就成了假红；反过来，真退了 2 个点，这个样本量也看不见。集子规模和能分辨的差异大致这样：
读这张表只有一个结论：告警阈值不能凭感觉定，得由集子规模倒推。你想抓 2 个点的退化，集子得往千条以上走；集子不动却把阈值压到 2 个点，换来的只是一堆假红。 
再看配对这一层，它比扩样本更省。同一批样本前后两版各跑一次，把结果按四格数：两版都对、两版都错、由对变错、由错变对。真正说明退化的是「由对变错」减掉「由错变对」的净差，两版都对的样本不提供任何信息。配对比较的方差远小于两次独立抽样，所以它比直接比两个通过率灵敏得多。 经验起点可以取样本量的 5%。300 条集子即净增错误 15 条以上就该看，25 条以上基本可判退化。这个比例先按自己链路的实测波动校准一次，再写进告警规则。 还有一个反直觉的地方：阈值调松并不能减少误报，只是把问题推后。集子扩不动、又想把 2 个点的退化抓住，正确动作是拆指标，把总分拆到最容易先动的维度上，在那里用配对净差判，而不是在全量总分上硬压阈值。 对照下面这张表做一遍成熟度自查。
先锁基线版本，同时把置信区间一起记下来，再接自动 diff 与配对净差判据，做维度下钻，最后接退化告警。 把维度搬上看板，让退化在被平均掩盖之前先露头。维度这件事，前面已经定清：总分拆成扣分项，每项有判据有阈值，稳定性也分了档。可这些维度如今活在文档和一次性报告里，跑一次看一眼，下次从零再对。更麻烦的是总分，一条维度塌了会被其余几条平均掉，报告上仍是 0.9。 评测集版本即基线版本，评分卡维度即下钻维度，裁判通过率即告警指标，难负集是退化最敏感。字段映射关系汇总如下表。
基线版本号固定率 100%；每轮 diff 自动出；维度下钻覆盖评分卡主维度。首个核心链路下次评测前基线生效；告警随 CI 门禁同步触发。 区间按正态近似算，样本量偏小或通过率接近 0 与 1 时该近似会失真，那种情形需改用精确检验。配对净差 5% 的参考线来自通用经验，未做跨团队统计，需按自己链路波动校准。 你那份评测报告，现在是锁了基线能答变好没，还是三个月数字各说各话？
评测没基线，3 个月指标全瞎猜
一、基线是被比出来的
二、看板要有的四个要素
三、差 2 个点是波动还是退化
四、落地实践：分步落地，兼容现有体系
本文建议
一句话收尾
本文来自网友投稿或网络内容，
如有侵犯您的权益请联系我们删除，
联系邮箱：wyl860211@qq.com 。
