Evidently：AI 的老评测集还全绿，用户的问

AI 助手上线前测得挺好，几周后业务同学抱怨越来越难用。QA 把老评测集再跑一遍，结果还是全绿。

不一定是模型突然变差。可能是入口从帮助页挪到了工作台，问题由短句变成了长段落，新业务又带进了一批没见过的术语。功能没改，大家用它的方式却变了。

这时候别急着加“AI 质量总分”，先看看手里的测试题还管不管用。拿上线时的输入和最近一周的真实输入做对比，重点盯问题长度、入口、语言和类别这四个字段。

但有个坑：两边的数据口径必须对齐。去重规则、时间窗口、分类字典都得一致，不然算出来的漂移根本没法看。

跑完报告发现分布变了，也别直接阻断发版。把变化明显的样本抽出来，人工补上期望答案重新验收。最后直接甩给团队一张小表：发现了啥、补哪类题、谁确认、看什么结果。

说白了，这工具省下的不是判断质量的时间，而是帮 QA 在茫茫日志里少猜点用户到底换了啥。