一图看清评测回流：坏例入库，策略升版

坏例入库，策略升版——没有回流，永远停在演示

很多人谈 Agent 评测，停在「这一次 demo 过了」：只看单次准确率，坏例不入库、改策无版本、守门不设闸——看起来能跑，其实永远停在演示。回流闭环要求 badcase 入库 → 归因 → 策略版本 → 灰度守门 → 再评测。一句话记住：没有回流，永远停在演示。
三支点。 一是采集与 Badcase 池：Trace、人闸驳回、用户纠错、黄金集都是信号入口；入库后去重聚类，打根因标签（意图/工具/策略/模型/数据），定严重度与 owner。二是归因与策略版本：按根因改 Prompt、工具契约、路由、人闸或检索；改完必出版本号、变更说明与回滚点，并挂黄金集用例。三是守门发布与对照回流：影子评测不过禁灰度，灰度指标跌了就缩流量或回退；看板盯闭环关闭率与复发率。
实例。 「改地址并开票」回执缺字段却报成功 → 标 badcase 挂 Trace → 归因工具契约 → 加必填校验与 Critic 拒收规则 → 出 v1.3 → 影子过黄金集后灰度 → 回归通过、闭环关闭。不是口头「下次注意」，而是有版本、有守门、有关闭条件。
六层：采集观测 → Badcase 池 → 归因改策 → 策略版本 → 守门发布 → 对照回流；左右贯穿安全与运营。落地节奏示意：黄金集站稳 → badcase 周闭环 → 策略版本化 → 灰度守门自动化。
诊断。 已满足：Trace 可回放、黄金集可跑、人闸有原因码。还差的锁：无根因乱改 Prompt、改策无回滚点、无影子守门就全量、看板不看闭环关闭率。
启示。 先问「这个坏例进没进池、关没关」，比堆测试用例更值钱；没有回滚点就不要发版。冷思考：没有回流的准确率，只是彩排及格条。
#agent #ai #架构图 #评测回流 #badcase