AI科普 | 什么是"Agent 的评测与灰度上线"？掌握让AI更聪明的核心技巧
每天 3 分钟，搞懂一个 AI 核心概念。
一、是什么：上线之前，先回答"它真能办事吗"
前几讲我们把企业 Agent 的零件基本配齐了：四要件、工具、规划、记忆、协作、容错、Tracing、安全权限、成本治理，上一次还讲了怎么把检索变成多步决策。但还有一个终极问题没有回答：这套 Agent 到底行不行，谁说了算？"演示的时候能跑通"和"生产环境里每天办几百件事不出错"，中间隔着一整个工程学科。这一讲讲的就是从"做出来"到"敢上线"之间的四道闸门：任务级成功率、步骤级准确率、SLA 与超时率、灰度/影子/回滚。
二、为什么重要：单一分数会骗人
很多人拿一个"准确率 92%"就想上线，这在 Agent 身上尤其危险。因为 Agent 的失败是复合的：可能是模型推理错了（想岔了）、可能是工具执行错了（手滑了）、也可能是数据或权限出了问题（情报错了）。三个环节各对 90%，串起来端到端成功率就只剩 72.9%。只看一个总分，你既不知道坏在哪，也不知道该修哪。评测必须分层，上线必须留退路——这就是本讲的核心。
三、核心原理：把 Agent 当"新厨师"上岗
1）任务级成功率：菜有没有端上桌。评判一个新厨师，最终标准是"客人点的菜完整端上桌且满意"，而不是"切菜姿势标准"。Agent 也一样：端到端把事情办成了（工单提交成功、报告正确生成并送达）才算一次成功，"过程都对、最后没办成"就是失败。这是最高优先级的数字。
2）步骤级准确率：哪道工序拖了后腿。端到端成功率低了，要能拆开看：切菜（信息检索）、火候（工具调用）、摆盘（结果生成）各自的合格率是多少。上一讲的 Tracing 留痕在这里派上用场——没有每一步的记录，步骤级归因就无从谈起。任务级告诉你"行不行"，步骤级告诉你"坏在哪"。
3）SLA 与超时率：点单后 15 分钟必须出菜。生产环境里，"最后做对了"和"在承诺时间内做对了"是两回事。要给 Agent 设任务时长上限（SLA）并统计超时率：超时率过高，说明步数太多、工具太慢或重试太频繁，就要触发熔断转人工，而不是让用户干等。
4）灰度、影子模式与回滚：先试卖，再全店推。新菜单不会第一天就换成全门店菜单。灰度上线，是先让 5% 的真实任务走新 Agent，观察一周再放量；影子模式更谨慎——新 Agent 跟着真实流量"同时做一份影子菜"，结果只拿来做新旧对比、不真正交付用户，零风险验证能力差异；回滚则是保命键：指标一崩，一键切回旧版本，用户几乎无感。三件套的共同逻辑是：把不确定性的代价，压到最小范围、最短时间。
四、与第31课、第43课的区别：Agent 特有的评测口径
有读者会问：PM 系列第31课讲过灰度发布与线上监控，第43课讲过模型升级的灰度回归回滚，这里不是重复吗？视角不同。那两课站在产品与模型层：功能开关、流量比例、模型版本的回归测试。本讲站在 Agent 工程层，口径是 Agent 特有的：任务级与步骤级的双层成功率（普通功能没有"多步链路"概念）、以步数和时长定义的 SLA 与熔断、以及影子模式里"新旧两条任务链逐事件对齐"的特殊对照设计。产品课回答"怎么发布"，本讲回答"怎么证明一个多步智能体真的能上岗"。
五、实际应用：今天的新闻里全是它的影子
看三条今天的新闻。其一，SuperCLUE 11 月榜把"智能体编程"单列为独立分项——权威评测正在从"知识问答"转向"任务级完成度"，与本文口径殊途同归。其二，Anthropic 的个人智能体 Claude Duet 能替你起草邮件、经确认后付款——这类产品上线前必然经过小流量灰度，且高危动作保留人工确认（正是第73讲"输出只能当建议、不能当授权"的落地）。其三，上港集团的航运物流 AI 中试基地纳管 54 个业务智能体——"中试基地"本身就是行业级的影子模式：先在受控环境里跑对比，验证够了再进生产。
六、一张卡片带走
上线企业 Agent 前盯三块仪表盘：任务成功率（行不行）、步骤通过率（坏在哪）、超时率与平均步数（快不快、贵不贵）；上线时留三个开关：灰度比例、影子对比、回滚按钮。记住一句话：评测分两层，上线留三闸——没有退路的上线，不是上线，是赌博。
— 澄心自留隅 · AI 技术科普 · Agent 评测与灰度上线 —
