多数企业智能体推进不下去的原因不在模型，在于没人能说清楚它到底算不算做好了。评测这件事，正在从交付前的最后一道工序，挪到最前面去。
先有基线，再谈有没有变好
智能体和传统软件最大的不同是，它每次输出都可能不一样。提示词改一句、知识库换一个版本、底层模型升一次级，行为就会漂，而且退化往往集中在某一类任务上，悄悄就变差了。靠"感觉不如以前"来判断，等发现的时候已经上了生产。
比较稳的做法是先建一套黄金样本集，收录专家确认过、业务意义稳定的代表性样本，而且不能只放成功案例，边界和失败都要进。每次换了模型、改了提示词、调整了切片方式或者新增了工具，都用同一批样本重新执行一遍回归，看哪些能力升了、哪些任务退了，不沿用上一版的分数。据“人人都是产品经理”上的一篇实践文章，成熟的团队会同时记录模型版本、知识版本和提示词版本，否则同一个问题无法复现。
举个假设的例子。某个机械图纸审核场景里，100 张图有 90 张没有严重问题，系统全判通过也有 90% 的表面准确率。真正该看的是高风险缺陷能召回多少、误报让工程师多花多少复核时间、证据能不能定位。
影子模式，是最便宜的一次试错
离线评测之后不要直接放量。影子模式的做法是把智能体接进真实输入流，让它照常出结果，但结果不影响任何业务动作，团队拿它和人工处理结果做同口径比较。这一步能暴露数据分布、流程接口和异常类型，也让业务人员提前对这套系统的水平形成预期。
灰度放量时，比较稳的做法是先放 1% 到 5% 的低风险流量，同时保留人工兜底。Enterprise AI Labs 在一篇企业级智能体评测文章里建议，随机性明显的智能体每个场景至少重复运行 5 次，高影响流程要 20 次以上，并且记录置信区间而不是只报一个平均值。另一组被反复引用的发布门槛是零关键策略违规、关键任务成功率不低于 95%、次要质量测试不低于 90%，但这组数字原文明确标注为示例，不是通用标准。
更重要的是停止条件。达到什么指标就继续放量，跌破什么指标立刻切回人工，谁有权按开关，这些要在上线前写清楚，而不是等出了事再开会讨论。
能做什么，需要先分等级
分级是被讨论得最多、也最容易被跳过的一环。一个好用的分法是分成参考、辅助和执行三级。参考级只生成内容，用不用由人决定；辅助级会读取业务数据形成候选结果，关键字段仍需人确认；执行级能够写入系统或者触发外部动作，必须具备权限控制、参数校验、审计与回滚能力。等级变化意味着责任变化，不能因为同一个界面上多了一个按钮，就悄悄把参考级升成了执行级。
客服场景里，知识问答可以先以参考级上线，再开放低风险问题的自动回复。
最后还得算账。一次回答要调几次模型、检索几轮、走多少工具步骤，人工复核花多长时间，失败了恢复要几步，这些都得放进同一张表。
回滚不只是撤销代码，还要恢复对应的配置、索引和工具权限，并且留下恢复的证据。回滚做不干净，放出去的量就收不回来，这时候放量才更像赌一把。
一个智能体能不能上线，说实话跟演示那天关系不大，要看换了模型之后还能不能证明它没退步。
关于渚文科技
良渚文化为根，科技赋能为魂。我们汇聚AI智能体、算法、物联网、机器人应用等领域的资深专家，将技术创新与业务场景深度融合，提供从需求定制到运维迭代的全流程服务。
我们致力于为企业级客户提供自主决策、高效执行、全天候值守的AI落地及智能体解决方案，帮助企业实现降本增效提质、流程优化与服务升级。
我们专注于机器人智能管控与智慧巡检的技术研发和创新，融合丰富的AI视觉、声纹、温度识别算法，支持各类第三方载具和设备，帮助电力、工厂、化工、园区等场景实现基于机器狗、机器人、无人机以及多品类、多机协同的智能化、全方位智能化巡检作业。
📧 business@lzhuculture.com
🌐 www.lzhuculture.com
📞 15067133913（微信同号）
参考资料
- 人人都是产品经理：打败烂智能体的核心，是做对"评估"，不是优化模型：https://www.woshipm.com/?p=6457270
- 人人都是产品经理：大模型越强，越要把边界写进流程（金色样本集与影子模式）：https://www.woshipm.com/it/6458623.html
- Enterprise AI Labs：How Should Enterprises Run Governed AI Agent Evaluation in 2026：https://enterpriseailabs.io/knowledge/how_should_enterprises_run_governed_ai_agent_evaluation_in_2026.php
