美团 CatPaw Agent 质量与评测技术拆解

先看盘子：9 万员工，3 万个 Agent

美团今年 7 月底上线了全场景 AI Agent 平台 CatPaw，搭载自研 LongCat 2.0：总参数 1.6T，平均激活 48B，原生支持 1M 上下文，也是首个在五万张国产算力卡上完成全流程训练和推理的万亿参数模型。产品分两层：人人可用的 AI 智能工作台，加上企业级 Agent 开发托管平台 Managed Agents。

规模数字更值得看：CatPaw 内部已覆盖 9 万员工、搭建 3 万个 Agent。这个体量的 Agent 工厂，质量怎么保证？这篇拆两个侧面：质量保证体系（运行时护栏、数据回流、自精炼训练）和评测体系（四档判分、基座评测、端到端评测、双地平线）。主要素材是 LongCat 交互团队的技术报告《Higher Satisfaction, Lower Cost》（arXiv:2510.13291）

脑手分离：质量问题的地基

CatPaw 的架构哲学一句话讲完：把 Agent 拆成大脑和双手，中间用标准协议通信，各自独立升级。

大脑是 AgentLoop，ReAct 风格循环——理解上下文、思考下一步、调用工具、等结果、继续思考。它不在固定机器上跑，而是在分布式节点间流转，事件驱动，按 sessionId 恢复会话。双手是 Sandbox，真正执行代码和命令的地方，跑在独立 MicroVM 里做硬件级隔离，百毫秒级冷启动，闲时自动回收。

▲ 脑手分离：AgentLoop 负责决策，Sandbox 负责执行，标准协议通信

这个拆分和质量的直接关系在隔离两字：执行环境与决策环境完全分离，代码跑炸了不影响大脑，更不会逃逸到宿主环境。会话状态与执行环境解耦后，首次会话加载从约 15 秒降到最低约 2 秒。上下文管理也是三段式组装加自动压缩，系统规则和 skills 永不压缩，超大工具结果干脆以文件形式挂进沙箱，再引导模型自己去 tail 和 grep 回忆——不把长上下文浪费在堆工具返回值上。

RUNTIME三道护栏

Agent 上量之后，质量保证的重心从「测得好」移到「跑得住」。CatPaw 的runtime护栏有三道，都是工程动作，不玄。

第一道，身份与凭证。Agent 身份认证做到人-容器-Token 三方绑定，AI 流量自动染色，凭证集中托管在 Credential Vault 里，不进 LLM、不进业务进程环境变量。这一条直接堵死了「提示词骗出密钥」这类攻击路径。

第二道，执行安全。五点拦截链覆盖 Prompt 注入全路径，送进 LLM 前自动脱敏个人敏感信息，敏感凭据防外泄，Skill 上架前全量扫描、运行时持续监测。

第三道，可观测。全链路日志加端到端 Trace，异常行为主动检测，支持运行时远程阻断，完整行为链可回溯审计。模型智能路由网关做兜底：条件匹配、会话粘连、动态策略、权重分流、降级备选一路排下来，用户级集群限频、新模型灰度放量，把故障半径摁在最小。

Data Loopback：在线熔断，离线回流

这是整个质量体系里最值得抄的设计。论文管它叫「在线质量检查熔断 + 数据回流」，一个机制同时干两件事：在线保响应合规安全，离线精确捕获高质量错误样本喂给训练迭代。

流水线两步走。第一步策略识别：给定一轮对话响应和潜在工具调用，把它路由到对应场景的服务策略上，比如意图澄清、身份核验，一轮响应可以挂多个策略标签。第二步检查执行：从分层多级规则库里检索规则项，按优先级排序执行——错误退款比「欠佳但可接受」严重，优先级就高。触发检查项就输出错误标签和详细描述，这个结果一边实时反馈给模型做反思，一边沉淀成离线迭代资源。

▲ Data Loopback：一个机制同时保在线合规、攒离线训练数据（数据据论文）

关键的工程取舍在在线离线双轨解耦。在线检查只用低延迟的简单规则：字符串匹配、工具使用检查，精度接近 100%，结果直接驱动熔断和反思。离线精检才上多步多 Agent 协作的 prompt 识别，可叠加人工标注，专门产出训练数据。规模与效果（据论文）：10 大检查类别、36 个具体检查项，整体错误召回率 93.5%。

93.5% 这个数字背后有个认知值得展开：错误召回不靠一个全能裁判模型，靠的是 36 个边界清晰的具体检查项。检查项越具体，误报越少，在线链路才敢直接拿来熔断。很多团队的在线质检做不起来，就是想一步到位用 LLM 裁判，延迟和成本都扛不住。

训练数据：万把样本，每周三版

质量回流的数据最终要进训练。LongCat 在数据侧的几个做法，把成本打到了地板上。

自适应数据混合：用小规模代理模型快速试出最优数据配比，把配比当特征向量、代理模型验证损失当标签，拟合回归模型预测更优混合比例，再放大到全量训练。据论文，比人工调优效率高 75% 以上，最优平衡点约在 80% 通用数据。

PPL 实时验证：每个数据源先做 5B tokens 小规模预训练，用专用验证集上困惑度的实时变化评估数据源贡献。验证效率提升 5 倍以上，计算成本降 95%。

轻量 SFT 范式走得更远：充分预训练之后，不到 1 万个高质量样本就能匹敌百万级数据集的效果，训练成本降 99%，迭代从周级提速到每周 3-4 个版本。数据哲学从重数量转向重质量——配上一套三层一致性协议把关：自采样推理链自一致性检查、与约束规则和知识的冲突检测、Agent 响应与可执行方案的对齐验证。

对评测从业者的启示在这一层：评测集本身也需要「评测」。数据源质量验证（PPL 框架）、评测集分层抽样与周期刷新，美团全做了。评测集不新鲜，跑分就是自欺。

SRT 自精炼：坏样本是金子

数据回流攒下来的样本怎么用？SRT（Self-Refinement Training）的答案：按解决方案正确性、用户满意度、对话质量三个指标分拣，好样本喂 SFT，坏样本喂 DPO。

坏样本的定义很讲究。「解正确但用户不满意」这类 case，藏的是真实应用能力短板；坏例经重写模型去重优化后，与原样本构成偏好对，专门做定向学习。效果直接看论文数据（LongCat 模型）：

▲ SRT 自精炼效果：好坏样本一起用，三项指标全面领先（据论文 Table 4）

只用好样本：用户不满率指标降 24.73 个百分点，满意率升 20.94 个百分点。好坏样本一起用：不满率降 27.53 个百分点，满意率升 25.51 个百分点，重复率降 37.16 个百分点。结论朴素：坏样本不是垃圾，是带着用户真实不满的标注数据，扔掉等于扔钱。

配套的 Operational DPO 流程是个周级闭环：持续识别坏例、归纳质检规则、边缘用例测试与 prompt 优化、自采样数据自动质检挖掘、人工加模型加规则三方标注、训练、回归测试防灾难性遗忘、部署。特殊问题域的修复率持续上升，幻觉场景修复率达 97.5%，错误方案修复率提升 34.49 个百分点。

评测体系：三层解耦，各答各的问题

美团把评测拆成三层，互相解耦：基座模型测能力，模型输出测质量，端到端 Agent 测效果。这三层对应完全不同的方法论，混在一起测，是多数团队评测做不清爽的根因。

先说总体框架。论文直言痛点：多轮对话是开放域，没有统一 golden answer，量化困难、阻碍持续优化。美团的做法是建统一评测平台，覆盖语料管理、版本控制、流程监控的端到端工作流，定期评测 SOTA 模型与 Agent，结果发在动态 leaderboard 上指导算法迭代。评测集构建三阶段：按真实业务场景设计数据分布、按难度和长度分层随机抽样、按场景选用 GSB 或 MOS 等指标，数据集周期刷新。评测执行双轨并行：人工盲评，每个 case 由 2-3 位不知模型身份的评估者独立打分；模型评测自动打分并生成理由，与人工标注交叉验证，分歧请专家仲裁，打分错误反过来迭代评测模型，目标人机一致率 95% 以上。

注意这个闭环：评测模型本身也被评测。裁判不是免检产品，人机一致率就是裁判的质量指标。

四档判分：三个裁定器并行，吵不过再找专家

模型评测的核心是套四档评分：-1 是红线行为（规则违反），0、1、2 分别是不满意、满意、优秀。打分流水线是四阶段结构。

Stage 1 上下文聚合：组装历史对话、模型响应、带 CoT 的标准答案、评分规则四类输入。Stage 2 并行打分：三个专用 Agent 同时做二分类——-1 裁定器查红线，2 裁定器查完美响应，0 裁定器查无效响应，三个都没命中就判 1 分。Stage 3 高效路由：无冲突直接出分，有冲突才进下一阶段。Stage 4 专家仲裁：换推理能力更深的专家裁定器模型解决歧义，做最终决定。

▲ 四档判分流水线：并行投票出快分，冲突才上专家仲裁

这个结构的妙处在可解释和省钱各占一半。二分类比 1-5 分打分容易得多，单裁判器准确率高；三个并行投票，无冲突的 case（大多数）直接出分，只有冲突样本才消耗昂贵的专家模型。而且分歧样本天然是评测模型的迭代素材——分歧在哪，标注标准就模糊在哪。

基座模型评测则在隔离环境下做：解耦业务系统、外部工具与知识库，只测模型内在能力。数据以线上真实流量清洗为主、人工构造为辅，每个测试项跑 3 次取平均。结果呈现四个数：总体分、可得率（2/3 分项占比，衡量能不能给出可用答案）、完美率（3 分占比，衡量能不能高效给出答案）、子维度分。据论文 Table 12 的智能交互基准，头部梯队：Doubao-Seed-1.6 总体 339.33、GPT-oss-120B 321.44、LongCat 305.11。自家模型排第三也照发，这个姿态本身就值得学。

端到端评测与 ATLAS：轨迹和记忆都要测

端到端 Agent 评测必须双视角：既看整体任务完成效率，又追踪内部轨迹做细粒度评估。被测 Agent 走模块化多 Agent 设计，Lead Agent 拆任务、协调 Subagent、整合结果。难点在构建真实沙箱环境——数据库、用户模拟器、API、业务规则要完整模拟生态。评估不只看是否端到端解决问题，还要查关键检查点（Key Checkpoints）的表现，并综合成本、效率、安全与系统集成打分。成本和单任务耗时进了评分维度，这是纯正确率视角给不了的。

ATLAS 框架（arXiv:2608.30685）把评估再拆成两个地平线，已在美团 App 内 AI 助手「小团」上生产验证。

▲ ATLAS 双地平线：请求地平线查轨迹，交互地平线查记忆

请求地平线看单次请求：顺着执行轨迹，每一步思考、工具调用、回应的完整记录，把缺陷定位到具体环节——「工具调用环节频繁失败」还是「理解环节出现偏差」，一句话说清。交互地平线看单个用户：跨时段持续交互中是否记得早前对话、回答是否始终贴合用户情况。这层专抓「服务非一次性」的问题：用户上午问过订单，下午接着追问，助手失忆没有？

每个诊断信号都带明确的证据范围与判定边界，基于哪些记录、什么条件下成立，不许凭感觉下结论。裁判实现也讲究：先用真实业务日志的高置信样本校准 LLM 裁判，对齐「什么算缺陷」，再把裁判蒸馏成轻量诊断模型，压低延迟和成本。生产验证三升：在线 A/B 实验里用户参与度、下游业务指标、人工抽检质量同步提升。

▲ 本篇最核心的一句话

抄作业清单

把这套体系压缩成几条可以直接落地的：

• 评测分三层解耦：基座能力隔离测、输出质量四档判、Agent 效果沙箱加检查点，三层的数据、指标、节奏完全不同，别搅在一起
• 在线质检用规则不用大裁判：36 个具体检查项换来 93.5% 召回和近 100% 在线精度，低延迟是熔断的前提
• 坏样本进偏好对：解正确但用户不满的 case 是最真实的标注数据，好坏样本一起用，满意率多涨 4.57 个百分点
• 裁判也要被评测：人机一致率 95% 是裁判的 KPI，分歧样本反哺裁判迭代
• 交互连续性做进指标矩阵：单轮跑分测不出跨会话失忆，ATLAS 的交互地平线是当前评测工具的普遍空档
• 评测集周期刷新：数据分布基于真实业务场景设计，分层抽样，刷不动的榜单只能自我安慰

整套体系压箱底的一条经验，ATLAS 论文里写得直白：先建评估，再谈优化。没有过程级诊断，你不知道该改模型哪一环；没有关系级诊断，助手忘记老用户的问题会悄悄累积，短期指标未必暴露。