面试官问:Agent评测拿了100%,是Agent真强,还是题出漏了?

最省事的做法是看总分。可要是这套题问的都是天气、股价这类得上网查的事，一个不管问什么都去搜的助手也能拿100%。这里说的是衡量能力的评测，回归评测本来就该接近100%。

Anthropic在Agent评测指南里讲过他们给Claude.ai网页搜索做的评测：同时收了两类提问，一类该搜索（比如查天气），一类该直接用已有知识回答（比如谁创立了苹果）。他们的说法是，只测“该搜的时候搜没搜”，可能得到一个几乎什么都去搜的Agent。两头都有代价：该搜的时候没去搜，给出的答案可能已经过时；不该搜的时候也去搜，回答就慢了，还白花一次搜索调用。

01同一批策略，换个题集第一名就换人

先做个控制变量实验：把模型摘出去，换成三个写死的Python函数当测试策略，12道题都是为这个实验编的，任务卡上的“来源”也是编的。一种每题都搜，一种从不搜，还有一种按关键词判断：提问里有“今天”“最新”这类时间词就搜，有“下单”“打电话”这类动作就回答做不到，其余直接答。写死的函数每次跑结果都一样；换成真实模型，同一题得多跑几次再看。

第一套题只收5条该搜的提问，也就是只有正例，下面叫它正例集。第二套再加5条不该搜的和2条超出职责、应说明做不到的请求（替用户打电话、在网店下单），共12条，叫它平衡集。前两种策略不会回答“做不到”，这2条一律算错。

正例集上第一名是每题都搜，拿了100%；换成平衡集，它跌到和从不搜并列最后，关键词策略升到第一。所以这个100%出在只有该搜题的正例集上，看不出它会不会乱搜。关键词策略丢的那1分，下一节拿来当例子。

02先把每道题写成任务卡

平衡的题从哪来？Anthropic建议先收每次发版前你会亲手试一遍的事；Agent上线后，再去翻缺陷单和用户反馈。起步用不着几百道题，按他们的说法，20到50个来自真实失败的简单任务，就是不错的起点。

每道题写成一张任务卡，就是一条写全了的测试用例：除了提问，还写清期望动作、判定证据和来源，别人接手也能复核分数。拿关键词策略唯一答错的那道题示范：

判定证据要具体到两位领域专家各自去看，判出来的结果一样，这是Anthropic对好任务的要求。写不出判定证据，说明你也说不清怎样算对，这道题就先别收。这张卡只判该不该搜，搜完答得对不对，第05课再讲。

03分层以后再看分数，唯一那道错题出在长尾

单张卡写清楚了，可12张卡混在一起报个11/12，看不出这道错题属于哪一类。所以给每张卡标所属层：典型是常见请求；长尾指这个助手该管、但少见或条件特殊的请求；域外是不归它管的请求，它应该说明做不到，实验里打电话、下单那两条就是。

层和期望动作交叉就成了格子：典型和长尾各分该搜、不该搜两格，域外只有说明做不到一种动作，算一格，共五格。实验的12道题这样分布，得分是关键词策略的，“高风险”一栏下一节讲：

按层看，关键词策略典型6/6、域外2/2，长尾只有3/4：小餐馆那道错题落在长尾·该搜，句子里没有时间词，它就没去搜。只看11/12，只知道错了一道；按格子摆开，才看得到它错在哪一格、每一格各测了几道。

每格只有两三道题，错一道就掉三到五成，所以分格不是为了把分数算准，是为了看哪一格缺了要紧的题。

04逐格数高风险题，找出缺口

风险等级是卡片上新加的一栏，不是另一套分层：按答错对用户的代价标高、中、低。把收盘价报成过时的数、替用户在网店下了单，是高风险；一个概念解释得不够清楚，是低风险。Anthropic建议按用户影响决定先把哪些失败收进题集；落到五格表里，就是逐格数“高风险”那一列。

实验里标高风险的只有两张卡：问股票收盘价的在典型·该搜，替用户网店下单的在域外；其余三格一道都没有。长尾·该搜这类请求，现实里有答错代价很高的，比如“某批次药品是不是被召回了”，题集里却一道没收，这就是缺口。缺口要和分数一起报：

05面试官追问链

不是。先问现实里这一格有没有答错代价高的请求：

不行，域外题要出在职责边界旁边的灰区。微软开源的Agent评测场景库提醒，越界最常出在看起来能答、其实超出职责的问题上，因为Agent懂得够多，会试着去答。联网助手能打开网页，让它在网店下单，它很可能真去试；写首诗离搜索太远，测不出它知不知道边界。

能用，要改的只是“期望动作”这一栏，格子数也跟着它变。每层要不要拆成两格，看助手在这一层里要不要做“查还是不查”的二选一。报销助手不管答什么都得先查制度，没有这个二选一，格子就只剩三格：典型·作答、长尾·作答、域外·说明做不到。

06本题总结