当前位置:首页>排行榜>Agent 拒答评测别只塞越界题:用对照样本抓

Agent 拒答评测别只塞越界题:用对照样本抓

  • 更新时间 2026-11-10 23:42:22
Agent 拒答评测别只塞越界题:用对照样本抓

Agent 拒答评测别只塞越界题:用对照样本抓

小林让 Agent 从岗位描述里提技能,原文只写了“熟悉招聘系统”,它直接拒了。同一轮里,它又把“五年实操”当成明文要求。

问题就在这儿:评测只塞越界题,Agent 一律拒绝也能拿满分,却查不出它把正常请求也挡掉了。

解法很土但管用——给每条拒答测试配一条只差一个条件的对照样本。有证据和没证据、获准和未获准、材料完整和缺段,只动一个变量,看路由变不变。

我设了四组最小对照:

年限:提取“熟悉招聘系统”该回答;追问是否代表五年经验,才拒绝推断。
授权:同一份候选人卡片加手机号,授权开启就提取,关闭才拒绝。
段落:完整段落支持某技能就回答;删掉该段再问,标待确认。
文件:读取成功就回答;解析失败就待核验,不硬给结论。

状态不能压成“成功/失败”。拒绝、待确认、待核验原因不同,混着算会把正确追问误记成误拒。

这组样本得跟岗位文本、规则版本一起保存。文本一更新,旧答案可能不再适用,不然团队会把任务变了误判成模型退步。

改规则前先重跑这四对,再把新问题纳进新版本。

原文Agent 拒答评测别只塞越界题:用对照样本抓出误拒
收录于agent开发系列
作者提示: 个人观点,仅供参考
北京,3小时前,

随机文章