对 Agent 评测又有一点小的迭代
最近对 Agent 的评测又有了一点小的认知迭代。
之前认为，之所以要做评测，那是为了对 Agent 做的怎么样这个事情的一个量化。Agent 没有量化，我们很难说效果如何，也很难评价，这是否达成我们的业务目标。所以弄个量化指标给 Agent 这是水到渠成的事情。比如对智能助手的场景，我们会定义有效问题解决率的量化指标来衡量智能助手的回复质量。有效问题解决率定义为有效解决用户问题的回复数除以总数。
现在看，我们还需要更进一步。拿到有效问题解决率，只是第一步。下一步的「归因」才更关键。归因才是评测的核心产出。有效问题解决率跑出来只是一个数字，数字本身不产生价值，价值在于拿到数字之后做什么。拿到数字之后归因就是告诉我们下一步做什么。评测的开始就得想着归因。
归因的过程就是清洗、统计、聚合、对齐的过程。这是一个很细致的活，需要反复的对齐。我们要把评测做踏实，就得在这里花时间。一些所谓的通用的标准指标对业务可能并不产生效果，并不能反映实际问题。这也是我之前说做评测不用急着做平台的缘故。
再回到智能助手场景，我们至少可以看三类归因：Agent本身、知识库、标注本身。Agent我们可以继续看检索、意图识别、回答完整性、规则回复准确度等等。知识库我们可以看缺失、矛盾、过时。标注本身我们可以看标注一致率、标签准确率等等。
拿到线上的数据指标后，要把有效问题失败率归因到这些子标签上就是我们下一步的重点了。归因之后，我们才可以针对性的治理 Agent，才能畅享 RSI。后续的迭代才能有的放矢，大家想想是不是这样。
