当前位置:首页>排行榜>AI Agent评测基础|学习第1天

AI Agent评测基础|学习第1天

  • 更新时间 2026-11-19 13:43:10
AI Agent评测基础|学习第1天
📌 今日主题:分清Agent、Skill套件、Function Call、Harness,建立评测底层认知⏱ 建议时长:60–90分钟一、核心学习内容1. 什么是AI AgentAgent = 大模型 + 规划能力 + 记忆 + 工具调用 + 反思循环它能自主拆解任务、多次调用工具、根据结果调整下一步动作,不是单次问答。重点:有自主循环、能自己决定下一步,才是Agent。
2. 4个高频易混概念(评测的前提,测错对象就全错)• Function Call:只是单次调用工具,没有自主规划、循环反思,属于基础能力,≠Agent• Skill:单一、固定能力单元,比如【用例格式校验Skill】【缺陷分类Skill】,输入输出固定,规则清晰• Skill套件:多个Skill串行/并行编排,按固定流水线跑,调度逻辑是写死的,不会自主改流程• Agent:自主决策,任务中途可以自己选择调用哪个工具、什么时候停止,流程不固定3. 标杆产品对照理解• Kane CLI:探索型Agent,自主遍历页面、生成应用地图• DeepSeek Harness:校验基座,可以承载自定义Skill,也可以接入Agent做Judge判定• Claude Code / Cursor Agent:编程Agent,自主规划代码修改、调用命令行4. Agent评测到底在测什么?不是单纯测回答好不好,核心测:✅ 任务能不能闭环完成✅ 工具调用准不准、会不会乱调用✅ 会不会幻觉、编造不存在的信息✅ 稳定性、一致性、成本开销二、今日实操任务1. 画一张对比表:Agent vs Skill套件,记录:决策方式、流程、适合场景、评测侧重点2. 简单跑一次工具调用Demo,观察:什么时候它会重复调用工具、什么时候停止不了(死循环)3. 写下3个你觉得Agent最容易翻车的点
三、部分参考答案任务1:Agent vs Skill套件 对比表
对比项
Agent
Skill套件
决策方式
自主动态决策,模型自己判断下一步调用什么、要不要继续、什么时候结束
固定调度逻辑,编排顺序预先写好,不会自主变更流程
流程灵活性
流程不固定,根据中间结果调整路径
流水线固定,串行/并行顺序提前定义
单元特点
自带规划、记忆、反思循环,是一个自治任务主体
每个Skill是单一能力单元,输入输出契约明确,无自主规划
适合场景
开放、不确定任务:无文档探索、复杂多步骤探查、需要动态试错(Kane CLI)
标准化、可收敛的校验任务:七层质量门禁、需求评审、用例基线校验
评测侧重点
任务闭环成功率、工具调用合理性、死循环、幻觉、决策合理性
单技能准确率、流水线误报/漏报、输入输出兼容性、规则稳定性
成本特点
消耗波动大,取决于Agent自主探索轮次
消耗可预估,每一步执行开销稳定
任务3:Agent最容易翻车的3个点

1. 工具调用失控:重复调用同一个工具、无意义重试,或者不该调用工具的时候强行调用,出现死循环,无法自主终止任务。

2. 业务幻觉:编造不存在的接口、字段、页面、规则,没有业务基线校验时,自己脑补预期结果,输出看似通顺但是错误的结论。

3. 任务规划断裂:复杂任务拆解能力不足,漏掉关键步骤;或者中途跑偏,忘记原始目标,输出结果无法完成最初的任务。

随机文章