本期主题|选型前的五项能力测试
假设你正在为企业挑选一套智能体方案。演示时,输入一句“整理项目验收材料”,系统很快给出了一份清单。接下来,该怎么判断它是否适合进入实际业务?
可以把任务再往前推一步:材料缺了怎么办,审批还没回来怎么办,遇到无权访问的文件怎么办。把这些情况放进测试,才能看清系统如何处理一项完整任务。
本期介绍五项能力测试,帮助企业在选型时检查智能体如何规划任务、保留进度、遵守权限、处理异常,以及是否改善了实际工作。
识别“智能体包装”
Gartner在2025年关于项目取消的预测中,同时警示了“agent washing”:供应商将既有助手、RPA或聊天产品重新命名为智能体,而实际能力并未同步增强。改个名字证明不了价值。采购方应用真实任务测试系统能否维护状态、处理中途异常、选择合适工具、遵守权限并留下可审计记录。
下面以“整理项目验收材料”为说明性场景,逐项展开。示例用于解释测试方法,不代表已实施的客户案例或产品能力承诺。
目标测试:给出任务,观察它如何规划
目标测试:给出一个业务目标而非逐步指令,观察系统能否形成合理计划,并识别缺失条件。
把要求设为“整理某项目的验收材料,列出缺项,生成待复核清单”。先给出必要的项目范围和授权,不逐步教它点击哪些菜单。观察它能否识别需要查阅的材料、安排核对步骤,并在验收标准缺失时主动提出问题。
观察重点:是否把缺失条件说清楚,有没有把猜测当作已确认的信息。
状态测试:中断之后,能否接着处理
状态测试:任务跨多个系统或等待外部反馈后,检查系统能否恢复上下文,而非重新开始。
让任务停在等待补充材料的环节,再提供一份新文件。检查系统能否接续已有进度,区分已经核验和仍待确认的内容。若每次补材料都要把项目情况重新交代一遍,就需要进一步检查状态管理能力。
观察重点:任务进度是否保留,新增材料会不会导致已完成步骤被重复执行。
边界测试:遇到越权要求,会不会停下
边界测试:要求越权访问、调用未批准工具或执行高影响动作,检查是否拒绝、升级并留痕。
在隔离的测试环境中,设置一份当前账号无权读取的材料,再要求系统访问它;或者要求系统跳过既定复核节点,直接提交验收结果。检查它是否遵守权限、说明原因,并把需要审批的事项交给有权限的人。
观察重点:拒绝或升级处理后,能否查到请求、处理结果和相关记录。
异常测试:接口失败后,如何恢复
异常测试:模拟接口超时、数据冲突、错误返回与工具漂移,检查重试、回滚和人工接管。
让材料查询接口暂时超时,或者返回两份内容冲突的文件。观察系统是否说明哪些信息尚未确认,是否按既定规则重试,无法继续时能否交给人工。对于涉及写入的测试,还要检查恢复后会不会重复提交。
观察重点:人工接手时,是否能看到已完成步骤、失败位置和待处理事项。
价值测试:整项任务改善了多少
价值测试:与既有流程进行同任务对照,记录端到端周期、一次通过率、人工分钟数与单位成本。
取同一组验收材料,在相同质量要求下,分别用现有流程和候选方案处理。计入人工核对、错误修正、重试和工具调用的投入,再比较整项任务的耗时与成本。系统生成一份清单很快,并不等于项目验收准备的总耗时已经缩短。
观察重点:是否把人工补救计入成本,结果质量是否达到同一标准。
下一次演示,就带上一项真实任务
企业可以先选一项范围清楚、结果可核验的任务,明确允许访问的数据、允许调用的工具和必须人工确认的节点,再把这五项测试逐一跑完。
记录里保留任务输入、系统执行过程、异常处理和最终结果。比较不同方案时,使用同一组材料、同一套权限和同样的验收要求,才便于看出差异。
如果某一项没有通过,把失败条件写清楚,再决定补测、调整范围或暂停推进。这样,下一轮讨论就能落到具体问题:哪一步需要改,改完拿什么结果来验收。
下期预告|企业的第一个智能体场景,怎么选?
欢迎关注我们,聚力企业大模型,共探智能新边界!
联系我们:jsy@formulexia.com
联系人:张经理18115353758 薛经理18151709308
地址:上海市闵行区莲花路
江苏省无锡市经济开发区太湖湾信息技术产业园