上来就搭平台,是评测改造最常见的死法

前三期讲「怎么用」,从这期开始讲「怎么建」——第(四)期,「从零到一改造记」开篇。

先给一个可能挨骂的判断:上来就搭平台,是评测改造最常见的死法。

这不是吓唬人。评测改造的浪费,大多发生在两件看起来相反的事上。

浪费之一:重搭。团队现有的接口返回断言、落库校验、规则检查,本来就能当评分器用,结果在平台里换个地方又写一遍——旧的一套没人删,新的一套没人用,两套并行,维护成本直接翻倍。

浪费之二:漏补,更致命。被测的智能体连一个程序化入口都没有,评测全靠人肉在界面上一条条点。平台搭得再漂亮,用例灌不进去,分数出不来,最后只能停在演示页面上吃灰。

所以改造第一步不是选工具,是盘点:现状、目标、差距。这是测试人最熟悉的老方法论——做自动化之前先盘测试资产,搬到评测改造上,一样锋利。而且盘点完你会发现一个反差:大部分团队手里的「已有测试」比他们以为的值钱,缺的口子也比他们以为的狠。

体检五问:动手之前,把这张表过一遍

这是本期最想让你抄走的东西。五问对应评测基建的五块,逐条打勾,勾不完的,就是你要补的砖。

一问被测入口:评测能不能程序化地跑起来

被测智能体有没有一个稳定的「问题进、回答出」的程序化入口?评测脚本发一个请求、拿一个回答,全程不碰界面——这才叫入口。

没有入口,后面四问全部免谈。没有入口,一切评测免谈,它是第一块要补的砖。人肉点界面不算入口,那是待改造项,不是现状资产。

二问用例集:你的测试用例里,藏着一个评测样本集

现有测试用例里,哪些能直接转成「输入 + 标准答案」的评测样本?一个跑了几年的团队,历史接口用例往往几百条,每条都带输入和预期结果——这就是评测样本的雏形,缺的只是按评测格式归一,不是从零造。

更值钱的是隐性资产:哪些业务判断规则,还只存在于老测试员的脑子里?「话术必须带免责声明」「金额必须保留两位小数」——这些规则不成文,人一走就流失。盘点本身就是抢救。

三问断言存量:老断言平移,见效最快

现有自动化断言里,哪些能平移成代码型评分器?第(二)期讲过,三类评分器里代码型免费且结果确定。而存量断言的本质就是代码型评分器:返回码校验、字段存在性、数值范围、敏感词拦截——换个壳就能跑进平台。

平移成本几乎为零,账面效果却极好:原来 0 个评分器,一周内挂上几十个,评测报告瞬间有了骨架。改造要有信心,信心来自第一周的可见产出。

四问语义缺口:谁在人工点检,标准能不能成文

输出不唯一的场景——语气对不对、话术合不合规、解释清不清楚——现在靠谁看?十有八九是一个老测试员凭经验点检。

别急着上裁判模型,先做更便宜的事:把点检标准写成一句成文准则。「回答先给结论再给解释」「拒绝请求时必须给替代方案」——准则既让老测试员的经验显性化,也是后面准则型评分器和裁判的原料。写不成文的点检,上了裁判也判不明白。

五问结果去向:分数躺在表格里,等于没有分数

评测结果现在存在哪?表格和聊天记录等于不可回归:跑完一次,截图发群,下次谁也找不到上次的分数。第(三)期说过,分数锚在对比里才有意义——没有基线,这次的 87 分是好是坏,没人答得上来。

体检动作:结果进平台,每次评测留档,选一个可信的 run 固定为基线。从下一次起,所有分数和它比。

目标架构一张图:看清哪些平移、哪些新建

五问过完,差距摆上了桌面。这时候再画目标架构,每个环节该干什么,一目了然。

画图规则很简单:绿色标平移——存量断言变评分器、历史用例变样本;黄色标改造——人工点检标准变成文准则;红色标新建——适配层和门禁多半是新建。画完你会发现:红色的「新建」远比想象中少,绿色的「平移」远比想象中多。多数团队不是缺能力,是缺一次盘点。

顺序有讲究:先赢一场小的,再啃硬骨头

排序比选型更要紧。我们定的顺序是:

1. 先平移:存量断言批量转代码型评分器,一周见效,先让报告有内容;

2. 再补入口:搭被测入口适配层,把「问题进、回答出」接进平台;

3. 再灌用例集:历史用例加成文标准答案,批量灌进去;

4. 最后上门禁:分数稳定、基线可信之后,门禁才有资格卡发布。

最容易犯的错是反着来:一上来从最难的语义评测开刀。裁判调了两周,团队还在吵「裁判判得对不对」,业务方看不到任何产出,改造项目半路被砍。门禁是最后的钉子,不是第一锤。

先赢一场小的:第一周平移 30 条断言,报告跑起来,分数动起来,后面的仗才有人跟你打。

诚实边界:这是体检框架,不是战报

照例说清楚:我们团队自己的改造刚启动,这篇给的是体检框架本身——五问怎么问、架构怎么画、顺序怎么排。真实盘出来的资产数字、取舍过程,会随「从零到一改造记」后续几篇逐一带出。

不装「已完成」,只记录「进行中」。这是这个系列的规矩。

下期预告

体检完,第一块砖怎么砌?下期讲适配层模式:鉴权、会话、参数适配全挡在包装层,业务代码和评测彻底解耦——换被测对象,不改评测。改造记(五),见。

如果你觉得今天这篇有收获,欢迎点赞、在看、转发三连,我们下篇见。