AI 评测入门篇收尾,进阶篇预告
这是一个 AI 评测入门系列的收尾篇。
系列一共 19 篇,讲一件事,怎么给 AI 出题,怎么判断它答得好不好。
前 15 篇讲判断,从 AI 评测到底在测什么,到换了模型怎样知道有没有改好。
后 4 篇是实操,从给模型出三道排序题开始,到写出自己业务里的第一道题,再把一道题扩成一小套,最后换个模型重跑,做了一次真实比较。
跟着做完的读者,手里有了一套十道题,一份运行记录,和一次两个模型的对照结果。
回头看,这个系列真正想留下的,是五个判断。
1. 先固定条件,再换变量。题目,参考答案,判定规则,运行设置,四样不变,比较才成立。
2. 判定规则提前写清。接不接受同一次回答里的更正,先定好,不要看到结果才临时决定。
3. 能用程序检查的,先交给程序,再考虑 AI 打分。
4. 程序初判失败,先查判分这一侧。把程序提取的答案和原始回答放在一起看,修好判分程序,再判断是不是模型的问题。
5. 一次全部通过,只说明这一轮。它不保证下次同样通过,也不证明两个模型能力相同。
入门走完的是一个闭环。评测本身,远不止这些。
十道题一次通过,下一次还通过吗。这要重复运行才知道。实操里,每道题在同一模型下都只跑了一次。
判分程序自己也会出错。实操里,参考答案写错过,提取程序把表外的说明文字也当成了答案。判分这一侧怎么做得更稳,还没有展开。
十道题覆盖的是排序和筛查两类场景。一套题要长到多大,才能覆盖真实工作,这还没有答案。
这些是进阶篇要接着面对的。
进阶篇讲什么,现在不锁定。这个系列做到的,是把问题问出来。
系列里的实测都在实操那四篇里,通过智谱 API 完成。本篇为系列收束,无新增实测,AI 协助整理文案。