评测集怎么建：给 AI 应用留一个「回归测试

AI 应用上线后，最怕改完 prompt、升了模型、换了知识库，用户突然说“答得不对了”。

你翻改动记录，根本分不清是哪一步搞砸的。因为手里没一份能反复跑的标准答案对照表。

所以上线前得先攒一份固定样本集，每条都写好期望输出。以后每次改动全量重跑，看分数涨还是跌。这东西叫 baseline，说白了就是 AI 的单元测试。

评测集每行至少四个字段：问题、标准答案或评分维度、难度、类别。只收集问题没用，后面三列才是判分依据。

样本要凑齐三类：高频日常、诱导胡说的边界 case、历史上线上真答错过的。第一次建别贪多，从 30 条起步——10 条高频、10 条易错、10 条边界，先把打分脚本跑通。

最关键的是，每次线上真实答错的 case，都要反向补回评测集。今天用户投诉一条，明天它就变成新用例。这样它就成了跟着业务长的错题本。

判分有三种：规则匹配最便宜，人工抽检最准，拿另一个模型当裁判最灵活。但用模型当裁判必须给它写清评分细则，不然同一份答案今天两星明天四星，噪声比信号还大。

改 prompt、换模型、更新知识库，任何一次变更都该全量重跑。没它，每次改动都在盲飞。