AI 产品为什么越迭代越差？质量闭环从评测

我们团队做 AI 产品，走过一段挺典型的弯路：上线时效果惊艳，迭代几轮后指标反而说不清了。

后来复盘，根子就三条：质量没法量、改动没法归因、反馈也没攒下来。说白了，模型是租的，Prompt 也是公开的，真正能变成壁垒的，只有自己攒下来的私有数据。

治幻觉不能靠换更强模型，得五层防线叠着用。评测不能只看平均分，得把正常、边界、风险用例分开看。改代码时一次只动一个变量，不然根本不知道是谁修好的。最后把点踩、转人工这些异常会话全打标入池，千条精标远胜过万条脏数据。

这套东西不用一步到位，按四级慢慢爬就行。最关键的行动项就一个：先搞出一份固定评测集和基线文档。没有它，你连这个版本为啥敢上线都解释不清。