企业级 AI 架构 · 番外:评测生产化
上篇刚把“要评测”立住,这篇补上怎么让 Agent 每天自动测。
评测得变成持续工程。数据集钉死版本,每次合并代码就跑回归,结果还得能追溯对比。
拿合同审查举例,5 份样本命中 15 处只是个开始。生产里得补畸形条款和跨类型混淆,每条标清严重度,再加一列期望零命中的反例防误报。核心样本冻结,新样本先进实验集观察。
Pi 侧直接调函数接进 CI,命中率下降或误报上升门禁就红;DSH 侧则靠 mock 和轨迹回放闭环。两边共用同一份引擎和期望,保证两极同证。
不过有个大坑:eval 跑通不等于质量好。15 命中只证明规则引擎没错,不代表真审出了风险。得看任务成功率、幻觉率和人工抽检一致率,再拿真实流量做在线评测,让门禁跟着生产一起转。
原文企业级 AI 架构 · 番外:评测生产化(把"要测"变成"每天在测")