面了个实力很强的AI测试,她对评测理解顶级

今天面试了一位非常亮眼的AI测试女生，刷新了我近期的面试观感。

学历普通一本，四年传统功能测试经验，简历项目都是常规电商、小程序后台，初看平平无奇，我原本预期不高。但深入聊到大模型评测思路时，我瞬间明白：有的人只是会名词，有的人是真正懂质量体系。

现在大部分转型AI测试的候选人，面试习惯堆名词：RAG、LangChain、Agent、提示词工程，背得很全，但一问落地和评测细节就露怯。

而她开场第一句话直接直击本质：

“AI测试不是跑Demo，是保证上线不翻车。传统测试拼用例覆盖，AI测试拼概率和边界把控。”

她解释得特别通透：传统软件是确定性输出，输入固定、结果固定，有明确对错；大模型是概率性输出，同问题多次提问，答案可能完全不同。

所以AI质量的核心，不是测“能不能用”，而是搞懂模型为什么这么输出、误差边界在哪、风险如何可控。

我当场问了几道筛选率极高的核心考题，她的回答非常专业、落地：

✅ 如何完整测试一套RAG问答系统？

她坚持分层测试思路，坚决不做模糊的端到端测试。

第一层测检索层：重点校验召回率、命中率，批量验证标准答案文档是否能精准召回、有无漏召、错召。

第二层测生成层：校验回答忠实度、是否忠于检索内容，杜绝幻觉编造、信息篡改。

分层最大的价值：出问题能精准定位，是检索问题还是模型生成问题，不会两眼一抹黑。

✅ 模型输出不稳定，怎么界定是不是Bug？

大多数人只会说“多复现、看概率”。

她的思路非常职业化：先定标准、再谈Bug。

事实性、知识性内容必须严格一致；话术、语气可以允许合理浮动。

回归测试统一固定温度参数，用人工黄金基线答案做对比，超出偏差阈值才提单，避免无意义的无效Bug。

✅ 如何规避评测集本身带来的误差？

她提到三点很多资深测试都忽略的点：定期清洗评测数据、抽检标注质量、严防训练数据泄露。

同时会主动构造对抗样本，试探模型知识盲区，校验是否存在强行编造、一本正经胡说八道的风险。

聊到自动化评测，大多数人只会空谈“看成本、看需求”。

她的观点非常通透：只要是迭代频繁的模型，人工评测根本扛不住，自动化评测是必然趋势。

但自动化指标必须先和人工结果对齐，否则分数再好看也是虚假指标，毫无质量意义。

面试完最大感触：

市面上90%的AI测试，停留在学工具、套框架、背概念的层面。

真正稀缺、不可替代的，是她这种懂评测体系、懂质量风险、懂落地标准的人。

工具永远在迭代，但底层的质量思维，才是拉开薪资和层级的核心。