多模态评测系列（五）稳定性评测 6 档口径

多模态模型天生就“不稳”。同一个提示词出三张图，同一张图问两遍，答案可能都不一样。跑一次成功，根本分不清是模型真稳，还是这次运气好。

所以评测不能只跑一轮。pass@k 看的是能力上限，三次里成一次就算赢；pass^k 看的是一致性，连跑三次都得过。用户在线上只试一次，真要验收门禁，还得死盯 pass^k。

到了多轮对话更得小心。上一轮出的图进下一轮，误差会越滚越大。比如三轮改图，单轮通过率看着都不低，但把整条会话连起来跑，成功率直接掉了一大截。所以多轮产品必须把“一条完整会话”当成最小单位，逐轮分和终局分得并排报。

最后落地时，每个任务连跑 3 到 8 次，同时报两个指标。要是 pass^k 单次下滑超 10 个百分点，先别急着骂模型。按顺序排查环境、判据，最后才轮到算法。