多模态评测系列(四)视觉grounding判定4类
模型把框画得跟真的一样,评测分数却给零。这坑就出在视觉 grounding 的判据上。
说白了就是让模型指出图里东西在哪。以前比文字,现在比几何。预测框和真实框只差几个像素,人眼看一模一样,IoU 却掉到阈值下,直接被算错。
IoU 最怕阈值和小目标。门槛一变分数就变,小物体偏几个像素,得分能从 0.8 掉到 0.3。mAP 看着全面,但重叠框怎么合并会动分数,大类样本多还会把小类的崩坏平均掉。
OCR 任务更冤。红色的“1024”和“一零二四”意思一样,精确匹配直接判错。生成图也没标准答案,像素比对根本不准,只能看整体分布和语义对齐。
所以评测不能一把尺子量到底。检测报 IoU 必须写清阈值、按大小分层;mAP 固定参数;OCR 加语义兜底;生成图还得人工抽检。一把尺子量所有,结论没意义。
原文多模态评测系列(四)视觉grounding判定4类坑