多模态评测系列(四)视觉grounding判定4类坑

本篇是系列第 4 篇，承接 01 的输出非文本与 03 的过程分，专讲视觉 grounding 的判据。多模态模型常要输出框、掩码、坐标，这类输出的判据是几何或像素比对，有自己的坑。后面 3 篇落地稳定性（05）、安全（06）、闭环（07）。

框画得差不多，分却是零

视觉 grounding 是让模型指出图里东西在哪：输出边界框或分割掩码。判据不再是文字比对，而是几何比对。

最常见翻车：预测框和真实框只差几个像素，人眼看一模一样，IoU 却掉到阈值下，被算错。模型团队为了这一点点偏移被假指标卡住。

这类几何指标有自己的脾气，下面 4 类逐个说。

4类横向比较与选型

• IoU ：能量单框重叠，发现不了多类多框场景。它最基础，但阈值一变分数就变。
• mAP：能综合多类多框，发现不了单框细节。类别不均时它会偏向大类。
• 精确匹配：能判文字点对，发现不了语义等价。OCR 里同义表述会被误杀。
• 语义匹配：能判含义对，发现不了几何精度。描述任务用它，定位任务别用它。

各类不是替代关系，是各有盲区、必须叠着跑。

视觉 grounding 的判据要分形态选：定位用 IoU/mAP，文字用精确匹配加语义兜底，描述用语义匹配。一把尺子量所有，结论没意义。

一、IoU 阈值敏感

IoU 是预测框和真实框重叠面积占并集的比例，0 到 1。常用 0.5 当门槛：高于算对，低于算错。

坑是阈值一变全盘变。同一个模型，IoU@0.5 和 IoU@0.75 能差出十几个点，因为 0.75 要求框几乎严丝合缝。所以报 IoU 必须写清阈值，否则数字不可比。

小目标尤其崩：小物体几个像素偏移就让 IoU 从 0.8 掉到 0.3。评测要按目标大小分层报，不能只给总平均，否则小目标的差被大目标掩盖。

二、mAP 与类别不均

mAP 是各类别 AP（平均精度）的均值，综合不同置信度下的精度与召回，是多目标检测的主指标。

坑一是非极大值抑制（NMS）影响：重叠框怎么合并，会直接改 mAP。换 NMS 参数分数就动，所以比 mAP 要固定 NMS 配置。

坑二是类别不均：大类样本多，小类少，mAP 会被大类拽着走。要分层报或加权重，否则模型在罕见类上的崩被平均掉。

三、OCR 精确匹配误杀

OCR 和坐标类任务常做精确匹配：识别出的字一字不差才算对。但图里红色的 1024 和红色的一零二四语义相同，字符串不同，被误杀。

解法是精确匹配加语义兜底：先精确比，不对再用裁判模型判语义是否等价。这样既不丢严格性，也不误杀同义。

坐标同理：输出 102.3,55.1 和 102,55 指向同一点，按像素容差判而非字符串判。

四、生成图用 FID/CLIPScore 而非像素

图生图或文生图任务，输出是一张图，没有标准答案。不能按像素比（如 PSNR），因为两张都好的图像素也能差很多。

常用 FID 比生成分布和真实分布的接近度，CLIPScore 比图文语义对齐度。两者都看分布不看点对。

坑是 FID 对样本量敏感、CLIPScore 只看语义不管细节（图里多只手它不一定发现）。所以生成图要分布指标加人工抽检，不能只信一个分数。

五、判据怎么落到你的 grounding 评测

先定义每个 grounding 任务是检测、OCR 还是生成，再选指标：检测报 IoU（写阈值）加 mAP（固定 NMS）；OCR 报精确匹配加语义兜底；生成报 FID/CLIPScore 加人工。

按目标大小分层报，小目标单独看，别被平均掩盖。

和已有四件套接：评分卡从准确率列扩到 IoU/mAP/语义匹配多列，裁判在 OCR 和生成任务上看图。

本文建议

一句话收尾

视觉 grounding 的判据是几何不是文字：框差几个像素，人眼看一样分却是零。你的评测里，现在报的是带阈值的 IoU，还是一句含糊的准确率？

英文术语释义

• 视觉定位（visual grounding）：让模型指出图里物体位置的子任务。
• 交并比（IoU）：预测框与真实框重叠占并集的比例，衡量定位精度。
• 均精度均值（mAP）：各类别平均精度的均值，目标检测综合指标。
• 非极大值抑制（NMS）：合并重叠预测框的后处理，参数影响 mAP。
• 弗雷歇距离（FID）：生成图分布与真实图分布的接近度。
• CLIPScore：用 CLIP 模型衡量生成图与文本的语义对齐度。
• 精确匹配（exact match）：字符串逐字一致才判对，多模态里易误杀同义。