Embedding 替换怎么评测：把索引成本算进成

前两天我盯上了 NVIDIA 新出的 Nemotron 3 Embed，想拿它替换掉老模型。公开榜单上分数挺高，可真接进知识库，任务反而更贵了。

毛病全出在检索之后。Agent 拿到片段没法作答，就得改写查询、展开整篇文档，失败还得重试。这些动作都在烧生成模型的 Token。只看一次向量请求的单价，根本算不清整条链路的账。

所以我搭了个核算程序，把每次重查、失败和索引重建全记上。结果很直观：B 方案在线花费确实降到了 1.048 美元，比 A 省了点。可一旦把重建索引的摊销成本摊进去，B 的总账直接飙到 1.528 美元。算下来每个成功任务的成本反而更高了。

这事儿给我提了个醒：评测 Embedding 不能只盯排行榜。你得先冻结任务集，把 Agent 的每一步动作都串起来看。省钱如果来自频繁拒答或错误回答，那根本不算收益。