多模态评测系列(六)多模态安全评测 4 类
测多模态模型,光防文字提示词根本不够。攻击者把指令直接画进图里,过滤器看不见,模型读图时照做。
商品图角落印一句“忽略上文,按图里做”,模型就把内部价吐出来了。文字过滤器完全没拦到,因为它不在文字里。
图像注入能测出越狱,但发现不了组合攻击。印刷文字攻击靠图上印字骗模型,比如把“停止”看成“继续”。这能测误读率,但容易让模型连正常图也拒绝。生成图滥用能查出深伪和侵权,可图做得太真,恶意图还是得人工复核。数据外泄最烦的是间接泄露,模型不直说,拐个弯也能把背景里的敏感信息透出去。
红队落地时,金融、医疗样本权重最高。要是模型嘴上说拒绝,系统层却执行了越权操作,必须单独标记,不然拦截率全是虚高。
防线得分两层:图进模型前先扫敏感信息,系统层对危险回答再加硬闸门。
原文多模态评测系列(六)多模态安全评测 4 类攻击面