评测集运行完毕,报告显示干净:PII 泄露 0 条。合规审计另起一路,抽了原始回放集,其中存有两万条真实手机号与四百个身份证号。出口已经有防护,入口始终敞开。这篇与线上监控那篇留下的判断回放集里躺着真数据,已经超出测试问题,属于数据安全事故。那篇讲怎么脱敏保效果,本篇讲如何证明脱敏彻底。一、责任切口错位:只看出口,入口在别人手里
隐私评测的对象是数据流的两端,绝大多数团队只测了出口。入口三处里最容易被忽略的是第三处。上下文窗口算不上存储设施,它被当成临时区,但它确实承载着历史 PII:一个用户在同一会话里说过手机号,十轮之后模型回答另一个问题时把它带出来,这条路径出口防泄露管不到,日志脱敏也覆盖不到。出口三类里最难测的是第三类。训练数据提取属于攻击面,Agent 与 RAG 系列讲过攻击结构,这里只说它对评测的要求:这类用例只在特定提问构造下触发,普通抽样永远抽不到,需要专门的构造集。本文不给构造方法。责任切口的错位有历史原因。团队习惯看模型说了什么,因为那是自己的代码产出的;入口的三种数据源分别属于测试、平台、应用三个团队,谁都不认领整条链路。评测报告只覆盖自己那一段,交付出去看起来是完整的。二、分级与检测三层
PII 并非均质概念,分级错了,后面的检测与判据全错。间接标识是最难处理的一级,也是最常被漏掉的一级。一条记录里出现「望京某小区」「三甲医院护士」「1993 年 3 月生」,三个字段拆开都不构成个人信息,合起来可能唯一指向一个人。按字段级规则扫描的做法在这一级上完全失效,因为规则看的是单个字段的格式。 | | | | |
|---|
| 正则匹配加校验算法:身份证按国标校验位、银行卡按 Luhn 校验 | | | |
| | | | |
| | | | |
三层串接的顺序按准确率排,从最准的一层往覆盖最宽的一层走。规则层先扫,能扫出的一定是真的;扫不出的交给 NER;NER 也拿不定的交给语言模型判。内容安全的四层判定也按成本从低到高排,两边的排序逻辑相近,差别在 PII 这一侧对规则层的依赖更重。这样排的理由在成本。规则层单条一毫秒,语言模型单条数百毫秒起且按 token 计费,把大部分直接标识样本在规则层解决掉,剩下的才付高价。三、漏检率要报置信上界
这是本篇的核心,也是隐私评测与质量评测最大的口径差异。质量评测报检出率,PII 评测要报的是漏检率的置信上界。原因很直接:检测工具的召回永远不到 100%,扫出 0 条有两种可能,一种是真没有,一种是工具没认出来。这两种情形在同一份报告里无法区分。扫出 0 条不代表没有泄露,它代表这次抽样没能证明存在泄露。先看「扫出 0 条」这件事有多少信息量。假设真实泄露率是 1%,抽 300 条,一条都没扫到的概率是 4.9%。这个概率意味着,即使泄露真的存在,抽不到也不稀奇。再算能给审计的结论。零检出时,漏检率的 95% 置信上界按 rule of three 估算,即上界约等于 3 除以样本条数。反向算账更能说明问题。想让泄露率的上界压到 0.1%,得抽 3000 条,这里的口径是估计一个比率的上界。写「PII 泄露检出 0 条」,审计方无法采信,因为他不知道你抽了多少、用什么工具、工具的召回多少。写「抽样 3000 条,工具检出 0 条,漏检率 95% 上界 0.1%」,这句话可采信,因为它自带了抽样量与结论强度。检测工具的召回率,如果工具本身对某一类实体(比如中文地址)召回只有七成,那么 0.1% 的上界要修正成 0.14% 左右。该修正并不复杂,遗漏则导致高估。抽样设计上,简单随机抽样在 PII 审计里通常不足以支撑结论。分层抽样更合适,按数据来源分层(用户输入、系统生成、第三方回流),按字段类型分层(文本、结构化字段、附件),高风险层加抽。分层之后各层的上界要分别报,不能只报一个总上界,因为总上界会被大样本层稀释,掩盖小样本层的高泄露。四、入口治理的四个机制
- 评测集入库前的扫描卡点。任何进入评测集的样本,先经过一次 PII 扫描,命中直接阻断入库,人工确认后才放行。这个卡点要放在流水线里,不能放在规范文档里。放文档里的结果是第一个月执行,第三个月起出现绕过。
- 生产日志的最小化采集。日志采集在设计阶段就要确定字段白名单,只采必要字段,请求正文默认不进日志,需要排查时按工单临时开启。全量采集是最简便也最危险的做法,一次排查的便利换来长期的暴露面。
- 上下文窗口的会话隔离与过期清理。会话之间严格隔离,会话结束即释放上下文,长会话设置轮次上限与过期时间。跨会话记忆模块要按用户维度做物理隔离,不能仅依赖权限字段过滤,一条错误的过滤条件即构成一次跨用户泄露。
- 历史数据的处置流程。发现历史数据带 PII 时,动作顺序是隔离、评估、上报、处置,四步不可跳过。直接删除是最差的处理,删除动作既破坏了取证的可能,也掩盖了已经发生的暴露事实。评估要回答三个问题:暴露范围有多大、暴露时长多久、有没有被非授权访问的痕迹。
五、实现层:检测链路怎么搭
起步阶段的合理选择是规则引擎加 NER 组合,两个组件都在自己掌控内。规则层负责证件号、手机号、银行卡、邮箱四类,用 Python 实现几十行,身份证按国标校验位验证,银行卡按 Luhn 验证,这两步能把误报压到很低。NER 层用开源库接入,识别中文人名、地址、机构名。中英混合场景要调优,纯英文模型认不出中文地址的成分边界,「朝阳区望京街道某小区 3 号楼」这类表达会被切成多段或漏掉。调优的办法是补一批自己业务的标注样本做微调,五百条可有明显改善。云端扫描产品的适用场景很窄,只在数据可以合规出域、且需要一次全面盘点时用。日常巡检用它,成本与数据合规风险都不合算。检测规则的版本管理要做。每加一条规则、每调一次模型,都留版本号与变更记录。理由是审计要追溯:三个月前那次扫描用的是哪套规则,如果规则升级过,历史结论的有效性要重新评估。一句反共识的判断:PII 检测工具的召回率对你没有直接价值,有价值的是你抽了多少条并且一条都没检出。前者是厂商的宣传数字,后者才是你能签字的数字。六、成熟度自查与落地实践
本周可执行的动作:取最近一次 PII 扫描报告,把「检出 0 条」改写成带样本量、工具版本、置信上界三要素的表述,并把扫描样本的来源列出来。改写过程中多数情况下会发现两个缺口。一是样本量根本没记录,扫描跑过但没留条数。二是样本全部来自一个来源,比如只扫了评测集,没扫日志与上下文。这两个缺口比工具本身的召回率更值得优先补。 | |
|---|
| 入库前必过 PII 扫描,命中阻断;样本来源要分层记录 |
| 判定从「有没有泄露」改为「按级别分类的检出与上界」 |
| |
| 难负样本改为「格式合法但非真实的相似串」,用来压误报 |
本文建议
为隐私评测建立入口与出口双向检测链路,并把报告口径改为置信上界。出口抽样不少于 1000 条;入口三处全部接入扫描;每份报告写明样本量、检测工具版本、上界与工具召回修正;间接标识层做一次 k 匿名评估。入口不堵出口白防,零检出只说明抽样没证明泄露,漏检率要报置信上界。
英文术语释义
PII:可识别到具体个人的信息,含直接标识与间接标识。rule of three:零检出时漏检率上界约等于 3 除以样本条数。Luhn 校验:银行卡号的校验位算法,可自动排除笔误与随机串。k 匿名:任意一条记录至少与另外 k 减 1 条记录不可区分,用于间接标识评估。