当前位置:首页>排行榜>【安全合规】隐私评测如何保检查全面

【安全合规】隐私评测如何保检查全面

  • 更新时间 2026-11-14 19:37:01
【安全合规】隐私评测如何保检查全面
评测集运行完毕,报告显示干净:PII 泄露 0 条。合规审计另起一路,抽了原始回放集,其中存有两万条真实手机号与四百个身份证号。出口已经有防护,入口始终敞开。这篇与线上监控那篇留下的判断回放集里躺着真数据,已经超出测试问题,属于数据安全事故。那篇讲怎么脱敏保效果,本篇讲如何证明脱敏彻底。

一、责任切口错位:只看出口,入口在别人手里

隐私评测的对象是数据流的两端,绝大多数团队只测了出口。
位置
具体内容
谁在管
典型失控形态
入口
评测集
测试团队
从线上日志直接导出,未脱敏直接入库
入口
生产日志
平台与运维
全量采集原始请求,日志平台无访问控制
入口
上下文窗口
应用层
长会话把历史消息带入新请求,跨用户串号
出口
直接复述
模型输出
把用户给的证件号、地址原样回显
出口
跨会话记忆
记忆模块
用户 A 的信息出现在用户 B 的会话里
出口
训练数据提取
训练与微调
用特定提问把训练语料中的片段引出来
入口三处里最容易被忽略的是第三处。上下文窗口算不上存储设施,它被当成临时区,但它确实承载着历史 PII:一个用户在同一会话里说过手机号,十轮之后模型回答另一个问题时把它带出来,这条路径出口防泄露管不到,日志脱敏也覆盖不到。
出口三类里最难测的是第三类。训练数据提取属于攻击面,Agent 与 RAG 系列讲过攻击结构,这里只说它对评测的要求:这类用例只在特定提问构造下触发,普通抽样永远抽不到,需要专门的构造集。本文不给构造方法。
责任切口的错位有历史原因。团队习惯看模型说了什么,因为那是自己的代码产出的;入口的三种数据源分别属于测试、平台、应用三个团队,谁都不认领整条链路。评测报告只覆盖自己那一段,交付出去看起来是完整的。

二、分级与检测三层

PII 并非均质概念,分级错了,后面的检测与判据全错。
级别
判据
举例
检测难点
直接标识
单独即可定位到人
证件号、手机号、银行卡号、邮箱
格式可辨,靠规则可高覆盖
间接标识
多项组合可还原到人
小区名加职业加生日、工号加部门
单项都不敏感,组合才构成风险
业务敏感
泄露造成实质损害
薪资明细、病情诊断、征信记录
无固定格式,靠上下文判定
间接标识是最难处理的一级,也是最常被漏掉的一级。一条记录里出现「望京某小区」「三甲医院护士」「1993 年 3 月生」,三个字段拆开都不构成个人信息,合起来可能唯一指向一个人。按字段级规则扫描的做法在这一级上完全失效,因为规则看的是单个字段的格式。
检测手段有三层,覆盖面与准确率互为代价。
层
具体做法
覆盖
准确率
成本
规则加校验位
正则匹配加校验算法:身份证按国标校验位、银行卡按 Luhn 校验
窄,只认格式规范的
高,误报很低
极低,毫秒级
NER识别
预训练命名实体模型识别人名、地址、机构
宽,能认非固定格式
中,长尾实体有漏
中,需按领域调优
语言模型兜底
大模型按上下文判是否属于个人信息
最宽,能处理间接标识
中低,判定不稳定
高,按 token 计
三层串接的顺序按准确率排,从最准的一层往覆盖最宽的一层走。规则层先扫,能扫出的一定是真的;扫不出的交给 NER;NER 也拿不定的交给语言模型判。内容安全的四层判定也按成本从低到高排,两边的排序逻辑相近,差别在 PII 这一侧对规则层的依赖更重。
这样排的理由在成本。规则层单条一毫秒,语言模型单条数百毫秒起且按 token 计费,把大部分直接标识样本在规则层解决掉,剩下的才付高价。

三、漏检率要报置信上界

这是本篇的核心,也是隐私评测与质量评测最大的口径差异。
质量评测报检出率,PII 评测要报的是漏检率的置信上界。原因很直接:检测工具的召回永远不到 100%,扫出 0 条有两种可能,一种是真没有,一种是工具没认出来。这两种情形在同一份报告里无法区分。扫出 0 条不代表没有泄露,它代表这次抽样没能证明存在泄露。
先看「扫出 0 条」这件事有多少信息量。假设真实泄露率是 1%,抽 300 条,一条都没扫到的概率是 4.9%。这个概率意味着,即使泄露真的存在,抽不到也不稀奇。
再算能给审计的结论。零检出时,漏检率的 95% 置信上界按 rule of three 估算,即上界约等于 3 除以样本条数。
抽样条数
检出
95% 置信上界
审计的结论
100
0
3.0%
泄露率不高于 3%,这个结论基本没用
300
0
1.0%
不高于 1%,多数团队停在这里
1000
0
0.3%
不高于 0.3%,可支撑对外说明
3000
0
0.1%
不高于 0.1%,接近监管口径的要求
反向算账更能说明问题。想让泄露率的上界压到 0.1%,得抽 3000 条,这里的口径是估计一个比率的上界。写「PII 泄露检出 0 条」,审计方无法采信,因为他不知道你抽了多少、用什么工具、工具的召回多少。写「抽样 3000 条,工具检出 0 条,漏检率 95% 上界 0.1%」,这句话可采信,因为它自带了抽样量与结论强度。检测工具的召回率,如果工具本身对某一类实体(比如中文地址)召回只有七成,那么 0.1% 的上界要修正成 0.14% 左右。该修正并不复杂,遗漏则导致高估。
抽样设计上,简单随机抽样在 PII 审计里通常不足以支撑结论。分层抽样更合适,按数据来源分层(用户输入、系统生成、第三方回流),按字段类型分层(文本、结构化字段、附件),高风险层加抽。分层之后各层的上界要分别报,不能只报一个总上界,因为总上界会被大样本层稀释,掩盖小样本层的高泄露。

四、入口治理的四个机制

入口不治理,出口检测做得再好也只能在下游补救。
  1. 评测集入库前的扫描卡点。任何进入评测集的样本,先经过一次 PII 扫描,命中直接阻断入库,人工确认后才放行。这个卡点要放在流水线里,不能放在规范文档里。放文档里的结果是第一个月执行,第三个月起出现绕过。
  2. 生产日志的最小化采集。日志采集在设计阶段就要确定字段白名单,只采必要字段,请求正文默认不进日志,需要排查时按工单临时开启。全量采集是最简便也最危险的做法,一次排查的便利换来长期的暴露面。
  3. 上下文窗口的会话隔离与过期清理。会话之间严格隔离,会话结束即释放上下文,长会话设置轮次上限与过期时间。跨会话记忆模块要按用户维度做物理隔离,不能仅依赖权限字段过滤,一条错误的过滤条件即构成一次跨用户泄露。
  4. 历史数据的处置流程。发现历史数据带 PII 时,动作顺序是隔离、评估、上报、处置,四步不可跳过。直接删除是最差的处理,删除动作既破坏了取证的可能,也掩盖了已经发生的暴露事实。评估要回答三个问题:暴露范围有多大、暴露时长多久、有没有被非授权访问的痕迹。

五、实现层:检测链路怎么搭

形态
典型方案
覆盖
落地周期
主要限制
规则引擎
正则加校验位,自定义识别器
直接标识
半天到两天
只认规范格式,变形即失效
NER 工具
开源识别库加自定义识别器,中英混合调优
直接与部分间接标识
一到两周
长尾实体有漏,需按领域补标注
云端数据安全扫描
云厂商数据安全产品
最全,含结构化与非结构化
一周接入
数据出域矛盾,按量计费贵
起步阶段的合理选择是规则引擎加 NER 组合,两个组件都在自己掌控内。规则层负责证件号、手机号、银行卡、邮箱四类,用 Python 实现几十行,身份证按国标校验位验证,银行卡按 Luhn 验证,这两步能把误报压到很低。
NER 层用开源库接入,识别中文人名、地址、机构名。中英混合场景要调优,纯英文模型认不出中文地址的成分边界,「朝阳区望京街道某小区 3 号楼」这类表达会被切成多段或漏掉。调优的办法是补一批自己业务的标注样本做微调,五百条可有明显改善。
云端扫描产品的适用场景很窄,只在数据可以合规出域、且需要一次全面盘点时用。日常巡检用它,成本与数据合规风险都不合算。
检测规则的版本管理要做。每加一条规则、每调一次模型,都留版本号与变更记录。理由是审计要追溯:三个月前那次扫描用的是哪套规则,如果规则升级过,历史结论的有效性要重新评估。
换挡阈值按标识级别分层。
级别
泄露容忍度
检测手段
处置动作
直接标识
零容忍
规则层覆盖该格式的全部变体
一票否决,阻断发布与入库
间接标识
按组合还原风险评估,k 匿名不小于 5
规则加 NER 加人工抽检
降级为需要复核,补充泛化
业务敏感
按场景与影响范围定
语言模型判定加人工终审
按影响面分级处置
一句反共识的判断:PII 检测工具的召回率对你没有直接价值,有价值的是你抽了多少条并且一条都没检出。前者是厂商的宣传数字,后者才是你能签字的数字。

六、成熟度自查与落地实践

阶段
现状
内容
关系
阶段一
只测出口,报告写 0 泄露
先量出口检测的样本量与上界
起点,无前序
阶段二
出口有检测有样本量
入口三处加扫描卡点
出口检测继续跑
阶段三
出入口都检
报置信上界,分层抽样
以上保留
阶段四
报告口径能对上审计
卡点进流水线,做一次审计演练
以上全保留
本周可执行的动作:取最近一次 PII 扫描报告,把「检出 0 条」改写成带样本量、工具版本、置信上界三要素的表述,并把扫描样本的来源列出来。
改写过程中多数情况下会发现两个缺口。一是样本量根本没记录,扫描跑过但没留条数。二是样本全部来自一个来源,比如只扫了评测集,没扫日志与上下文。这两个缺口比工具本身的召回率更值得优先补。
四件套原有项
隐私评测给它加了什么
评测集
入库前必过 PII 扫描,命中阻断;样本来源要分层记录
评分卡
判定从「有没有泄露」改为「按级别分类的检出与上界」
裁判
语言模型只做第三层兜底,不作唯一判据
难负
难负样本改为「格式合法但非真实的相似串」,用来压误报

本文建议

为隐私评测建立入口与出口双向检测链路,并把报告口径改为置信上界。
出口抽样不少于 1000 条;入口三处全部接入扫描;每份报告写明样本量、检测工具版本、上界与工具召回修正;间接标识层做一次 k 匿名评估。
一句话收尾

入口不堵出口白防,零检出只说明抽样没证明泄露,漏检率要报置信上界。

英文术语释义

PII:可识别到具体个人的信息,含直接标识与间接标识。
rule of three:零检出时漏检率上界约等于 3 除以样本条数。
Luhn 校验:银行卡号的校验位算法,可自动排除笔误与随机串。
k 匿名:任意一条记录至少与另外 k 减 1 条记录不可区分,用于间接标识评估。

随机文章