AI安全评测框架发布:智能体为何首次被单列
10月15日,工信部牵头的《AI安全评测框架》发了。这回不是喊口号,直接给了套能落地的评测流程。
以后做AI模型、智能体,采购和监管检查都得拿它当尺子。评测分三步走:定范围、做测试、查漏洞。最后还得人工复核,防着“自测自过”。
最值得说的是,智能体和具身智能第一次被单列了。以前评大模型,大家卷的是考试榜单,看它“说”得对不对。现在AI能自己点按钮、调接口、操控机械臂,“做错事”才是最大风险。
所以这次重点盯四件事:权限、行为、记忆和工具调用。比如AI会不会越权删数据,长期记忆库有没有被投毒。这套标准一出,厂商的卖点变成了必选项。企业上线前也得设好人工确认和中断机制。
AI要进车间,先得过行为安全这一关。
原文AI安全评测框架发布:智能体为何首次被单列