如需报告请联系客服或扫码获取更多报告（2000份+报告）第一章 产业背景：大模型规模化应用的安全挑战与测评需求
1.1 大模型加快进入真实业务场景
从通用问答进入专业业务。大模型不再只是聊天工具，开始承担客服、法务咨询、金融分析、医疗辅 助、代码生成等专业任务。专业场景对准确性、合规性和责任边界的要求远高于通用闲聊，一次错误 回答可能直接造成业务损失。
从信息辅助进入业务流程。大模型从“提供信息”走向“执行任务”：智能体可以调用知识库、读写 数据库、发送邮件、创建工单、操作系统。模型错误不再停留在“说错一句话”，而是可能触发真实 的业务动作。
从公开服务进入政企内部系统。大模型加速进入政务大厅、企业内部办公、金融风控、能源调度等关 键场景，接触大量敏感数据和核心系统。一旦被攻破或误用，影响范围从个体用户扩大到组织与公共 安全。
1.2 大模型风险影响不断扩大
一次错误回答可能进入真实决策。全美已有 455 起 AI 编造判例事件，模型幻觉输出被直接引用进司法 文书；国内也出现全国首例 AI “幻觉”案宣判。当模型输出进入审批、风控、医疗等决策链路，错误 会被自动流程放大，后果难以挽回。
数据、知识库和系统连接扩大风险范围。模型接入知识库、数据库、邮件和工具后，攻击面从“模型 输出”扩展到“系统连接”，提示词注入、越权调用、数据外泄风险随之增加。360在抽样测评的MCP 服务及相关组件中发现，约10%的样本存在安全漏洞、约6%的样本易受提示词注入攻击；正式发布时 应在脚注中说明样本规模、来源和测试口径。
模型能力提升带来新的安全边界问题。模型能力快速升级，GPT-6 Astra 已成为首个网络安全能力“关 键级”模型，在 ExploitBench 评测中拿到满分并发现两个真实零日漏洞。能力越强，被滥用时危害越 大，安全边界需要同步重新划定。
1.3 大模型安全治理进入制度化阶段
国内大模型安全法律政策体系。《网络安全法》《数据安全法》《个人信息保护法》与《生成式人工 智能服务管理暂行办法》等构成基础框架；确立具有舆论属性的生成式AI服务须开展安全评估后履行 算法备案。要求大模型服务“先测后用、先备案后上线”，测评成为合规准入的前置环节。
大模型备案与登记管理要求。我国逐步形成“模型备案＋产品登记”的分类管理机制：具有舆论属性 或者社会动员能力的生成式人工智能服务，按照相关规定开展安全评估，并履行算法备案等手续；调 用已备案模型提供服务的应用，按要求开展登记。相关主体还需同时遵守网络安全、数据安全和个人 信息保护等法律法规。具体法律责任应根据违法行为及所适用的法律条款判定，不宜将不同法规中的 处罚额度简单等同于“未备案处罚”。
大模型安全相关国家标准。《网络安全技术 生成式人工智能服务安全基本要求》（GB/T 45654— 2025）于 2025 年 11 月 1 日实施，明确 5 类 31 种风险并提出量化要求：训练数据中违法信息占比超 5% 的来源应拒用、人工抽检合格率不低于 96%、技术抽检不低于 98%；生成内容安全性抽样合格率 不低于 90%、应拒答问题拒答率不低于 95%、非拒答拒答率不高于 5%。公安部发布《大模型系统安 全测评要求》等标准，形成“备案＋登记＋常态化检测”的闭环。
重点行业大模型应用安全要求。金融、能源、政务、医疗等关键行业陆续出台专项安全要求，如能源 行业数据安全管理、电力监控系统安全防护等规定，大模型应用须满足行业级安全基线，行业监管持 续收紧。
国际背景：全球大模型安全评估框架。欧盟《人工智能法案》按风险分级实施监管，面向高风险系统 设置严格义务；英国 AI 安全研究所对 30 多个前沿模型开展持续测试，模型完成网络安全任务的平均 成功率从约 10% 提升到约 50%，但所有被测系统仍可被发现弱点；OpenAI 等前沿机构呼吁建立“能 力分级、统一测试、独立评估、重大事故报告”的强制性规则。国际产业侧，AI 应用采用率与安全事 件同步上升（斯坦福 2026 AI 指数：组织采用率 88%，2025 年 AI 相关事件 362 起）。全球治理正在 趋同于“能力越强，越需要独立的、对抗性的、动态的测评”。
1.4 当前大模型测评存在的主要问题
重能力跑分，轻安全风险。市场高度关注榜单排名，但能力高分不等于安全可靠：通用能力测评无法 回答“在恶意攻击下是否守得住边界”，榜单排名高却可能在特定业务中频繁出错或泄露敏感信息。
重内容合规，轻系统与业务风险。大量测评停留在内容审核层面，忽视提示词注入、权限越界、工具 调用越权等系统与业务风险——而这些恰恰是模型进入业务流程、智能体时代的主要风险。
重通用题库，轻行业场景。通用题库测不出行业特定风险；金融、政务、医疗、教育等场景的风险形 态和合规要求差异显著，需要专属测试集与独立合格线。
重上线前测试，轻持续复测。多数组织“上线测一次”即结束，但模型版本、知识库、提示词、场景 持续变化，问题可能在数月后才暴露，缺乏持续测评意味着风险长期处于未知状态。
重综合得分，轻风险处置。单一综合分数掩盖了风险分布，无法回答“哪里危险、能不能上线、需要 什么控制措施”；测评报告停留在分数清单层面，不能支撑准入与整改决策。
厂商自测结果缺乏统一尺度。各厂商自测的口径、题库、方法和判定标准不一，结果不可比、不可互 认，行业亟需统一的测评方法和第三方验证机制。
1.5 行业需要建立的四个共识
如果说前面讨论的是“应用和风险在怎么变”，这里要回答“行业应该认同什么”。基于大模型安全 测评的演进趋势与行业实践，我们认为产业侧需要建立四个共识——它们不是对现状的描述，而是对 方向的判断。
共识一：安全测评应与 AI 应用发展同步推进。AI 应用正在快速进入生产系统，但安全治理能力并未同 步成熟——这正是 OpenAI 等前沿机构也在呼吁建立测评体系的原因。测评不是上线前的可选项，而 是与部署同频的必答题：扩张越快，测评越不能缺位。
共识二：能力越强、接入越深，越要分级管控。模型能力等级与潜在危害直接相关；接入知识库、外 部工具与系统权限后，风险还会进一步放大。因此，应综合模型能力、数据敏感程度、业务重要性和 操作权限确定测评强度与准入要求，为高能力、高权限模型设置与其风险等级相匹配的安全门槛和控 制措施，不能与低风险模型共用同一条合格线。
共识三：安全测评必须持续贯穿全生命周期。上线只是起点，模型版本、知识库、提示词、外部工具 和用户行为都在持续变化，问题可能数月后才被发现——行业已出现智能体越权事件在 7 个月后才被 披露的案例。只有把测评嵌入上线前、运行中和变更后的全过程，才能及时发现问题、控制风险。
共识四：测评必须与业务场景匹配。榜单排名反映的是通用能力，不能说明模型是否适合客服、政 务、金融、医疗或企业办公等具体场景；同一模型在不同场景下的风险表现差异显著。测评内容、测 试集与合格线都应围绕业务场景构建，“一张卷子考天下”既测不准也管不住。
1.6 大模型安全测评的产业价值
为政府监管提供技术依据。测评提供可量化、可追溯的技术证据，支撑备案评估、分级监管与事件处 置，让监管“有数可依”、处置“有据可查”。
为行业建立共同安全尺度。统一测评方法、指标与基准，促进结果互认和信息共享，避免“各自为 测”，让安全成为 AI 产业的公共基础设施。
为企业选型和上线提供决策依据。企业依据测评结果选模型、定场景、设控制措施，把安全风险前置 化解在选型和上线阶段，避免“先上线、后补救”。
第二章 概念界定：大模型安全测评的内涵、对象与边界
2.1 什么是大模型安全测评
大模型安全测评是以风险为导向，围绕模型及其数据、系统与业务连接，采用标准化测试集与方法， 对模型在真实场景中的安全性、可靠性、隐私保护与合规水平进行系统检验，并输出可支撑决策的结 论。它区别于能力跑分：回答的不是“这个模型有多聪明”，而是“这个模型在哪里会出错、出错会 造成什么后果、需要什么控制措施”。
本报告由安全研究机构基于自身实践编制，定位是面向政府、行业与企业的测评指南。国家监管侧已 建立备案评测与安全检测机制，本报告将其作为必须接受的合规基线；在此之上，提供一套面向业务 场景、可落地执行的分级分类测评方法，两者互为补充而非替代。
2.2 能力评测、安全测评与合规评估的区别
三者目标、方法和结论不同：能力评测考察“能不能干”，关注理解、推理、任务完成与生成质量；
安全测评考察“守不守得住”，关注对抗攻击下的边界、拒答行为、越权与泄露防护；合规评估考 察“合不合规”，关注备案登记、内容标识、数据与个人信息保护、行业监管要求。实践中三者互为 补充：能力是底座，安全是底线，合规是门槛。本报告聚焦安全测评，并将合规要求作为测评的基线 条件。
