GB/T 45288.2—2025 · 标 准 拆 解

大模型评测终于有国标了

46 项能力、单项 200 条、结果跑 3 遍

全文拆解 + 五个空白 + 一份可落地 SOP

① 别再只报 MMLU 分数了：国标要求大模型这样被考

② 46 项能力清单：首个大模型评测国标，把"好不好用"拆成了可验收的条款

③ 这份国标，正在变成大模型招标文件里的验收标准

同一天实施。没有征求意见，没有过渡期。

① 它是"推荐性"国标（GB/T），不是强制红线。但它会成为招投标、模型备案、采购验收里的事实依据——因为当甲方要写验收标准时，一份现成的国标是成本最低的选择。

② 它只是"第 2 部分"。GB/T 45288 规划了五个部分：通用要求、评测指标与方法、服务能力成熟度评估、计算机视觉大模型、多模态大模型。前三部分已发布，"技术要求—评测方法—成熟度等级"这条链已经闭环。

③ 它的评测对象不是"一个模型"，而是"一个模型小类"。这是全文最容易被误读、也最影响落地的地方。

PART 01

考什么：46 项典型任务

合 计 典 型 任 务

46

理解能力 30 项  +  生成能力 16 项

文本（10 项）

文本分类、信息抽取、数学推理、因果推理、常识推理、任务分解、文本问答、多轮对话、代码理解、长文本理解

图像（5 项）

静态图像分类、静态图像分割、目标检测、动态图像分类、行为识别

音频（3 项）

声纹识别、音频问答、环境音分类

图文（8 项）

图文检索、静态图像问答、视觉空间关系、视觉语言推理、视觉蕴含、视频检索、视频问答、图表推理

文音（1 项）· 图音（1 项）· 图文音（2 项）

文音检索 / 视频异常检测 / 有声视频检索、有声视频问答

文本（7 项）

摘要总结、机器翻译、文本改写、文本扩写、文本续写、代码生成、半结构化数据生成

图文（4 项）· 图文音（2 项）· 文音（3 项）

文本生成图片、图片生成文本描述、文本生成视频、视频生成文本描述；文本生成有声视频、有声视频生成文本描述；语音合成、语音识别、语音翻译

一 个 设 计 取 向

理解能力偏"判断"，生成能力偏"产出"。理解能力的绝大多数任务用客观指标（准确率、召回率、F1）打分，生成能力则大面积使用主观评测（MOS）。

这个分野很重要——它意味着标准承认了一件事：生成质量目前还没有足够好的自动化度量，只能靠人（或大模型）来打分。

PART 02

怎么考：基础 / 增强，是个准入门槛

以文本大模型为例 · 基础能力文本分类、信息抽取、因果推理、常识推理、文本问答、多轮对话、摘要总结、机器翻译、文本扩写、文本改写、文本续写

增强能力长文本理解、任务分解、数学推理、代码理解、代码生成、半结构化数据生成

第一个实操陷阱：拿到 46 项清单就想全跑一遍，是错的。你的模型是文本大模型，就只做文本那十几项；是多模态图文大模型，才需要叠加图文相关的项。

PART 03

六条硬约束，藏在正文里

1单项能力不少于 200 条测试数据

原文："典型任务的单个能力项应不少于 200 条测试数据。"

200 条是下限。这个数字决定了评测的统计分辨率——在 200 条样本上，1~2 个百分点的差距基本没有统计意义。看到两个模型"相差 1.5 分"，先别急着下结论。

2评测工具执行 3 次，取平均值

原文："对评测工具应分别执行 3 次，获取 3 次测试结果，取平均值作为最终测试结果。"

三次取平均压的是随机性（采样温度、并发抖动、服务端版本漂移），压不了系统性偏差。测试集本身有偏，跑 30 次也是偏的。

3不开放 API 的模型，只能人肉点

标准对评测工具的要求只有两条：开放 API 的，写 API 调用测试工具，支持批量输入、获取结果；不开放 API 的，在终端上使用（Web 或 App）。

第二条意味着：一个纯网页版的模型，按国标也要"执行 3 次取平均"——靠人手动点三遍。这是内部横评最容易偷懒、也最容易被审计挑出来的地方。

4国标正式承认"大模型当裁判"

第 6.5 条 c) 专门给 LLM-as-Judge 写了四条要求：

· 选与任务相关性高的模型，可使用多个大模型交叉验证

· 定义清晰的评分规则，并转成能激发模型表现的提示词

· 测试过程中引入人工审核机制，及时识别问题、调整策略

· 确保大模型访问接口稳定可靠，保证评测连续性

第三条是关键：国标没有把裁判权完全交出去，人必须是闭环里的一环。

5人工评测是 8 个维度、5 级评分

主观评测用 MOS 分，维度固定为八个：相关度、完整度、有效性、连贯性、一致性、遵循性、真实性、有害性。

注意"一致性"的定义：面对同一问题多次测试时，回答是否一致。这是一个稳定性指标，不是正确性指标——很多团队会漏掉它。

评分分 5 个等级（5 分到 1 分），先给总体分，再逐维度打分，最后分别做加权平均。"有害性"这一维还明确包含了合规取向：是否带有偏见、暴力、歧视等违反基本道德伦理和法律的内容。

6两个任务的指标是"加法"，不是"替换"

· 行为识别：除了准确率，还要测响应时间和错误报警率

· 图表推理：除了准确率，还要评测模型生成的结果解释的准确性和可读性

这两处是全篇仅有的"性能 + 质量"双指标设计。很克制，但方向对了。

PART 04

怎么算分：七个公式，三个坑

准确率  Acc = (TP+TN) / (TP+TN+FP+FN)

召回率  Recall = TP / (TP+FN)

精确率  Precision = TP / (TP+FP)

F1  2 × Precision × Recall / (Precision + Recall)

BLEU  n-gram 准确率 + 长度惩罚，用于机器翻译

Rouge-L  最长公共子序列，衡量与参考答案的相似度

MOS  人工 8 维度 5 级评分

坑一：准确率在类别不平衡时失效

标准在 A.1.1 的注解里写得很直白："准确率易受类别不平衡影响，当数据集不平衡时，准确率不再是可靠的度量指标。"测试集里 90% 是负样本，一个"永远输出负"的模型准确率就有 90%。所以标准对常识推理、声纹识别等要求同时给准确率、召回率和 F1——这不是冗余，是纠偏。

坑二：BLEU 对中文天然不友好

BLEU 是 n-gram 精确匹配 + 长度惩罚，中文没有天然词边界，分词方式一变，分数就变。用 BLEU 评中文翻译，只能做同条件横比（同一分词器、同一参考译文），绝不能跨团队比绝对值。

坑三：Rouge-L 只看最长公共子序列

它奖励"结构连贯"，但也奖励"抄参考译文"。一个把参考答案复述一遍的模型，Rouge-L 会很高。所以这个指标要和人工评测一起看。

理解能力：绝大多数任务算准确率；常识推理类、声纹识别、长文本理解要加召回率和 F1；多轮对话走主观评测

生成能力：机器翻译用 BLEU，其余（摘要、改写、扩写、续写、代码生成、图文/视频生成、语音合成与识别翻译）全部走主观评测

一句话总结这份标准的打分哲学：判断类靠算，生成类靠评。

PART 05 · 补 充

它的五个空白

以下内容为作者判断，不是标准原文。标准原文未覆盖这些方面。

1 · Agent 与工具调用，完全缺席

46 项任务里，没有 function calling、没有多步工具编排的成功率、没有端到端的任务完成率。

而 2025 年下半年开始，几乎所有厂商的主战场都转到了 Agent。用这份标准评一个 Agent 产品，会得到一个"文本能力很强"的结论，却测不出它到底能不能把事办成。

替代做法：在"任务分解"这一项上做扩展——不只评它能不能拆步骤，还评它拆完之后实际执行的成功率。

2 · RAG 没有独立指标

检索增强的质量，取决于"检索得准不准"和"用得对不对"两件事。标准里只有"长文本理解"和"信息抽取"能间接覆盖，没有针对幻觉率、引用准确率的专门设计。

3 · 安全合规没有独立维度

全篇与安全相关的只有人工评测里的"有害性"一个子维度。

这意味着：这份国标不能替代安全评估。生成式 AI 服务的安全评估是另一套体系，两者并行，不能互相顶替。企业做合规时如果只拿 45288.2 交差，会留下明显缺口。

4 · 成本与时延，只有一处沾边

除了行为识别的"响应时间"，标准没有吞吐、并发、首 token 时延、单位 token 成本的任何要求。但企业选型时，同样的准确率下成本差三倍，就是完全不同的两个产品。建议在报告里补一列"每千次请求成本"和"P95 首字时延"。

5 · 没有"测试集污染"检测要求

这是评测行业最大的隐性问题：训练数据里混进了评测集，分数就会虚高。标准要求数据集"结合开源数据集和自制数据集，定期更新维护"，但没有要求做污染检测或时间切分。

我的做法：所有题目必须带"首次公开时间"，训练截止日之后才发布的题目单独成组，作为"干净子集"单独报告分数。

PART 06 · 干 货

照着国标做一次评测：七步 SOP

第一步 · 定模型小类。先明确被测对象是文本、图像、音频、图文、文音、图音、图文音中的哪一类。这一步决定了你要做十几项还是三十多项，直接决定预算。

第二步 · 先跑基础能力。基础不过，增强不算。别一上来就冲数学推理和代码生成，先把分类、抽取、问答、多轮对话跑绿。

第三步 · 按 200 条/项建集。每项不少于 200 条，且满足标准对数据集的六条要求：合规与隐私、指标完备、时效性、可用性、多样性与代表性、标注流程符合 GB/T 42755—2023 第 6 章和第 7 章。

第四步 · 两套工具都备好。开放 API 写批量脚本；不开放 API 的走终端，并且要留人工操作记录——因为要"执行 3 次取平均"，你得证明这三次是怎么跑的。

第五步 · 客观项跑三遍取均值。记录每次的原始结果，不要只留平均值。三次之间的方差本身就是重要信息：方差大的项，说明模型在该任务上不稳定。

第六步 · 主观项按 8 维 MOS 打分。至少两名评测员独立打分，算一致性（Kappa 或组内相关系数）。一致性低于阈值，说明评分标准没对齐，先培训再重打——标准第 6.5 条 b) 专门强调了这一点。

第七步 · 出报告时补三列。成本、时延、以及"干净子集"分数。这三列不在国标里，但决定了报告有没有人信。

成本粗算

文 本 大 模 型 · 最 小 合 规 配 置

17 项 × 200 条 × 3 次

10,200 次请求

约 2100 万 token，纯推理成本几百元量级

多 模 态 生 成 项 是 另 一 个 量 级

视频生成类任务，200 条 × 3 次 = 600 条视频，单条成本按元计，一项就是数千元起。所以做多模态评测，优先砍任务数量，而不是砍每项样本数——200 条是统计有效性的底线，任务项可以按业务相关性排序取前几项。

PART 07

三类人怎么用这份标准

模型提供者

这份标准是送测和备案的通用语言。建议直接把 46 项做成内部看板，基础能力当 CI 门禁，增强能力按季度迭代对比。

应用服务者（做产品的）

不必全跑。挑 5~8 项和业务强相关的任务，把 200 条换成你自己业务场景的真实 case，做一套"私有考卷"。国标给的是框架，不是题库——这才是它最大的价值：它允许你自建数据集。

采购方 / 甲方

可以直接把这份国标写进招标文件的验收条款。写明"按 GB/T 45288.2—2025 第 5 章、第 6 章执行，单项能力不少于 200 条测试数据，测试工具执行 3 次取平均值"，这句话的效力，比任何"业界领先"的形容词都强。

最 后

它承认了评测的边界

一份好的标准，不是把复杂问题简化成一张分数表，而是把不确定性标注清楚，让每个人知道自己的结论能相信到什么程度。

💬 聊 聊

你的团队现在用什么标准评模型？MMLU，还是自己那套私有考卷？评论区说说。

依据：GB/T 45288.2—2025《人工智能 大模型 第2部分：评测指标与方法》，2025-02-28 发布并实施，全国信息技术标准化技术委员会（SAC/TC 28）归口。文中第五部分"五个空白"及成本测算为作者分析，非标准原文。