可比较的AI评测，需要先明确决策目标，再统一生成与评分条件，并把“模型本身的表现”与“含工具、数据、权限的完整系统表现”分开来看。这是国际网络NAAIMES（前身为国际AI安全研究院网络）首份最佳实践文件传递的核心判断。英国AI安全研究院（AISI）于2026年7月23日在官网撰文介绍了这项工作，并在同期活动中展示了其最新发布的工程手册（Engineering Playbook）。本文是对这份方法资料的解读，而非当日新发布。
榜单分数为什么不够
假设一支团队要为客服系统选一个AI模型。他们在公开榜单上看到几款模型排名靠前，直接接入自家客服流水线，结果发现：有的模型在带检索工具的测试里表现不错，但团队并没有配置检索权限；有的模型在另一种推理温度下成绩更好，团队却用了默认设置；还有的测试用的是通用客服数据集，而团队的真实问题集中在某个专业领域。榜单分数和落地表现之间，往往被这几层“设置差异”隔开。
首份最佳实践文件正是围绕这类问题展开。它面向的是第三方评测者，也适用于企业内部选型团队，核心内容可以概括为四条：
一，先定义评测目标，再挑基准。AISI原文强调“谨慎定义评测目标和选择合适基准的重要性”。同一次评测，若是为了支撑采购决策，和为了对外发布模型能力，基准可能完全不同。
二，可比性要抓两头：生成与评分。生成端指推理设置——温度、采样参数、上下文长度、是否带工具。评分端指打分口径——是规则判分、用另一个模型判分，还是人工评分。任意一端没对齐，分数就难以横向比较。
三，能力引出要迭代。一个模型没答好题，未必是它不会，可能是提示词写得不够清楚、工具没接对、权限没给足。原文建议评测者在这个环节反复调整，把模型本身的能力测出来，而不是把提示词或权限配置的问题错算成“模型不行”。
四，执行与追踪要有日志。从记录原始输出、调试常见问题，到保存足够信息以便复核，文件都给出了具体建议。
NAAIMES成员在这次活动中还同步发布了三篇补充讨论，分别对应三个常见难题：新加坡AI安全研究院讨论“测系统而非模型”该怎么做，包括构建真实测试环境、选择同时反映结果与过程的指标，以及把规则判分、LLM判分与人工评分组合使用；加拿大AI安全研究院讨论评测者该公开什么信息，在透明与防止数据污染之间做取舍；法国INESIA讨论资源有限时该优先什么，建议先问“这次评测要支撑什么决策、结果会改变下一步行动吗”，再用轻量测试判断是否有信号值得深入。
评测范围示意图。
一个可执行的小流程
把这些方法落到一次选型里，大致可以走五步：
- 定义任务和失败代价。写下要解决的具体问题、谁来用、错了会损失什么。失败代价高的场景，值得花更多精力做系统级测试。
- 统一配置和数据。对每个候选模型，用同一份任务数据、相同的推理设置、相同的工具和权限。如果想测模型本身，就先固定工具和权限；如果想测完整系统，就把工具和权限也纳入测试范围，并在报告里说清楚。
- 同时看结果和路径。分数告诉你会不会成功，过程日志告诉你为什么会成功或失败。把两者放在一起，能避免把偶发的好运当成稳定能力。
- 记录日志并复核。把原始输入、模型输出、工具调用和打分依据都存下来，方便后续有人复现或质疑时能回去查。
- 说明范围限制。写清楚这次评测覆盖了什么任务、没覆盖什么、结论适用于哪个范围。超出范围的推广，需要另做测试。
评测流程示意图，不包含模型成绩。
留一点余地
AISI在原文里说明，NAAIMES成员接下来会继续对齐针对智能体能力（agentic capabilities）的更多最佳实践。原文没有给出任何模型的排名或对比结论，也没有声称某一种方法适用于所有场景。对读者来说，这套方法更合适的用法是当作一份可参考的流程框架，而不是一份可以直接照搬的结论清单。
公开来源
- 英国AI安全研究院（AISI）：International evaluation best practice and open questions in AI measurement — https://www.aisi.gov.uk/blog/international-evaluation-best-practice-and-open-questions-in-ai-measurement
- AISI工程手册 — https://engineering-playbook.aisi.org.uk/
AI实践簿，是一个专注 AI 工具、方法与真实应用的公众号。我们会核对信息来源，拆解适用场景、实践路径和使用边界，帮你判断什么值得跟进、怎样真正用起来。欢迎关注 AI实践簿。
推荐阅读
