随着大模型技术持续演进，模型能力不断向复杂推理、智能体任务执行及专业领域应用拓展，对评测体系的全面性、专业性与时效性提出了更高要求。
当前，部分大模型评测榜单仍较多采用发布较早、已被广泛使用的公开评测基准。随着模型在相关基准上的表现不断提升，训练数据污染、针对性优化以及能力覆盖不足等问题逐渐显现，单一评测基准得分已难以充分反映模型在真实任务中的综合能力。
基于此，司南大模型基准评测榜单升级至V3.0，围绕知识工作、编程、科学、通用四大能力维度，结合具有行业代表性的开源评测基准与司南评测体系自建评测基准，对大模型的综合能力进行系统化评估。
司南基准评测榜单将持续跟踪大模型能力演进与评测方法发展，动态更新评测维度与评测基准，并及时纳入具有代表性的新一代模型，持续提升评测结果的专业性、可信度与参考价值，为模型能力比较与选型决策提供客观参考。
司南大模型基准评测榜单 V3.0 设置 4 个一级能力维度、9 项评测基准，覆盖智能体化办公、软件工程、科学推理与通用知识等核心能力方向。
四大维度各占综合得分的 25%，分别从真实知识工作任务、端到端软件工程、高难度科学问题求解及通用知识与可靠性等方面，对模型能力进行综合评估。
| | |
| 衡量模型在真实业务场景中开展长程规划、跨应用操作及自主完成复杂知识工作任务的能力。 | OC-Turnkey（15%） OC-WorkFlowBench（5%） GDP.pdf（5%）
|
| 衡量模型在真实软件工程及终端环境中进行代码生成、问题定位、调试修改与工程执行的能力。 | |
| 衡量模型在复杂科研工作流中执行任务，以及解决研究生及专家级科学问题的能力。 | |
| 衡量模型的通用知识储备、复杂问题求解与输出可靠性，重点关注事实准确性、幻觉抑制及知识边界判断等能力。 | OC-KnowScope（15%） HLE-Diamond（10%）
|
重点考察模型在真实商业项目及办公工作流中的任务执行能力，包括跨 Word、Excel、邮件、日历等应用的长程规划与操作，以及基于专业文档完成知识分析与交付的能力。
| | | | |
| | 考察模型在真实商业项目中作为智能体自主推进复杂知识工作任务的能力。 | | |
| | 考察模型在真实办公工作流中跨 Word、Excel、邮件、日历等多个应用完成长程规划、应用切换与精准操作执行的能力。 | | |
| | 考察模型基于长 PDF 专业文档回答任务特定问题并达到评分标准的能力。 | | |
重点考察模型基于真实代码仓库及问题描述完成软件工程任务的能力，同时评估其在终端环境中执行开发、系统管理、数据处理等任务的表现。
| | | | |
| | 考察模型基于真实仓库代码库与 issue 描述自主完成完整软件工程流程的能力。 | | |
| | 考察模型在终端环境中完成软件工程、系统管理、数据处理、模型训练、安全等智能体任务能力。 | | |
重点考察模型在真实科研工作流中的任务执行能力，以及在自然科学、工程技术、人文社科等多个学科领域的专业知识掌握与复杂问题求解能力。
| | | | |
Terminal-Bench-Science 0.1 | | 考察模型在终端环境中完成来自真实科研实践的科研工作流任务的能力。 | | |
| | 考察模型在自然科学、农业科学、医学、工程与技术科学、人文社科五大学科及子领域的知识掌握与作答能力。 | | |
重点考察模型在高难度知识与推理任务中的综合表现，同时关注模型对知识边界的判断能力，包括回答准确性、幻觉控制及面对不确定问题时的可靠性。
| | | | |
| | 考察模型在闭卷知识问答中对知识边界的诚实程度，包括回答正确率、幻觉率以及在不确定时如实弃答的能力。 | | |
| | 考察模型在高难通用推理与知识任务上的综合能力，考察学科覆盖数学、人文、自然科学等上百个学科。 | | |
在评测基准选择上，司南基准评测榜单结合国内外具有较高影响力和代表性的开源评测基准与自建评测基准，兼顾评测结果的参考价值、能力区分度与真实任务相关性。
随着模型能力及评测方法持续发展，榜单将动态调整评测维度与评测基准，并明确标注对应的评测体系版本号，确保评测口径清晰、版本变化可追踪。
司南大模型基准评测榜单采用动态更新机制，上榜模型主要来源于司南主动选取及模型厂商申请评测两种方式。
司南将持续关注国内外大模型发展动态，主动选取具有较高行业影响力与代表性的模型开展评测，并优先关注模型厂商发布的新一代模型。同时，榜单面向符合条件的模型厂商开放评测申请，评测完成后及时更新相关结果。
模型厂商可通过企业邮箱发送评测申请至 opencompass@pjlab.org.cn，并在邮件中注明联系人姓名及联系方式。
在确认模型满足评测要求并能够正常完成评测的情况下，司南预计将在收到评测申请后的 3 个工作日内更新相关评测结果。
榜单将持续更新最新模型的评测表现，并在页面同步展示最近更新时间及最新上榜模型信息，便于用户及时了解大模型能力发展及榜单变化。
若同一代模型同时发布多个参数规模或尺寸版本，司南接受最多 2 个不同尺寸模型的评测申请。
厂商自测结果仅作为评测核验与复现参考，最终榜单结果以司南按照统一评测方案完成或确认的结果为准。
不支持尚处于内部研发或迭代阶段、未正式对外发布的模型的评测申请。
不支持仅面向特定用户开放、采用邀请制或存在其他访问限制的 API 模型的评测申请。
如需申请参与司南大模型基准评测榜单评测或有任何疑问，请联系：
opencompass@pjlab.org.cn
