开源中国 * 南芥智能:模型评测上线,选模型不再只看总分

近日，南芥智能与开源中国旗下 AI 基础设施平台模力方舟开展模型及数据集评测合作，首批评测覆盖 40 个模型与 50 个数据集，已在模力方舟部分资源详情页上线。

可选的模型与数据集数以万计，开发者动手之前，得先看清模型的长处与短板，而单一总分很难说清模型在不同任务上的表现差异。

本次合作就是从这里切入，浏览模型与数据集时，开发者可以查看多维能力表现、同题比较以及数据集样本难度等信息，先在统一口径下了解差异、缩小候选范围，再结合自己的任务实际验证，让选型多一份依据。

强在哪、难在哪，详情页里见分晓

在模力方舟的模型详情页，新增的「模型评估」模块把模型的能力表现直观地画了出来。

「综合能力图」 以六维雷达的形式，呈现模型在文本理解与推理、代码编写、数学应用题、百科文化、医学考试、物理六个维度上相对主流模型均值的表现，哪些维度高于均值、哪些存在差距，一眼可见；

「相对均值能力差值」 进一步把差距量化，高出多少、落后多少，有具体数值可对照；

「胜平负分布图」 则基于同题评分，展示模型与多个热门模型逐题较量的胜负结构，帮助开发者判断它的能力边界与适用场景。

在数据集详情页，「热门模型表现」 模块基于抽样题目，对多个热门模型做统一口径的实测，直观对比各模型在同一任务上的实际表现；

「难度热区投影」 则把抽样题目按语义映射到二维空间，结合多模型通过率生成难度分布，哪些题目容易、哪些题目更难，一目了然。

用数据评估模型，也用模型评估数据

页面上的画像与难度地图，并非基于「题海战术」，让每个模型反复运行海量数据，计算与时间成本耗费巨大。高效的能力刻画，需要选择有代表性、有区分度的数据，覆盖重要任务并减少重复信息。

例如，一道题如果所有模型都答错，可以暴露共同短板，却未必有助于在模型之间作出选择；有些模型能答对、另一些模型容易出错的题目，则能提供区分能力的线索。

南芥智能团队的解法是，用数据评估模型，也用模型评估数据。

前者识别模型的优势与局限，后者根据多个模型的作答表现，分析样本的难度与区分作用，此次上线的模型画像与数据集难度分析，正是这两个方向的落地。

南芥智能团队参与的一篇被 CIKM 2026 录用的论文，根据历史答题记录给每道题建立画像，新模型边答边挑，只做百道以内的题目，就能估算完整基准得分。另一篇被 EMNLP 2026 录用的论文，则把同一道题换着问法多问几次，用能力分布代替单次对错，让模型路由的判断更稳。

样本分析再反馈到数据选择中，用更有区分度的数据刻画模型，再用新的模型表现改进选题，有望形成模型与数据相互促进的评测飞轮，让能力刻画随模型与任务的变化不断更新。

支撑这一过程的是南芥智能自研的评测体系：已覆盖百余个国内模型，积累数百个公开评测集上的数万条权威评测结果，依托自动化流水线持续运行、动态更新，由此构成可靠的模型基础设施。

看清之后，为每条查询挑对模型

海量模型时代，单个模型的能力边界之外，是模型组合与协同的更多可能，而看清每一个模型，正是一切组合的起点。

发表于 KDD 2026 的一篇论文由南芥智能与南京大学、中国移动合作完成，沿着周志华教授提出的「学件」范式，为每个智能体生成能力「说明书」，再按说明书为每条查询匹配最合适的智能体，新智能体接入无需重新训练路由器。在 136 个智能体的实验中，这种挑选方式在陌生任务上的准确率达到 90.83%，高于单独使用 GPT-4.1 的 86.29%。

这次合作是一个开始。接下来，双方将持续丰富评测内容、扩大覆盖范围，让模型能力可度量、可比较、可追溯，帮助开发者在每一次选型和组合时，做出更有依据的判断。

关于模力方舟

模力方舟（MoArk）是开源中国于 2023 年推出的 AI 基础设施平台，已汇聚超过 2 万个主流开源大模型与数据集，接入多家主流国产厂商的异构算力。平台提供国产 GPU 实例与预装训练镜像，支持组织 Token 管理与统一计费。围绕智能体落地，模力方舟还推出了自研智能体硬件 PocketClaw 口袋龙虾，并联合国产芯片厂商推出了 AI 技能认证体系。

关于南芥智能

南芥智能（SinapisAI）是一家面向海量模型时代的 AI 基础设施公司，聚焦模型能力刻画、模型组装与调度、海量模型协同。核心创始团队来自南京大学人工智能学院 LAMDA 实验室，以中国科学院院士、南京大学副校长周志华教授提出的「学件（Learnware）」范式为技术根基，构建面向海量模型协作的技术体系与产品，让对的 AI 可负担、更好用。