
当 Agent 开始真正进入职业环境,我们应该如何判断它完成的一项工作是否值得采用?
一份看起来完整的报告,其中数据可能是虚构的;一套格式规范的分析,可能擅自改动了关键事实。对专业人员而言,这些错误并不只是任务少完成了一部分,还可能增加额外的核验和返工成本,影响后续交付。
但传统评测通常采用从 0 分开始的非负评分。Agent 少完成一项任务会少得分,出现严重错误往往也只是少得一些分数,难以体现损失。同时,已有职业评测大多基于欧美职业体系与环境,难以覆盖中国行业的工作规范、组织流程和文档语境。
基于此,晓天衡宇推出 WorkEval 评测基准,针对中国职业场景设计了 290 道真实任务,覆盖 7 个行业、29 个职业,并通过 3,726 条评分链、12,455 个判定节点对任务结果进行核验。
WorkEval 将本土职业场景、完整 Agent 系统评估与帮助—危害双向计分纳入同一套框架。它把评测重点从“完成了多少”扩展到“交付是否值得采用”,既客观衡量 Agent 实际创造的工作价值,也识别错误交付带来的额外风险。
结果显示,当前领先组合已经能够在部分真实职业任务中创造正向价值,但距离稳定完成一项工作仍有明显差距:最高 NAV 为 48.18,最高通过率仅为 3.10%。下表仅展示部分排名。
综合排名榜单
Hard 子集榜单
点击下方阅读原文,即可访问晓天衡宇评测社区,查看完整榜单及 WorkEval 评测基准详情。
WorkEval 要评测的不只是答案对错,而是一份职业交付是否值得采用。评测既核验 Agent 完成了哪些关键工作,也关注不当交付带来的危害。
以 Model × Harness 作为评估单位
WorkEval 把模型与 Harness 的组合作为最小评估单位。
真实职业任务并非仅靠模型回答即可完成,还需要 Harness 组织上下文、提供材料、调用工具、维持执行循环、处理失败和整理交付。同一模型接入 Harness 后,可能看到不同信息、采用不同工具路径和执行轮数,最终产物也会不同。
职业筛选与任务构造
WorkEval 从中国真实职场环境出发,以中国职业分类体系为基础,参考各行业增加值占 GDP 的比重、AI 任务暴露度、Agent 使用分布和工作数字化程度进行筛选;同时排除以体力劳动、现场作业或设备操作为主的行业,最终覆盖 7 个行业、29 个职业。
每个职业设置 10 道任务,共 290 道,要求任务能够在数字环境中完成,交付结果可以复核。
题目由具备实践经验的专家根据真实工作任务设计,包含任务场景、用户委托、输入材料、交付要求和初始 Rubric;每题由 1 位专家出题、2 位专家交叉质检。
任务示例
WorkEval 中的任务并非依靠单一知识点或固定答案即可完成。这些任务需要系统处理多份材料、结合上下文作出专业判断,并形成可执行交付物。下面两道任务分别来自法律与工程领域,能够观察系统在材料理解、证据整合、专业决策和复杂交付等方面的表现。
法律:再审诉讼策略

这一任务围绕股权回购纠纷展开:一审胜诉、二审败诉后,系统需比较两审裁判差异,并结合协议、既有诉讼方案、法律答问、聊天记录等材料,形成再审诉讼方案、流程图、申请文书、公证相关文书与汇报材料。
任务难点不在于生成一份格式正确的文书,而是从多份材料中还原事实、识别裁判差异,判断证据能否支持再审路径,并保证多件交付物之间保持一致。
工程:缺陷分级仲裁

这一任务设置在支付退款服务迁移场景中。面对人工回归、自动化报告、合同测试、对账样本、权益流水、日志、客服反馈与指标快照等 20 份材料中的冲突信号,系统需完成缺陷分级仲裁,并给出回归与复测排期。
任务的关键在于,在相互矛盾的材料中判断哪些证据更可靠:系统需识别测试覆盖缺口,排除可能的主因,并确定复测顺序、依赖关系和验收条件的执行方案。
更多任务示例可前往官网查看。
WorkEval 评测基准中,Agent 没有把任务做出来和做错了,是两种不同的情况。
面对没有唯一答案、可能存在多条合理路径的职业任务,WorkEval 将专业要求转化为可核验的判定节点与评分链,分别计算已创造的职业价值和不当行为新增的危害。
判定节点与评分链
判定节点是可二元判断的最小要求,需自包含、可定位、无歧义,并对应具体事实、字段、计算结果、判断或行为。涉及专业判断时,还需明确证据来源、适用边界或所在位置。
具有依赖关系的节点组成评分链,链内必要节点全部满足后才得分。不同表达和合理路径都可以得分,但只命中零散信息,无法获得整条评分链的价值。
WorkEval 所有任务共 3,726 条评分链和 12,455 个判定节点,平均每题约 12.8 条链、42.9 个节点;单题包含 7 至 21 条评分链、20 至 76 个判定节点。
总体计算逻辑
WorkEval 核心关注的是在扣除不当行为额外制造的职业危害后,Agent 的交付物还剩多少可采用价值,即 NAV 净可采用值:
NAV = H⁺−H⁻
净可采用值 = 已创造的职业价值 − 不当行为新增的职业危害
NAV 大于 0,表示扣除已识别危害后,交付仍有正向采用价值;NAV 等于 0,表示没有形成有效交付但也没有额外添乱;NAV 小于 0,表示交付引入的危害超过了所创造的价值。
H⁺ 衡量应完成的职业价值
H⁺ 记录 Agent 已经完成的正向职业价值,每题归一到 0 至 100 分。它不是简单的节点命中率,而是通过评分链权重体现不同工作的价值层级。
未完成的事项只表现为拿不到 H⁺,意味着对应的价值没有实现,但不会自动被视为危害。

其中,内容与精确通常占总权重的 50% 至 75%,格式与结构合计不超过 25%。一份排版漂亮、结构完整但关键事实或计算错误的交付,不能仅凭看起来完成度高就获得高分。
H⁻ 衡量不当行为新增的危害
H⁻ 不是所有错误的集合,而是基于反事实标准识别出 commission:本不该做而做了,还额外制造职业危害。
判断一项危害是否计入 H⁻,关键看它是否由这类“不该做而做”的行为造成:如果实施该行为会额外造成危害,那么这部分新增危害才计入 H⁻。
不会做、因信息不足而停止或漏做某项工作,通常属于 H⁺ 缺失;虚构信息、擅改关键事实、越权操作或把未验证结论写成确定事实,则可能形成 H⁻。

H⁻ 按绝对值累计,不根据一道题预先写了多少危害项再归一化。H1 数量不设上限;H2 按根因去重,避免同一错误沿同一危害链重复扣分;H3 每题最多计两项。
资格门与红线门
资格门用于判断是否形成有效交付。没有交付、只有空壳、内容不可解析,或明确承认无法完成且没有伪装成功,均视为“诚实失败”,任务记为 0 分。当前共设置 1,027 个资格门。
红线用于识别交付中不可接受的职业底线行为,例如泄露诉讼服务密码、在医疗任务中编造关键病史,或越权改变药物剂量。命中红线后,该题直接记为 −100 分,而普通任务最低截断到 −99。当前共设置 293 个红线门。
结果指标与展示口径
除 NAV 外,WorkEval 还结合通过率、负分率和红线触发率等指标,补充反映任务的完整完成情况和风险暴露情况。

前三名组合基本不变,高难任务下排名有所变化
那么,不同的 Agent 真正面对这些职业任务时,究竟能够交付到什么程度?
从 WorkEval 评测结果来看,综合排名中 Claude Opus 5 × Claude Code 位居首位,GPT 6 Astra × Codex 和 GPT 5.6 Sol × Codex 分列其后。
Hard 子集下,GPT 6 Astra × Codex 升至首位,Claude Opus 5 × Claude Code 和 GPT 5.6 Sol × Codex 紧随其后。前三名组合不变,位次有所改变。而 Hard 子集下得分整体低于综合榜,说明全量任务中的综合表现不能完全代表系统面对困难任务时保留正向价值、控制交付风险的能力。
由于两个榜单的入榜组合并不完全相同,这里的差异主要用于观察整体分布,不宜直接理解为同一批系统的前后降幅。
WorkEval 同时设置由 58 道高难任务组成的 Hard 子集,用于进一步观察系统面对复杂要求和高风险任务时的表现。榜单仅展示部分模型排名,完整数据可前往晓天衡宇评测社区查看。
综合得分相近,还不足以判断交付质量差异
将 H⁺ 与 H⁻ 带来的负分扣减率拆开观察可以发现,正向产出较高的组合,风险扣减不一定更低。
以综合得分接近的三个 Model × Harness 组合为例, Claude Opus 5 × Claude Code 的 H⁺ 价值更高,但负分扣减率也高于 GPT 6 Astra × Codex 和 GPT 5.6 Sol × Codex;后两者正向产出略低,但更少踩雷。三者均位于“多产又干净”的理想区,但前者更突出产出有效性,后两者则在风险控制上相对更有优势。
即使综合得分接近,不同组合的正向价值和风险扣减也可能存在差异。

职业维度:同一系统在不同职业中的表现并不均衡
职业维度以 29 个职业为行、不同 Model × Harness 组合为列,提供职业得分、红线触发情况和负分触发占比三种观察方式。职业得分是该职业下各项任务的平均得分,另外两项指标分别反映严重风险和一般扣分行为在不同职业中的出现情况。
从职业得分矩阵看,K12 语文、文学、会计和化学等职业中,高分单元格相对集中;护士、税务和产品经理等职业则更频繁出现低分或负分。同一系统可能在一类任务中表现突出,在另一类任务中暴露明显短板。
这些差异也受到任务内容、交付形式和评分要求影响,不能直接等同于职业本身的难易程度。

时间与成本:质量之外还要考虑部署效率
判断模型能否进入实际业务,任务得分和调用成本都需要考虑。
下图展示各组合在 Hard 子集中的得分与题均成本关系:横轴为题均成本,纵轴为综合得分;位置越靠左,成本越低,越靠上,得分越高,虚线表示当前结果中的帕累托前沿。
在成本×得分视图中,GPT 6 Astra × Codex、Claude Opus 5 × Claude Code 得分靠前,但成本也较高;GPT 5.6 Sol × Codex、Grok 4.6 × Claude Code 在得分与成本之间相对均衡。实际部署仍需结合质量要求与预算选择。

完整数据及不同维度的结果可前往晓天衡宇评测社区查看。
从 WorkEval 的结果看,当前系统已经能够完成部分高价值工作,但距离稳定、完整地满足职业任务中的全部关键要求,还有一定差距。综合排名反映的是整体相对表现,并不意味着排名靠前的组合在所有职业中都同样可靠,更不能直接等同于具备稳定替代专业人员的能力。
实际部署时,应结合具体职业场景,验证完整的 Model × Harness 组合,并同时考察其交付价值与风险表现。
WorkEval 评测基准已同步上线至晓天衡宇评测社区官网,欢迎访问查看更详细的评测数据:
👇关注晓天衡宇•评测社区官方账号,获取更多大模型相关知识~
