当前位置:首页>排行榜>【大模型+大模型常用的评测任务数据集+deepseek harness】组合起来的项目

【大模型+大模型常用的评测任务数据集+deepseek harness】组合起来的项目

  • 更新时间 2026-10-24 16:12:27
【大模型+大模型常用的评测任务数据集+deepseek harness】组合起来的项目
为什么选择deepseek harness,因为
  • 可以自定义插件,也就能很方便设计定制化的任务
  • 任务执行轨迹方便收集,产品已经提供
配套这个产品的成熟评测项目有哪些?这一期我给大家准备了4个
一、已经集成dsh的项目
项目
大模型 + 数据集 + DSH 如何组合
适合你拿来做什么
我的评价
Finding the Right Fit
多模型经 OpenRouter 接入 DSH 等框架,运行 TUA-Bench、ALE-CLI、Terminal-Bench
比较模型选型、Harness 选型、成功率与成本
首选,最符合原始要求
Harbor Self-Evolving
DSH 插件 + Harbor 评测适配器 + 可配置的数据集和评测器
在 DSH 内建设评测工作台、业务回归测试、版本比较
适合做内部评测平台
,数据集仍需选定和配置
dsh-self-evolving
DeepSeek 模型 + DSH/Cordis 插件候选 + Harbor/Terminal-Bench 评测链路
研究插件、提示词或执行策略改进是否有效
适合研究,暂不作为成熟跑分方案
model_test
外部运行模型+实验preset+事后验收
评分细、问题诊断具体
单工程维护专项评测,自检Project2任务
二、Finding the right fit
它直接回答可能关心的两个问题
  • 固定dsh,换模型,哪个效果好,哪个性价比高?
  • 固定模型,换harness,产品框架到底带来多少差异
已经提供了3个常用来测试的数据集
数据集
仓库采用的任务范围
主要用途
TUA-Bench
120 个通用终端任务
通用工具与终端任务能力
ALE-CLI
99 个专业工作流任务
多步骤专业任务完成能力
Terminal-Bench 4
63 个任务的非 H100 子集
较难命令行任务能力
它提供了模型路由、框架版本、预算等实验配置,以及论文中6204次计分运行的轨迹。不过其dsh基线固定在0.1.1-rc.2
三、Harbor Self-Evolving
适合把评测做成产品功能,该项目提供dsh内的evaluation workbench、结果卡片、基线比较,以及脚本和大模型裁判两类评测器;
默认安装面向web profile。它也明确说明部分工作台功能尚未完成。
适合设计这样的项目
相同模型+相同任务集,比较dsh默认配置、增加skill、增加插件后的质量变化
它的价值在于让评测持续运行、查看失败案例,而不是直接提供一套已经完成的大模型排行榜。
四、dsh-self-evolving
适合“评测驱动优化”研究,他会生成受限的插件候选,进行隔离加载和评测,并保留版本、成本与执行证据。但作者明确标注:尚未运行证明Terminal-Bench提升的实验,也没有排行榜或SOTA声明
五、modeltest
链接:https://github.com/xiaobright/modeltest 
适合做“真实工程维护能力”的专项评测,评分设计值得借鉴,但是和当前主题还不是特别Fit
最值得借鉴的是把“做对多少”和“能不能交付”分开,其评分分为
  • Ability: 功能、迁移、兼容性等完成程度
  • ship class:叠加安全和交付约束,例如密码明文存储、鉴权绕过、虚报验证结果
评分覆盖12个维度,代码、测试、评分规则和历史结果均由明确组织,相比只报一个成功率,这种设计更方便解释“为什么高分结果任然不能上线”
另一个优点是:确实做过dsh配置对照,并保留了preset实现,两阶段方案首轮仅暴露shell和read,出现工具调用后再回复完整工具目录
作为评测基座,它的主要局限是
局限
对你选型的影响
核心是一个 Project2 综合工程任务
多个测试点不等于多个独立任务,不能据此推断模型的通用能力
不是常用公共数据集的集成平台
接 SWE-bench、GAIA、SpreadsheetBench,需要另做任务适配与评分接入
模型执行主要依赖外部操作run_full_eval.py
 负责验收代码;--model、--harness 是记录标签,并不自动调用模型或 DSH
部分判断是静态或文本启发式
固件关键字、报告章节齐全,不等于真实硬件行为和过程陈述已被验证
隔离仍需额外实现
导出候选目录可以减少泄题,但仅设置 cwd 或要求“不读 evaluator”并不是文件访问隔离
自动化运行保护不足
主评测子进程没有设置超时;扩展为批量评测前,应补任务超时和进程清理

随机文章