【大模型+大模型常用的评测任务数据集+deepseek harness】组合起来的项目
配套这个产品的成熟评测项目有哪些?这一期我给大家准备了4个 | | | |
|---|
| Finding the Right Fit | 多模型经 OpenRouter 接入 DSH 等框架,运行 TUA-Bench、ALE-CLI、Terminal-Bench | | 首选,最符合原始要求 |
| Harbor Self-Evolving | DSH 插件 + Harbor 评测适配器 + 可配置的数据集和评测器 | 在 DSH 内建设评测工作台、业务回归测试、版本比较 | 适合做内部评测平台 |
| dsh-self-evolving | DeepSeek 模型 + DSH/Cordis 插件候选 + Harbor/Terminal-Bench 评测链路 | | 适合研究,暂不作为成熟跑分方案 |
| | | |
- 固定模型,换harness,产品框架到底带来多少差异
它提供了模型路由、框架版本、预算等实验配置,以及论文中6204次计分运行的轨迹。不过其dsh基线固定在0.1.1-rc.2适合把评测做成产品功能,该项目提供dsh内的evaluation workbench、结果卡片、基线比较,以及脚本和大模型裁判两类评测器;默认安装面向web profile。它也明确说明部分工作台功能尚未完成。相同模型+相同任务集,比较dsh默认配置、增加skill、增加插件后的质量变化它的价值在于让评测持续运行、查看失败案例,而不是直接提供一套已经完成的大模型排行榜。适合“评测驱动优化”研究,他会生成受限的插件候选,进行隔离加载和评测,并保留版本、成本与执行证据。但作者明确标注:尚未运行证明Terminal-Bench提升的实验,也没有排行榜或SOTA声明链接:https://github.com/xiaobright/modeltest 适合做“真实工程维护能力”的专项评测,评分设计值得借鉴,但是和当前主题还不是特别Fit最值得借鉴的是把“做对多少”和“能不能交付”分开,其评分分为- ship class:叠加安全和交付约束,例如密码明文存储、鉴权绕过、虚报验证结果
评分覆盖12个维度,代码、测试、评分规则和历史结果均由明确组织,相比只报一个成功率,这种设计更方便解释“为什么高分结果任然不能上线”另一个优点是:确实做过dsh配置对照,并保留了preset实现,两阶段方案首轮仅暴露shell和read,出现工具调用后再回复完整工具目录 | |
|---|
| 核心是一个 Project2 综合工程任务 | 多个测试点不等于多个独立任务,不能据此推断模型的通用能力 |
| 不是常用公共数据集的集成平台 | 接 SWE-bench、GAIA、SpreadsheetBench,需要另做任务适配与评分接入 |
| 模型执行主要依赖外部操作 | run_full_eval.py 负责验收代码;--model、--harness 是记录标签,并不自动调用模型或 DSH |
| 部分判断是静态或文本启发式 | 固件关键字、报告章节齐全,不等于真实硬件行为和过程陈述已被验证 |
| 隔离仍需额外实现 | 导出候选目录可以减少泄题,但仅设置 cwd 或要求“不读 evaluator”并不是文件访问隔离 |
| 自动化运行保护不足 | 主评测子进程没有设置超时;扩展为批量评测前,应补任务超时和进程清理 |