开头：一个打脸事实
第一轮普查我们用一个验证器宣告"266 个仓库全部存在"——直到发现代理服务器对任何 URL 都返回 200。
换正确通道（CDN 直读 + API 备援 + 正负对照）重验：7 个"存在"的库其实不存在，266 翻案成 259。
结论句：验证链路的失效不是缺工具，是缺"对照组"这个概念。
一、我们在做什么
为一个本地评测链路（LLM-as-Judgment：类型化问题 + 校准概率 + 5 次采样 + 倒序盲判）普查同类生态。
战役终局：259 个去重仓库、9 个批次（B0–B8）、11 篇单库深读档、9 份 stay/go 矩阵报告、8 份复审报告、
20+10 条复审记录共 152 道 gold 题（战役 102 + 文章复审 50）。每批的产出物是同三件：矩阵（每行按三条准入标准打 ✓/✗/△）、深读档、改造建议清单。
三条准入标准：①零 key 一键复跑 ②有量化宣称 ③有真实调用证据。
诚实声明：结论基于 README 与公开 API 元数据取证 + 部分零 key 复跑，未审业务源码——这是取证经济，不是偷懒，边界见第四节。
二、六条反自欺纪律（主体）
每条 = 一句规则 + 一个我们真实踩过的坑（全部有账可查，过程资产将开源）：
- 名→源回溯：报告里每个数字必须能 grep 回原始快照，命中才许写。纪律执行到矩阵每行星数/License 逐格对 API 输出。
- 负结果双通道：检索 0 命中要先怀疑检索方式（glob+grep 交叉验证），别急着下"不存在"。翻案案的反面教材。
- 对照组先于结论：正负对照不过关的验证器，输出全部作废——266→259 整案就是这么翻的。
- 计数由脚本生成，且先跑脚本后写文档：人写计数与实枚举脱钩，我们在 4 个批次连发 4 次计数漂移（最深一次头部写"浅 6 留 10"，脚本数出来根本不是这个数）。
- 挂账区禁止预防性勾选：产物不存在就勾 [x]，比数字漂移更严重——那是把意图写成事实。
- lint 面前人人平等：连"写给评测器的复审数据"都被自家 lint 拦下过程度词违规；后来加了一条硬规则：矩阵必须与权威元数据池做行级 diff，第一次执行就逼出"缺 3 库 + 多 2 幻影行"。
三、无密钥复跑：11 个深读项目只跑起 4 个
对 11 个深读档中的 8 个做了实际复跑尝试，成功 4 个：
其余 4 个尝试因缺 key / 缺 GPU / 需专用硬件被阻断，如实记"环境受阻"，未臆测通过。
- 第一名：一个校准工具库——零 key 全复跑（内置模拟器），拟合→留出→锁定阈值全链路可跑，还带宣称复测表，战役首例；
- 第二名：一个税务文档分类器——不跑模型也能核账，其
criteria.json 独立数出 261 个 key，与宣称"261 IRS forms"逐字对上了； - 并列第三：一个文本检测库的离线 dry-run 臂、一个守护进程库的离线三层验证（185 条 mock 测试）。
收获句：复跑不只为验数字，是验"文档说的行为"和"程序做的行为"是否同一个东西。可复跑性是这类生态的稀缺品——259 库里能做到零 key 一键复跑的屈指可数，这本身就是最重要的普查结论之一。
四、从这些项目里偷到的五个制度
只写形态、不抄代码，思路均来自公开仓库文档：
- 三带读数：0.4–0.6 之间的分数不是"低置信通过"，是显式"无判定"——判定枚举里该有这个第四态；
- 召回确认表：自动标记 39 处、人工复核确认 10 处（作者自报，未复核），两个数字并排印在横幅上——只印一个数的 banner 都是耍流氓；
- 阈值要测不要拍：多个批次反复出现同一课。而我们自己"改档位不重测"的缺陷族恰好复发了 4 次——生态给的解药正好对着我们的病；
- 循环自证是头号效度威胁：有项目用三个并行标签列（只模型评 / 只校验器评 / 合成）把循环偏置直接量出来（−0.028 / +0.012 / +0.053，作者实验自报，未复核）；用模型给自己打分，符号都可能反过来；
- 宣称纪律是成熟库标配：最好的那几个，每条宣称带 committed 溯源、主动声明"未跑 live 端点/不声称复现专有结果"。全场最强共识是一条：confidence ≠ correctness——即便校准，置信度仍随数据集与 run 抖动（某基准 ECE 0.02 与 0.09 同库共存，作者自报，未复核）。
结尾
评测系统的敌人不是模型不准，是记账不清。259 个库、9 个批次、6 条纪律、11 篇深读、152 道 gold 题（战役 102 + 本轮文章复审 50），
最后都沉淀成一句可执行的话：先跑脚本后写文档，先放对照再下结论。
下篇《开源的不是代码是账本：259 库普查全数据集 + 我们筛出的“什么标准才算好”》将给出全部过程资产——
账本级公开：清单、矩阵、复审数据集、核账脚本、翻案记录。仓库先放这里：
github.com/121212165/jev-ecosystem-analysis，欢迎来查。
