上下文工程 12:评测——怎么证明上下文装
我这套上下文工程写到第12篇,最后一关是验收:改了装配到底值不值,得拿数说话。
外部有两把尺子。METR 量任务难度,不是工时发票;LongMemEval 更扎心——模型能背下来不等于会用,持续对话准确率会掉约三成。历史里没的事,它真能一本正经编一个回来。
自家项目怎么测?四条纪律:同一批题、一次只动一块、同模型同温度、每组至少跑三轮。再看四个数——成功率、token 成本、幻觉引用、失败恢复。不看装了多少,看答出什么。
本机跑了6道题。裸问题加工具那组5/6对,规则钉进提示词那组6/6全对。差距不在多答一题,在错的那题最贵:模型翻到一份同名规则文件,十次调用、一万五千 token,交了个自信满满的错答案,还零自我纠错。
规则没进提示词时,它会自己找一本经书念。
原文上下文工程 12:评测——怎么证明上下文装对了