导读手里已经有几篇论文,准备做读书笔记或组会汇报,先装哪些Skills?这次我把任务缩到两件事:引用有没有对上,结论有没有说过头。 用两份现成Skill实际走了一遍,做出了可下载的书目、核查记录和证据卡。
先看交付物:
错误条目和过度结论是我主动设置的教学样例。这不是抽样准确率测试。
成品和任务包:打开材料页
https://ai-lab-paper-comparison.hooowe.chatgpt.site/research-skills/
章节两个Skills,各管一个问题
Skill可以理解成给AI执行任务用的说明书,有的还带脚本。真正运行它的Agent,需要能够读文件;要查在线书目,还需要联网和执行Python。
这次选的是K-Dense的两个开源Skill,固定到同一个代码版本。材料包保留了原文件和MIT许可。
1. citation-management:先确认是哪篇论文。
它带有DOI转BibTeX、格式整理和引用检查脚本。DOI是论文的持久标识,BibTeX是可以交给LaTeX等工具使用的参考文献格式。
这次实际运行了转换、格式化和验证脚本。两条最终书目通过了本地验证,错误和警告都为0;随后对照ACL Anthology出版页核查了身份与主要字段。
这一步最值得保留的检查,是输入题名与查询结果是否一致。我把DPR论文的题名配上FiD论文的DOI,DOI查询仍然成功,因为那个DOI本来就是真的。
上游转换脚本不会替我知道“原本想引用哪篇”。配套流程额外比较了题名与DOI,才把这条错配拦下来。这个比较脚本是本次另写的,材料里有代码;题名的标点或写法差异仍需复核,不能一不相同就判错。
2. scientific-critical-thinking:再确认这句话能不能这样写。
它没有一个按下去就能判定论文真假的程序。它给Agent的工作步骤是:先找证据,再检查比较对象、指标和适用范围,最后写出能支持的结论及缺口。
本次由Agent显式读取这份指令,依据两篇论文的出版页摘要完成三张卡,再逐项复核。没有把它包装成自动审稿器,也没有给论文打一个看似精确的总分。
章节一张证据卡,具体改掉了什么
我给出的第一句是:
DPR让问答准确率提高了19%。
回到DPR摘要,可以看到它说的是:相对Lucene-BM25,top-20段落检索准确率的绝对提升为9—19个百分点。
这句话至少混了两件事:把“找回相关段落”写成了“最终答对问题”,又把一个区间的上限写成统一收益。
证据卡里的改写是:
DPR作者报告,在其评测的开放域问答数据集上,top-20段落检索准确率比Lucene-BM25高9—19个百分点。
卡片还保留了下一步:如果要据此选自己的方案,需要继续核对全文中的检索结果与端到端问答结果,分别记下数据集和配置。这次只核了摘要支持范围,没有复现论文实验。原始出处
另外两张卡处理的是:
●“FiD证明检索段落越多越好,适用于所有知识库”:需要保留论文实验的范围,不能外推成通用规律。
●“照着FiD做,公司知识库就能同时降低延迟和成本”:当前摘要材料不足以支持这个部署承诺,需要另测质量、延迟和资源成本。
“当前材料不足”很有用。它提醒我继续查证,而不是把没看到的内容写成“原论文没有做”。FiD原始出处
章节为什么这次只选两个
我的任务已经有论文线索,交付物是书目和阅读卡。因此,先把身份核查与证据判断跑通,就有一套够用的起步组合。
随着任务变化再加:
按缺少的交付能力加工具,比按仓库热度整包装更容易验收。 这两个是本次小任务的起步选择,未穷举所有组合,也没有做“装Skill比不装更准”的对照实验。
章节直接用这份任务包
材料页提供三种入口:在线展开证据卡;单独下载书目和空白模板;下载包含两份完整Skill的固定版本任务包。
解压后,先看README.md。在这个文件夹里打开你使用的Agent,把start-here.txt交给它。最核心的要求是:
先按citation-management核查论文身份。比较输入题名与返回题名,查不到就保留失败。再按scientific-critical-thinking检查我的主张,每条留下来源位置、可用改写、尚未验证的内容。只读过摘要就写摘要,不补写全文页码。
想单独重跑书目步骤,包内提供了Python脚本;环境安装命令和本次真实输出都在说明里。把示例input.json换成自己的论文线索,并把新结果存到新目录即可。
这次也碰到了一个很实际的问题:下载到Skill文件夹,并不代表依赖已经装好。最初运行时缺少requests,安装后才跑通。第二份Skill虽然没有Python依赖,仍然需要Agent读取证据并执行判断。
本次DOI查询没有使用付费API key;Agent自身的使用条件和费用由你选择的工具决定。不要只复制一个SKILL.md,把它引用的脚本和参考文件漏掉。
我想先把这个系列做扎实:每次围绕一个科研任务,交付能修改的成果,并留下来源与失败记录。下一篇再接着补读者真正缺的那一步。
材料页/建议配置为“阅读原文”:
https://ai-lab-paper-comparison.hooowe.chatgpt.site/research-skills/
章节下期任务投票
章节来源与版本
1K-Dense Scientific Agent Skills源码与MIT许可。citation-management v2.3,scientific-critical-thinking v1.5。
2Kassis等,Scientific Agent Skills: A Library of Procedural Knowledge for Research Agents,2026,当前页面为v2;作为所用软件方法的来源。
3DPR,ACL Anthology;FiD,ACL Anthology。
4Agent Skills格式说明。
可复制地址 https://ai-lab-paper-comparison.hooowe.chatgpt.site/research-skills/