SuperAPI AI 工具集

skill-model-gap

编程与开发

查看项目

更新于 11-06 18:44

技能介绍

用途与原理

该技能用于解决“同一技能在不同模型上表现不一致”的问题。在一个模型(参考模型)上测试通过的技能,换到另一个模型(目标模型)上时常会通过更少的任务。该工具帮助定位这种差距发生在哪里、原因是什么,并通过每个模型都会读取的文本进行修复,同时证明目标模型获得提升且没有任何模型出现退步。

运行依赖 skill-diet 的评测体系:任务和评分按 eval.md 执行,适配器按 adapter.md 执行,命令形式为 node ../skill-diet/scripts/eval.mjs …。修改遵循 skill-diet 的“Editing a skill”规范。

环境设置

使用一个适配器、一个宿主服务于所有模型,确保只有模型本身不同。每次运行和评分都传入 --model。

任务按 eval.md 编写,每个任务标注其覆盖的用例。以盲测方式随机拆分:约三分之一、每个用例至少一个任务,放入留出(held-back)文件夹,其适配器和 sk/ 链接指向调优文件夹。留出任务在最后之前不运行。

版本包括:base(技能现状)、none(无技能)以及每个候选修复对应一个文件夹。

模型选择:参考模型是 base 通过率最高的模型(平局时选读取技能最多的那个);其他存在差距的模型均为目标模型。至少再加入一个模型作为损害检查。

费用控制:每一步之前,向用户说明会话数 × 每次运行成本,并控制在用户设定的预算内。先用两个任务测量成本。

第一步:测量差距

在每个模型、调优任务上运行 base 和 none,各 3 次。score <dir> --models <all> --versions none,base 可将各模型并排对比;使用 --model <m> 则给出单个模型的警告。差距定义为:目标模型在某个任务上的失败频率高于参考模型,且日志中存在原因;2/3 对 3/3 仅属噪声。若目标模型在 none 下表现更好(出现 MISS 或 WORSE),应先寻找可删除的行。若所有目标模型均无差距,则停止并报告。

第二步:定位原因

首先检查加载情况。比较各模型上读取 SKILL.md 的运行次数(即 --models 表格最后一行;score 的低于半数警告即为此发现)。若目标模型打开技能的频率明显更低,应先修复加载问题:在描述中说明何时读取该技能以及它为工具自带描述补充了什么。若读取率上升但通过率未上升,则将目标模型违反的规则移入描述中。

否则,由新的审查者将每个失败的目标运行与同一任务的通过的参考运行对照阅读,并标注一个原因及引用证据:

  • 跳过了、误读了或在其加载的技能中找不到该用例的规则 → 改写或拓宽规则,或将其上移一层;
  • 提前停止或询问用户 → 用一行说明何为完成,除非任务确实需要提问;
  • 工具、夹具或适配器问题(参数错误、工具报错、文件缺失、输出丢失)→ 在那里修复,而非在技能中;
  • 无法完成(即使将参考模型的步骤写入提示仍失败)→ 从目标模型的目标中移除并报告;
  • 有效但评分错误 → 检查 eval.md 的评分器;修复任务并在每个模型的每个版本中重新运行。

每个原因都需要一个命中它的留出任务(相同的命令或调用)。在任何修复之前,先补写缺失的任务,以便第四步能展示增益。

第三步:逐项修复

优先尝试共享修复:更平实、正面、直接的措辞对所有模型都有帮助。每个候选为一个版本 L<n>:base 加一项修改。

对目标模型有益:在目标模型上对比 base 与 L<n>,针对其对应的差距任务,运行 6 次。若 score <dir> --model <target> --versions base,L<n> --tasks <those tasks> 显示的增益大于其 2 倍标准误,或某任务从每次都失败变为每次都通过,则保留该修改。

不损害其他模型:将所有保留的修改作为 tuned,与其他每个模型上的 base 对比,覆盖所有调优任务,运行 3 次。若出现 WORSE 或 MISS,逐项排除以找出问题修改,然后删除或改写它。同时比较读取率:停止打开技能的模型会丢失留在正文中的规则,需报告该下降。

组合后仍然有效:在目标模型上对比 tuned 与 base,覆盖所有调优任务。

每个模型都会读取每一行;宿主无法可靠地按模型隐藏某一行。

第四步:留出任务验证(仅一次)

在每个模型上对比 base 与 tuned,使用留出文件夹,运行 9 次。当目标模型增益超过 2 倍标准误、没有模型出现 WORSE 或 MISS、且 SKILL.md 保持在 skill-diet 的预算内时,即可发布。报告每个模型的每次运行 token 数作为成本:模型现在会打开的技能在每个任务上都要付出其体量的代价。若 base 已能通过目标模型的留出任务,则无法展示增益:需为差距原因新增任务并再运行一次。若 base 失败而 tuned 无增益,说明修复过拟合;在再次调优前编写新的留出任务。

后续维护

发布时,按 eval.md 的 Tested with 规定记录每个模型。提交信息需注明哪项修改来自哪个目标模型及其测量数据。当 tested-with 中的某个目标模型被替换时,在新模型上分别运行包含和不包含其修改的 base,并删除不再有帮助的内容。

限制

该工具依赖 skill-diet 的评测脚本与适配器,需按 eval.md、adapter.md 和“Editing a skill”规范执行。平台、收费与价格信息暂未提供。