SuperAPI AI 工具集

skill-optimizer

写作与研究

查看项目

更新于 10-15 21:50

技能介绍

用途:针对基准测试改进已有技能的执行质量,为新技能引导生成基准文件,或在切换目标模型后重新调优技能。

主要能力:以 SKILL.md 为可训练参数,对冻结智能体做文本空间优化;验证门控为强制,候选编辑需在 sel 集上以 3 次中位数、epsilon=0.05 的余量通过后才能重写 SKILL.md;禁止改动 frontmatter,只编辑正文,触发与路由保持不変。支持成本预检、每技能数据库锁、按步快照、历史记录、拒绝编辑的 LRU 缓存与审计日志。

使用方式:执行 gbrain skillopt <skill-name> [flags]。新技能常用 gbrain skillopt X --bootstrap-from-skill 生成约 15 个任务及哨兵标记,人工审查并强化 judges、删除哨兵后,再用 gbrain skillopt X --bootstrap-reviewed --split 1:1:1 运行,可加 --dry-run 预览成本。已有路由评估可用 --bootstrap-from-routing。迭代已有基准用 --benchmark 指定文件。先于优化运行应先使用 skillify 搭建技能。

限制:内置技能默认只写 proposed.md,原地改写需同时传入 --allow-mutate-bundled 与 --held-out(至少 5 个与基准不相交的任务),否则硬拒绝(退出码 2);插件快照为只读,无法原地修改。引导输出必须人工强化 judges,否则会朝基准工件而非真实质量优化。约 15 个任务的起始基准必须用 --split 1:1:1,否则默认 4:1:5 会使验证集低于 D_sel>=5 下限而报 d_sel_too_small。成本超限或缺少定价信息时会被拒绝,需先用 --dry-run 预览并询问用户。崩溃可用 --resume 恢复。不得绕过验证门控,否则会把噪声当作改进。