SuperAPI AI 工具集

os-skill-improvement

智能体与模型

查看项目

更新于 10-16 09:50

技能介绍

用途:把技能(skill)视为可测试契约,通过观察失败、编写技能、评测验证、修补漏洞的循环,持续改进既有智能体技能。

主要能力:将 TDD 映射到技能编写——测试用例对应压力场景提示词,RED 阶段在无技能情况下运行基线并观察违规,GREEN 阶段编写 SKILL.md 后用 os-eval-runner 评测并仅在分数不低于基线时保留,REFACTOR 阶段从评测失败中定位漏洞并修补 frontmatter 或示例。强调“先观察失败再写技能”的铁律,并通过假设块(失败模式、根因、改动、预期效果、风险)约束每次修改。

必要用法:修改前先运行快照命令 python ./scripts/eval_runner.py --skill <experiment-dir> --snapshot,用于获取当前分数、迭代历史、假阳性/假阴性率与主要问题类型(PRECISION 或 RECALL)。编写后运行 python ./scripts/eval_runner.py --skill path/to/new/SKILL.md,依据 KEEP、BASELINE、DISCARD 判定是否应用。RED 场景记录写入 context/memory/tests/[TIMESTAMP]_[SKILL_SLUG].md,测试登记更新于 context/memory/tests/registry.md。

适用场景:技能路由准确率低、触发描述失效、需要为技能补充示例或修补漏洞,以及 os-improvement-loop 提出技能补丁前的门禁环节。

限制与依赖:依赖 agent-scaffolders 插件的 create-skill 进行文件系统脚手架,依赖 os-eval-runner 插件提供评测门禁;目录结构遵循 ADR-003,单个技能文件不可重复。文档中未提供具体收费、价格、平台或效果数据;安装缺失依赖的说明参见 INSTALL.md。