SuperAPI AI 工具集

skill-audit-loop

通用与其它

查看项目

更新于 10-16 07:18

技能介绍

用途:衡量现有 Claude Code 技能是否真正起作用,并依据证据而非仅靠自己翻看来修改它。技能本质是提示词,失败往往很隐蔽;只有拿固定任务跑技能、与不加载技能的结果对比、读代理实际做了什么,才能看见问题。

主要流程(五阶段):1) 收集用例,优先用真实失败会话,可从本地会话记录扫描,总用例保持 4 到 8 个,每个用例需独立 fixture;2) 在改动技能前先写检查,规则检查用 shell 命令看可观察副作用,判断检查由单独的 claude -p 读轨迹作答,必须给出理由;3) 跑矩阵,默认每用例每臂 3 次,臂含 with、base,改进旧技能时可加 old;4) 读证据,按触发失败、步骤未执行、指令本身错误三类区分并分别修复,同时看成本与轮数;5) 每轮只验证一个假设,改动前让用户确认,复测整组用例,无改善或有害则回滚。

主要能力:运行矩阵、评分、生成报告、成本估算与预算上限、已完成的运行不重复计费、会话结束挂钩采集真实使用证据。

用法:脚本路径相对本 SKILL.md 所在文件夹解析。示例命令:python3 scripts/scan_field.py --skill <skill-name> --days 30 --out cases/field.md;python3 scripts/run_matrix.py --suite suite.json --out runs/iter-1;python3 scripts/score_runs.py --suite suite.json --runs runs/iter-1;python3 scripts/report.py --runs runs/iter-1 --out runs/iter-1/report.md;订阅配置需先 CLAUDE_CONFIG_DIR=~/.claude-audit claude auth login。

限制:运行有成本,API key 模式按 token 计费,订阅模式消耗速率限制;不得在无隔离下运行,否则对照无意义;bare 模式工具集较小,依赖网页抓取或 MCP 的技能会失败;CLAUDE_CONFIG_DIR 文档较少且有隔离不彻底的报告;单次结果近似无意义,预算紧张应先减用例而非减重复次数;模型回答不明确时需更换判断模型或单独评分。其余功能、收费与平台细节暂未提供。