SuperAPI AI 工具集

failure-flywheel

通用与其它

查看项目

更新于 10-15 22:33

技能介绍

用途:把智能体重复出现的失败转化为可复用的护栏。核心思路是让机器完成“记录—归类—计数—搭草稿”这 90% 的机械工作,把“规则究竟是什么”这 10% 的判断留给人。触发场景:某任务以可能复现的方式失败(编造 API、破坏测试、忽略规则、过度构建);会话结束或每 N 次失败后查看报告;某类失败超过阈值时起草候选规则,再运行 /propose 完成。

主要能力:以代码方式追加记录失败到本地 gitignored 的 failures.jsonl;按配置的 taxonomy 分组计数,输出排行榜、首次/最近出现时间、哪些类别可起草;达到 recurrence_threshold(默认 3,即超过 2 次)时为该类生成 STUB 草稿,写入 llmwiki/wiki/sources/draft/DDMMYY-failure-<category>.md;还会把已够阈值的失败类打包成只读记忆卡 harness/metrics/guardrails/failure-<类>.md,并由 session_start 钩子在每个会话开头展示最近 5 张。

使用方式(命令保持原样): python3 harness/scripts/failure-flywheel.py record <category> "<summary>" [--detail "..."] python3 harness/scripts/failure-flywheel.py --report python3 harness/scripts/failure-flywheel.py --draft <category> [--date YYYY-MM-DD] python3 harness/scripts/flywheel.py --kind failure --guardrails 配置在 harness/failure-flywheel.config.yaml,阈值与 taxonomy 只在该文件定义。

限制:永不自动升级,草稿只是种子,必须人工运行 /propose 审批;记录失败为 fail-open,不阻塞会话;未达阈值不写草稿;--date 仅接受 ISO YYYY-MM-DD,格式错误退出 2 且不写文件;配置中 verified: false 时草稿只含 human-TODO,不自动写规则;无网络访问,不修改真实规则/技能。默认日期等具体事实以资料为准。