SuperAPI AI 工具集

skill-evolution

智能体与模型

查看项目

更新于 10-15 22:34

技能介绍

用途:让技能根据使用模式、用户编辑与成功率自动演进,并提供版本控制与安全回滚。

主要能力:跨会话审查技能表现;识别用户对技能输出的编辑模式;将学到的改进应用到技能模板;回滚有问题的改动;跟踪版本历史与成功率。系统分三阶段运作:采集(PostTool Edit Tracker)、分析(Evolution Analyzer Engine)、执行(/ork:skill-evolution 命令)。

使用方式(子命令):/ork:skill-evolution 显示全部技能演进报告;analyze <skill-id> 分析特定技能模式;evolve <skill-id> 交互式审查并应用建议(每条建议可选 Apply/Skip/Reject,应用前创建版本快照);history <skill-id> 查看版本历史;rollback <skill-id> <version> 经确认后回滚,当前版本自动备份;promote <skill-id> 执行冠军/挑战者留出评测,仅当候选在密封留出集上以默认 0.5(0–10 评分)的差距胜过当前版本才提升,两者分数与决定追加写入追加式 promotion-ledger.jsonl 以便审计。

数据文件:.claude/feedback/edit-patterns.jsonl(原始编辑事件,JSONL 追加式)、.claude/feedback/evolution-registry.json(聚合建议)、.claude/feedback/metrics.json(使用指标)、skills/<cat>/<name>/versions/(版本快照)及其中 manifest.json(版本元数据)。

安全机制:改动前创建版本快照;成功率下降超过 20% 自动告警;需人工审查;被拒绝的建议不再重复提出。评测通过 bare-eval(--bare --print,CLAUDE_CODE_FORK_SUBAGENT=1)在字节一致、隔离条件下运行;挑战者生成器不读取 evals/holdout.jsonl(输入白名单仅为 edit-patterns.jsonl);每次评测与 CI 会重新计算留出集的 LC_ALL=C sha256 并与 holdout.lock.json 比对,训练于测试或悄悄改动留出集会失败关闭;平局视为拒绝;单维度 min_blocker 会在一轴回退时自动拒绝。该评测开销较大(2*N 次评分调用,--bare 需要 ANTHROPIC_API_KEY 并计费 token),因此按需或仅在 CI 中运行,不在后台钩子中运行。

限制:相关参考与规则文档(evolution-commands.md、evolution-analysis.md、version-management.md、holdout-promotion-gate.md、pattern-detection-heuristics.md、confidence-scoring.md、auto-evolution-triggers.md)需按需加载;价格与具体计费细节暂未提供。