SuperAPI AI 工具集

orca-eval

通用与其它

查看项目

更新于 10-15 23:23

技能介绍

用途:orca-eval 是一个流程自我改进工具,通过回读 Claude Code 的会话日志,提炼最佳实践与反面模式,输出 markdown 报告并给出改进行动建议。报告仅为建议,所有行动必须经过 propose→gate 审批,不会自动执行。

主要能力:调用 /orca-eval [N] 触发,N 为需扫描的最近会话数(如 5/10/15),无 N 则仅扫描当前会话。也可在用户说出“评估会话”“提炼最佳实践”“从历史优化流程”时触发。流程为:读取 *.jsonl 会话日志,通过 orca-eval-scan.sh 生成摘要(提示词、工具错误、重复命令),再提炼四类信号——Correction(用户纠正代理)、Repetition(跨会话重复≥3次的命令/操作)、Friction(重复工具错误、频繁权限提示、重试循环)、Win(一次通过的最佳实践),每个 finding 绑定恰好一个行动:promote-to-skill / update-CLAUDE.md / add-hook / keep / ignore。最终生成报告并展示行动表,等待用户审批后停止。

使用方式:从仓库根目录运行 skills/orca-eval/assets/orca-eval-scan.sh [N];报告写入 llmwiki/wiki/draft/orca/DDMMYY-eval-report.md,并更新 wiki/index.md 与 wiki/log.md。会话日志位于 ~/.claude/projects/<project-slug>/*.jsonl。

限制:对会话日志只读,不修改或删除 *.jsonl;不加载完整 transcript;不执行任何行动,须用户审批;扫描器失败时回退到当前会话并明确说明,不生成空报告;无信号时明确记录 0 finding,不编造;自动每 30 会话触发属于 Phase 2,本技能未包含。Claude Code 的 JSONL 格式无公开规范,扫描器可能因格式变化而失败。