用途:评估 skill 在 9 个维度上的质量(accuracy、coverage、reliability、efficiency、security、trigger_quality、leakage、knowledge_density 及综合分),运行自动改进循环,追踪历史分数变化,诊断扣分原因,对比纯文本与带脚本 skill 的评分差异,并为 autoloop-controller 提供收敛判断数据。
主要能力:9 维正交评估,避免单一加权分掩盖偏科问题;accuracy 由 LLM judge 逐项做 yes/no 判断,与人工评估一致率约 85%,regex 相关性接近 0;Pareto front 保护,不允许任何维度回退;三层记忆 HOT(≤100,常驻高频失败模式)、WARM(无限,按 skill_id 索引历史结果)、COLD(归档,暂未实现);输出含各维度 checklist 明细与每轮 diff、改前改后分数、kept/reverted/skipped 决策。
使用方式: 评估(默认 LLM judge):python3 scripts/self_improve.py --skill-path /path/to/skill --max-iterations 1 自改进循环:python3 scripts/self_improve.py --skill-path /path/to/skill --max-iterations 5 --memory-dir /path/to/memory --state-root /path/to/state 追踪历史:python3 scripts/track_progress.py --skill-path /path/to/skill --output progress.json --mock 模式跳过 LLM 调用,纯规则评分,约 1 秒完成,accuracy 精度下降(与人工相关性约 30%),适合调试与 CI。
适用场景:skill 质量评分与回归检测、自动改进循环、扣分定位、趋势分析。
限制:不用于候选语义打分(用 improvement-discriminator)、全流程编排(用 improvement-orchestrator)、单文件修改(用 improvement-executor)、任务执行效果验证(用 improvement-evaluator)。LLM judge 每次约消耗 2000-4000 tokens;COLD 层尚未实现。具体收费与平台信息暂未提供。