用途:Skill Forge 用于创建、测试、改进、打包和维护 Claude Code 与 Codex 技能,仅在请求明确针对技能本身时使用:新建技能、编辑 SKILL.md 文件等。
主要能力:提供默认工作循环——理解技能边界、起草或编辑 SKILL.md、生成真实评测提示、运行技能与基线、评分聚合并展示审查界面、根据反馈迭代,可选优化 frontmatter 描述并打包技能。若用户只想头脑风暴,则跳过评测充当设计伙伴;若已有草稿,可从验证、评测或迭代开始。
使用方式:采用渐进式查阅,按分支只读所需参考文件,如 skill_authoring.md、eval_workflow.md、description_optimization.md、openai_yaml.md、schemas.md、platform_notes.md 等;agents 目录含 grader.md、comparator.md、analyzer.md 子代理指令。运行脚本前需在 j5ik2o-skill-forge 目录准备 Python 环境:
export UV_PROJECT_ENVIRONMENT="${UV_PROJECT_ENVIRONMENT:-${TMPDIR:-/tmp}/j5ik2o-skill-forge-venv}" uv sync --group dev
所有脚本调用使用 uv run。验证命令包括:
uv run python -m scripts.quick_validate <skill-dir> uv run python -m scripts.quick_validate <skill-dir> --platform claude uv run python -m scripts.quick_validate <skill-dir> --platform codex uv run python -m scripts.quick_validate <skill-dir> --platform codex --strict-openai-yaml
生成 Codex UI 元数据:uv run python -m scripts.generate_openai_yaml <skill-dir>。
评测与基准:创建隔离工作区并向用户显示路径;同一轮启动 with-skill 与基线运行;每个任务在独立目录运行;写 eval_metadata.json;用 grader 评分,用 scripts.aggregate_benchmark 聚合,用 eval-viewer/generate_review.py 生成人工审查界面,不要自定义查看器 HTML。
描述优化:技能主体稳定后,读取 description_optimization.md,提取应帮助与不应帮助内容,草拟应触发与不应触发查询,用 assets/eval_review.html 让用户审查,再用 scripts.run_loop 运行,例如 Claude Code:
uv run python -m scripts.run_loop --eval-set <path> --skill-path <path> --model <model-id> --max-iterations 5 --verbose
Codex CLI 加 --cli codex。该优化循环无需单独配置 Anthropic API 客户端。
平台分支:Claude.ai 无子代理,自行运行测试用例、跳过基线;Cowork 可能无浏览器,用 eval-viewer/generate_review.py --static <output_path>;无合适 CLI 时跳过描述优化。
打包:uv run python -m scripts.package_skill <path/to/skill-folder>,否则返回生成的 .skill 路径。
限制:仅用于技能本身的创建与维护,不应用于普通编码、文档或运维工作;昂贵评测、改变触发行为或打包前应征得确认;缺少 uv 时需引导用户访问 https://docs.astral.sh/uv/。