用途:帮助用户创建新技能(skill)并迭代改进,也用于更新、优化现有技能,并测量技能表现。
主要能力与流程:先明确技能用途与做法,写出初稿;创建若干测试提示词,在可访问该技能的 Claude 上运行;帮助用户从定性和定量两方面评估结果;运行期间可起草定量评估(若已有可沿用或修改),并用 eval-viewer/generate_review.py 展示结果与指标;根据反馈重写技能,循环直至满意,再扩大测试集。若用户已有初稿,可直接进入评估迭代。结束后可运行技能描述优化器改进触发。
技能结构:skill-name/ 目录内含 SKILL.md(必需,含 name、description 的 YAML frontmatter 与 Markdown 指令),可选 scripts/、references/、assets/。采用三级加载:元数据常驻、SKILL.md 正文触发时加载(建议 500 行内)、资源按需加载。description 是主要触发机制,应包含做什么与何时使用。
测试与评估:测试提示词保存至 evals/evals.json,仅先写提示词,断言稍后补充。运行时同时启动带技能与基线(新技能无技能;改进旧技能用快照)两组子代理,按 iteration-N/eval-N 组织,保存 eval_metadata.json 与 timing.json(total_tokens、duration_ms)。用 grader 子代理按 agents/grader.md 评分,grading.json 的 expectations 须用 text、passed、evidence 字段。聚合命令:python -m scripts.aggregate_benchmark <workspace>/iteration-N --skill-name <name>,并在 iteration 2+ 传入 --previous-workspace。查看器命令:nohup python <skill-creator-path>/eval-viewer/generate_review.py <workspace>/iteration-N --skill-name "my-skill" --benchmark <workspace>/iteration-N/benchmark.json > /dev/null 2>&1 & 随后 VIEWER_PID=$!;无显示环境用 --static,反馈下载为 feedback.json。查看器含 Outputs 与 Benchmark 两标签,提交后读取 feedback.json,结束用 kill $VIEWER_PID 2>/dev/null。
限制与约束:技能不得含恶意软件、漏洞利用或危害系统安全的内容,不应误导用户或协助未授权访问、数据外泄。应使用祈使句,避免堆砌 MUST,尽量解释原因;为主观输出(写作风格、艺术)用定性评估,不强行加断言。与用户沟通需依据其技术背景调整措辞,对 JSON、assertion 等术语酌情解释。各平台、价格、效果等资料未提供。