用途:帮助用户从零创建技能、修改与改进既有技能,并衡量技能表现。适用于用户想创建、编辑或优化某个技能时。
主要流程:先明确技能要做什么与大致做法,写出草稿;再准备若干测试提示并在可访问该技能的环境下运行;随后帮助用户从定性与定量两方面评估结果;根据评估反馈重写技能,并可扩充测试集在更大规模上重试;技能完成后还可运行描述改进脚本优化触发。使用时应先判断用户处于流程哪个阶段,再介入协助推进;若用户只想要随性打磨,也可不跑大量评估。
技能结构:一个技能目录包含必需的 SKILL.md(YAML frontmatter 中的 name、description 为必需,另含 Markdown 指令),以及可选的 bundled resources:scripts(确定性或重复性任务的可执行代码)、references(按需载入上下文的文档)、assets(输出所用文件,如模板、图标、字体)。技能采用三层加载:元数据(名称与描述)始终在上下文;SKILL.md 正文在技能触发时载入,理想少于 500 行;bundled resources 按需加载,脚本可执行而无需载入。大型参考文件(超过 300 行)应加目录;多领域技能可按变体组织,例如 cloud-deploy 下分 aws.md、gcp.md、azure.md,模型只读相关文件。
写作规范:指令优先使用祈使语气;用示例说明格式;解释重要性而非堆砌强制要求;保持技能通用而非过度狭窄。description 是主要触发机制,应同时写明做什么和何时使用,所有“何时使用”的信息都放在这里而非正文,并要注意模型当前有触发不足的倾向,描述可适当“主动”一些。
测试与评估:测试用例保存到 evals/evals.json,先只写提示,随后再补 assertions。运行时为每个用例在同一轮并行启动 with-skill 与 baseline 两个子代理,结果放入与技能目录同级的 <skill-name>-workspace/,按 iteration-1、iteration-2 等迭代组织,各用例一个目录(eval-0、eval-1 等)。每个用例写 eval_metadata.json,其中 assertions 可先为空。运行期间可起草定量断言并向用户解释。运行完成后把 timing 数据(total_tokens、duration_ms、total_duration_seconds)保存到 timing.json。评分可启动 grader 子代理或内联评分,读取 agents/grader.md 对每条断言评估输出,结果保存为 grading.json,其 expectations 数组必须使用 text、passed、evidence 字段。聚合运行:python -m scripts.aggregate_benchmark <workspace>/iteration-N --skill-name <name>,生成 benchmark.json 与 benchmark.md。分析可参考 agents/analyzer.md。查看器运行示例:nohup python <skill-creator-path>/eval-viewer/generate_review.py <workspace>/iteration-N --skill-name "my-skill" --benchmark <workspace>/iteration-N/benchmark.json > /dev/null 2>&1 & 并记录 VIEWER_PID;第二迭代及以后可加 --previous-workspace。无显示环境可用 --static <output_path> 生成独立 HTML,用户点击 Submit All Reviews 后反馈下载为 feedback.json。结束后 kill $VIEWER_PID 2>/dev/null。查看器 Outputs 标签逐个展示用例提示、输出、上次输出(第二迭代起)、正式评分(如已运行)与自动保存的反馈框;Benchmark 标签展示通过率、耗时与 token 用量及逐用例明细和分析观察。读取 feedback.json 后,对用户有具体意见的用例重点改进,空反馈视为无问题。
沟通与限制:用户对编程术语的熟悉度差异很大,应根据语境调整措辞;对 JSON、assertion 等术语,需先看到用户确实了解的迹象再不加解释地使用,不确定时可简短解释。技能不得包含恶意软件、漏洞利用代码或危害系统安全的内容,也不得创建误导性技能或用于未授权访问、数据外泄等;角色扮演类内容可以。当前资料未提供具体价格、平台支持范围或运行环境要求。