用途:为 GitHub Copilot 创建、审查或修复 Agent Skills,输出简洁稳定的任务指引,并配套一份能证明该指引确实改变行为的评测。适用触发场景包括要求创建、搭建、改进或修复 SKILL.md 及其配对评测。
主要能力与选择原则:技能用于按需加载的任务专属工作流或知识;路径范围的后台指引使用 file instructions;需要上下文隔离或不同工具限制时使用 custom agent;已有技能可复用时优先复用,避免重叠新建。
工作流程:先阅读相关实现、测试、仓库说明与相邻定制;识别重复错误或非显而易见的约束,不要把源码清单、行数等可从代码轻易重新发现的内容写进技能。技能文件位于 .agents/skills/<name>/SKILL.md,frontmatter 中 name 必须与目录完全一致,description 需说明技能做什么以及自然用户请求何时触发;后台领域指引标注 user-invocable: false,面向用户的流程聚焦用户会主动请求的结果。指引要可执行且有可观察验证,说明边界情况为何重要,避免与仓库说明重复的通用工程建议。随后创建 eng/harness-evaluation/skills/<name>/eval.yaml 并遵循 eng/harness-evaluation/README.md,先 lint 定制内容,并检查对照与处理两组产物。
配对评测要求:评测根 agent_environment.skills 只包含目标技能,刺激输入放在各 stimulus 的 agent_environment.files 下;runner 在对照时移除根技能,并单独验证处理组激活,不要添加技能调用评分器,也不要在共享 prompt 中要求 agent 调用技能。prompt 可指出 fixtures、拟议代码、固定 ID 与输出路径,但不得泄露预期诊断、所属机制或回归测试设计。使用确定性评分器检查可观察产物、用窄语义评分标准评估行为,并加入 token 预算评分器;定义受限轮数、token、时长与提交的评分阈值。任务须检验该技能独有的指引,若对照与处理持续一致,说明技能或评测不够有用。
验证与限制:需确保 frontmatter 可解析且 name 与目录匹配;技能简洁稳定且不与根或范围说明重复;文件引用为相对路径且存在;验证步骤可观察且任务相关;配对评测只针对该技能、评分完整受限、prompt 与解法无关;npm run lint 与 harness inventory 测试通过。常见陷阱包括把实现清单抄进技能、使用精确行数或易变指标、泛泛的测试目录指引、评测 prompt 泄露答案、根目录混入仓库 fixtures、prompt 指示调用技能、初始脚手架即启动多模型审查;对应修正为只保留非显而易见的约束与路由决策、改指向稳定符号或行为、描述独特测试形态或省略、把预期事实移入隐藏评分标准、根目录只保留目标技能并按刺激分阶段放置 fixtures、由处理组 runner 门控激活、先产出并 lint 所需产物再单独运行昂贵的行为验证。
其他信息:该资料的官方文本为空;具体收费、价格、支持平台与效果暂无提供。