用途
该技能用于对 GitHub Copilot 的自定义配置文件(instructions / agents / skills)进行系统化评估。它在名为 Waza 的评估项目体系下工作,可针对三类范围:个人目录(默认 $HOME.copilot)、当前工作区(默认 <workspace>.github)、或任意自定义路径(目录或单个文件)。
主要能力
- 初始化或修复 Waza 评估项目资产(.waza.yaml、static/runtime eval 配置、任务文件、评分脚本、报告脚本、results 与 reports 目录)。
- 执行 static 静态评估,输出结果 JSON 与报告。
- 通过 copilot-sdk 执行 runtime 运行时评估,生成运行时任务并记录结果。
- 单独运行指定 gate:metadata、agent-structure、token-budget,或依次运行全部三种。
- 汇总结果(测试总数、成功/失败/错误数、成功率、综合得分),并更新 Markdown 报告。
- 报告不写入密钥、认证信息或个人账号值,仅记录文件名与问题视角。
使用方式
技能没有输入变量机制,通过请求文本和 argument-hint 读取参数:targetScope(personal/workspace/custom)、targetPath、evalProject、action(setup/run/runtime/gate/report/full)、executionMode(static/runtime/both)、gateMode、maxFileTokens(默认 5000)、maxTotalTokens(personal 默认 130000,workspace/custom 默认 60000)、runtimePrompt、runtimeModel、runtimeTaskStrategy(template/record)。
典型 static 评估命令(PowerShell):
$project = Join-Path $HOME 'waza-copilot-customization-evals' Set-Location $project $env:WAZA_CUSTOMIZATIONS_TARGET = Join-Path $HOME '.copilot' waza run evals\copilot-customizations\eval.yaml --output results\customizations-eval.json --no-update-check -v
full 动作按 setup → static run → 可选 runtime → report 顺序执行。runtime 默认用 write-runtime-task.ps1 生成确定性任务,需确认任务内含已解析的字面 target path 与 Purpose/Guardrails/Usage 等内容;record 策略仅在使用 waza new task from-prompt 时采用,且生成后必须人工检查并放宽过度严格的条件。
适用场景
适用于审核 Copilot 自定义指令、代理与技能的元数据规范性、代理结构合理性及 token 预算,输出可追踪的评估报告。需要在修改前先评估配置质量、或定期体检个人/工作区 Copilot 配置的开发者可使用。
限制
技能不修改被评估的 instructions/agents/skills 本体,修复需用户明确指示。依赖 Waza 独立工具与 copilot-sdk,需预先完成登录与模型确认。命令以 PowerShell 非交互、带 timeout 方式执行。若评估项目资产缺失,需参照公开仓库的 setup guide 与模板初始化;具体模型可用性、价格或平台细节资料中暂未提供。