用途:Waza 是一个用 Go 编写的 CLI 工具,用于通过结构化基准评估 AI 智能体技能。其理念为“measure, refine, master”,即在 YAML 中定义测试用例,对智能体引擎运行,并用可插拔校验器验证结果。
主要能力:提供五类命令。waza run <eval.yaml> 运行评估基准;waza init [directory] 初始化评估套件目录结构;waza generate <SKILL.md> 从 SKILL.md 生成评估;waza compare <r1> <r2> ... 对比多个结果文件;waza dev [skill-path] 迭代改进 SKILL.md 的合规度。run 支持 --context-dir/-c 指定夹具目录(默认 ./fixtures)、--output/-o 保存结果 JSON、--verbose/-v、--task/-t 按名称筛选任务、--parallel/-p 与 --workers/-w 并行执行、--transcript-dir 保存每任务记录。compare 支持 --format/-f 选择 table 或 json。generate 支持 --output-dir/-d。dev 支持 --target(low|medium|high)、--max-iterations(默认 5)、--auto。
使用方式:典型流程为 waza init my-eval 搭建套件,编辑 eval.yaml 与 tasks 定义用例,waza run eval.yaml -v 执行,再用 waza compare a.json b.json 做跨模型对比。评估规格含 name、skill、version、executor 与 tasks(每个任务含 id、name、prompt、expected、validators)。引擎有 mock(测试,返回固定响应)与 copilot-sdk(生产,经 Copilot CLI SDK 执行)。校验器包括 code(代码可编译/通过语法检查)与 regex(输出匹配正则)。dev 会按描述长度、触发词、反触发词、路由清晰度标记与 token 预算评分。
适用场景:AI 智能体技能开发中的基准测试、跨模型或跨版本结果对比、SKILL.md 合规度迭代提升。夹具隔离确保每个任务获得复制了夹具的全新临时工作区,原始夹具不被修改。
限制:文档提到 Trigger accuracy tests、--skip-integration、--fast 与改进建议引擎尚在开发(Coming Soon)。官方页面未提供安装方式、许可证与价格信息,暂未提供。