用途:waza-runner 用于评估其他 Agent Skills,衡量其实际效果,采用与 AI 智能体评测相同的模式。适用于对技能做质量评估、测试技能是否在正确提示下被触发、测量技能行为质量,以及为 CI/CD 生成评测报告。
主要能力:支持运行评测、初始化评测套件、生成报告。工作流程为:检查技能目录中的 eval.yaml;解析 tasks/*.yaml 中的任务定义;通过配置的评分器执行每个任务;以 JSON 或 Markdown 输出结果。
评测指标(默认阈值):任务完成度(是否达成目标,80%)、触发准确率(是否在正确提示下被调用,90%)、行为质量(工具调用、效率、推理,70%)。评分器类型:代码评分器(确定性断言、正则匹配)、LLM 评分器(模型即裁判,可配置评分标准)、人工评分器(人工复核流程)。
使用方式:命令包括对 <skill-name> 运行评测、创建评测套件、生成报告;CLI 示例:waza run ./my-skill/eval.yaml;输出到文件:waza run ./my-skill/eval.yaml -o results.json。结果 JSON 中包含 pass_rate、composite_score,以及各指标分数与是否通过。
限制:资料未提供安装方法、许可、价格、平台与依赖要求,也未说明评分配置的完整字段;具体请参考 Eval Specification、Writing Tasks 与 Grader Reference。