SuperAPI AI 工具集

skill-testing

测试与质量

查看项目

更新于 10-16 06:21

技能介绍

用途:为智能体技能(agent skill)创建以 LLM 作为评判者(LLM-as-judge)的行为评测。触发场景包括为技能编写测试、添加评测、测试技能等。

产出结构:在技能目录下生成 <skill>/tests/eval.sh(评测框架,来自模板)与 <skill>/tests/golden_examples.yaml(测试场景)。

工作流程:

  1. 理解技能:阅读目标技能的 SKILL.md 及补充文件,识别核心行为、异常/边界情况、警告的反模式、决策边界。
  2. 编写 golden examples:按 references/golden-examples-schema.md 的 schema 创建 YAML,每个行为类别约 2-3 个场景(通常共 8-15 个),用 YAML 注释分组。查询须明确无歧义并写明上下文;预期行为须能用一句话验证;反模式聚焦主要动作;优先窄而具体的查询;多阶段技能每个场景限定一个阶段;命令路由类技能用 expected.tool_calls,行为类用 expected.behavior。
  3. 从模板创建 eval.sh:复制 templates/eval.sh 到 <skill>/tests/eval.sh,仅定制配置块,包括 SKILL_NAME、SKILL_FILES、EVAL_BACKEND_VAR、EVAL_MODEL_VAR、AGENT_INSTRUCTION。行为类与命令路由类有各自推荐的 agent 指令写法。
  4. 校验:使用 bash -n 做语法检查,--dry-run 检查提示,--id 跑单个场景,再全量运行并迭代。使用 --backend opencode 时建议在临时目录运行。

评测失败排查顺序:先检查技能措辞、再改 golden example、再调整预期行为、最后才改评判提示词,不要把评判器全局放宽。

模板功能:支持 --backend claude(默认)或 opencode 多后端;支持 --id、--tag、--dry-run 过滤;依据 expected 字段自动选择命令路由或行为评判;输出会清理 ANSI 码和 system-reminder 标签;参数校验与临时文件安全删除;暴露 CLI 错误并检测空响应。

限制:LLM 非确定性导致部分场景约 1/5 次失败,可接受单场景失败率低于 20%,超过则需修正。资料未提供收费、价格与平台等信息。