SuperAPI AI 工具集

skill-eval-scaffolder

测试与质量

查看项目

更新于 10-16 02:31

技能介绍

用途:为仓库中的技能创建最小且符合 schema 的评测清单(evals/evals.json),用于补充行为评测覆盖。范围仅限评测脚手架,除非维护者明确批准,否则不运行实时行为评测。

主要能力与用法:通过 $ARGUMENTS 分发动作。输入 <name> 可预览 skills/<name>/evals/evals.json 的脚手架;<name> --apply 在文件缺失或用户批准覆盖时写入脚手架;check <name> 校验已有评测清单;留空则显示用法示例与清单 schema 摘要。

工作流:先确认 skills/<name>/SKILL.md 存在,再运行内置脚本 uv run python skills/skill-eval-scaffolder/scripts/scaffold_evals.py <name>,随后补充显式、隐式与负向对照用例,最后用内置校验脚本验证。

清单结构:每个 evals/evals.json 包含 skill_name(kebab-case 目录名)与 evals(非空用例列表,用例含 id、prompt、expected_output,可选 files、assertions)。校验命令为 uv run python skills/skill-eval-scaffolder/scripts/check.py。

关键规则:未经用户明确批准不得覆盖已有评测清单;新脚手架至少包含一个显式调用用例;声明完成前运行 validate_evals.py;实时评测执行应转交 skill-creator 评测模式或维护者 CI 工作流;提示词需基于技能分发表与 NOT-for 边界。

限制:仅做脚手架,不执行实时 LLM 评测;其他细节暂未提供。