SuperAPI AI 工具集

create-skill-test

测试与质量

查看项目

更新于 10-16 00:05

技能介绍

用途:为技能、智能体或工作流包生成评估规范(eval.yaml),使其符合 Vally schema,能通过 skill-validator check 与 check_eval_quality.py,并具备足以给出结论的统计功效,同时避免过拟合到技能自身措辞。

主要能力:指导判断评估是否必要(偏好型刺激、激活契约、no-op 守卫);定位目标与测试目录(tests/<plugin>/<skill-name>/eval.yaml、tests/<plugin>/agent.<agent-name>/eval.yaml、tests/agentic-workflows/<package>/eval.yaml);编写 Vally 格式骨架(使用 stimuli: 与 graders:,弃用 scenarios:/assertions: 与 config:);按功效确定刺激数量(至少 5 个不同刺激,p≤0.05 的精确单侧符号检验);编写刺激、配置环境与 fixtures、编写 graders 与 rubric 项、添加约束与休眠守卫。

使用方式:先证明评估属于目标,再写骨架、按功效定规模、写刺激、配置环境、写 graders、写 rubric、少量添加约束、添加休眠守卫。工作流包场景需验证 agentic-workflows/<package>/aw.yml 并读取入口工作流、本地导入与打包智能体。

限制:不用于诊断失败或回归的评估(改用 improve-skill-quality),不修改 skill-validator 或评估工作流,不创建或编辑 SKILL.md(改用 create-skill)。agent.* 规范不通过技能实验运行;disable-model-invocation: true 的技能无法被模型调用,直接评估会比较两个相同分支。fixtures 必须被 git 跟踪、行为符合假设、能复现目标 bug。不要将 expect_activation: false 与 constraints.reject_skills 组合。