SuperAPI AI 工具集

arc-creating-evals

测试与质量

查看项目

更新于 10-15 19:56

技能介绍

用途:为已存在的技能生成 arc-skill-eval 测试套件,产出目标技能目录下的 evals/evals.json 以及 evals/files/ 下的测试 fixtures,让作者能证明技能可用。格式参考 docs/evals-json-pivot.md 与 src/evals/types.ts。

主要流程分五阶段,每个阶段边界需停下与用户确认:第一阶段定位并概括目标技能(默认最近的含 SKILL.md 的祖先目录),读取 SKILL.md 提取名称、描述、编号步骤、期望调用的工具与涉及文件;第二阶段预先定义成功标准(结果、过程、风格、效率四个维度),仅对这些内容写断言;第三阶段起草 10–15 个精简用例,覆盖触发类(3–5,含显式、隐式正向、相邻否定)、执行类(1–3,含 fixture 黄金路径与备选路径)、边界/否定类(1–2);第四阶段按优先级叠加断言,先脚本断言(file-exists、regex-match、json-valid),再用字符串断言(LLM 判定),每用例 2–5 条;第五阶段写文件、固定模型、校验、试运行并总结。

使用方式:写入并美化 evals/evals.json(2 空格缩进),创建 fixtures,运行 arc-skill-eval validate <skillDir> 与 arc-skill-eval run <skillDir> --case <first-routing-case-id> 试运行。evals.json 无顶层 model 字段,若全局默认模型有配额上限,建议在 CLI 层设 judgeModel 或更新 ~/.pi/agent/settings.json。注意:MVP 阶段 validate 走旧校验路径,对仅含 evals.json 的技能可能为空操作;live-smoke 用例暂不支持,需以 NOTE 注释标注;勿写入 node_modules、构建产物或真实凭据;id 用小写 kebab-case 或数字,不含斜杠与空白。资料未提供更详细的安装、价格或平台信息。