SuperAPI AI 工具集

os-evolution-verifier

测试与质量

查看项目

更新于 10-16 09:50

技能介绍

用途:在 os-architect 或其下游智能体演变后,验证改动是否真正生效。判定依据是产物是否存在,而非审阅对话记录。

主要能力:按场景派发 os-architect 单次模拟运行,执行产物校验。覆盖多种演变类型的检查项:Path C(缺口填补)检查 SKILL.md 是否存在于预期路径;Path B(更新)检查是否写出 tasks/todo/<slug>-plan.md 与 tasks/todo/copilot_prompt_<slug>.md;Path A+(无操作)检查未写新文件且 HANDOFF_BLOCK 含 STATUS: complete;Category 3(实验环境搭建)检查 improvement/run-config.json 是否写出并发出 HANDOFF_BLOCK。还校验 HANDOFF_BLOCK 的 7 个字段完整性(INTENT、TARGET、PATH、DISPATCH、STATUS、OUTPUTS、NEXT_ACTION),以及低置信度提示词是否在第二阶段审计前出现澄清问题。

使用方式:场景文件放在 temp/os-evolution-verifier/scenarios/,需含 id、name、path、prompt、expected_artifact、artifact_check 等字段。先做心跳检查,再经 copilot-cli-agent 派发 os-architect,输出到 temp 目录;然后运行场景指定的产物检查;结果追加到 temp/os-evolution-verifier/test-report.md,输出 EVOLUTION_VERIFICATION 块与汇总;最后调用 os-experiment-log 持久化记录。

限制:单次模拟模式无法写盘,Path B/C 的产物检查验证的是智能体在输出中是否提出正确文件,而非文件是否真实存在;真实的文件存在性检查仅在具备完整工具权限运行时适用。输出文件需超过 100 行,少于 50 行通常意味着模型拒绝、系统提示过长或跳过心跳。temp 文件易失,需及时写入实验日志。存在对抗性阈值:WS-N 失败注入场景 N-01 至 N-06 中至少 4 个须产生 FAIL,N-04、N-05、N-06 必须全部 FAIL。具体收费与平台信息暂未提供。