SuperAPI AI 工具集

scenario

测试与质量

查看项目

更新于 10-15 18:46

技能介绍

scenario 用于编写与管理 holdout 场景,实现基于行为验证。场景用叙述形式描述系统应做什么,并带可测量验收向量和满意度评分;文件放在 .agents/holdout/,使实现代理开发期间看不到,避免针对具体测试过拟合。

主要能力包括:初始化 holdout 目录、从描述生成符合 schema 的 JSON 场景、校验场景、列出场景,并将场景与 GOALS.md 指令关联。

基本用法:运行 ao scenario init 创建 .agents/holdout/ 与 README.md(已存在则无操作);ao scenario add "user can authenticate with valid credentials" 生成 ID(s-YYYY-MM-DD-NNN)、推断或提示叙事、预期结果与验收向量,默认满意度阈值 0.8,写入对应 JSON;也可手写符合 schemas/scenario.v1.schema.json 的 JSON。ao scenario validate 校验缺失字段、类型错误、重复 ID、超过 90 天的 active 场景、无 check 命令的验收向量。ao scenario list 显示 ID、目标、状态、来源、日期、阈值和验收向量数量,支持 --status active/draft/retired 过滤。

与 GOALS 关联:ao goals scenarios --create "<goal>" --directive N 可创建提升后的 spec 场景并双向链接;ao goals scenarios 列出各指令的关联场景;ao goals scenarios --lint 检查链接图。关联后,ao goals measure 将关联场景结果汇总为 scenario_satisfaction 比率,ao goals trace 渲染 directive → scenario → bead → verdict → learning 谱系并审计孤儿。

验证集成:/validation 的 STEP 1.8 加载所有 active 场景,运行每个验收向量的 check 命令,计算 0.0-1.0 满意度得分,汇总为 holdout 总分;任一场景低于阈值则验证门失败。

关键规则:holdout 隔离要求实现代理绝不能读取 .agents/holdout/,hook 强制禁止访问,只有评估代理、人类或 /validation 可访问;评分采用连续满意度而非布尔;场景应由人类或评估代理编写,实现代理不得自编;来源字段记录 human、agent 或 prod-telemetry;状态包括 active、retired、blocked、draft。

限制与排障:schema 版本不匹配会报缺失字段;状态非 active 不会被验证拾取;hook 未安装时实现代理可能读取 holdout;重复 ID 需改名;active 场景超过 90 天会警告;得分为 0.0 需检查 check 命令返回值。具体价格、平台兼容范围等资料暂未提供。