SuperAPI AI 工具集

agent-release-gate

智能体与模型

查看项目

更新于 10-15 16:42

技能介绍

用途:agent-release-gate 是 Agent 运行时的产品级 QA 门禁,位于 playground UI 下一层。它不问细节是否全对,而问「用户打开产品做最明显的第一件事时能否正常工作」,是发布前必须通过的关卡。所有检查都断言在线上行为(浏览器看到的 SSE 帧类型)与副作用(文件确实持久化、修订确实递增),而不是断言模型说了什么,因此与部署方式无关,可指向任意技术栈。

主要能力:以「cell × journey」矩阵组织。journey 含 chat、mount、tool、approve、deny、commit、warm、cold1、cold2、mcp;cell 按 harness × sandbox × auth 划分,不同 cell 需要额外条件(订阅侧车登录、Daytona API key 等)。结果输出 PASS / FAIL / SKIP 及一行原因,逐 cell 的 markdown 表格与完整 JSON 落在 ./qa-gate-runs/<timestamp>/(可用 AGENTA_QA_RUNS_DIR 改写),运行写入当前工作目录。并发 journey 有两个:burst(16 个新会话同时发首条消息,获取 16 次冷启动)和 crosstalk(多轮长输出会话与审批流并行,检查流中不串入其他会话 nonce);二者默认仅 Daytona 运行,容量不足时报 SKIP 而非 PASS/FAIL。还包含离线测试脚本与单轮线级探针。

使用方式:先为被测部署设置 AGENTA_BASE、AGENTA_PROJECT_ID、AGENTA_API_KEY 三个环境变量,再运行门禁;路径相对于本技能目录。

export AGENTA_BASE=https://your-stack.example.com export AGENTA_PROJECT_ID=... export AGENTA_API_KEY=... uv run resources/qa_product.py --all --custom-slug --custom-name "" --require-store uv run resources/qa_product.py --cell P1 uv run resources/qa_product.py --cell S2 --only warm --only cold1 --require-store

必须 export 而非仅在 shell 中赋值:驱动在环境缺少 AGENTA_* 时会回退到凭据文件,可能指向错误部署,表现为 401 或错误的绿色结果。--all 包含需 --custom-slug(自定义 OpenAI 兼容提供方)的 cell;--custom-name 也必需。连续性 journey 只在 store-backed 部署上有意义,须配置 AGENTA_STORE_* 并传 --require-store;cold2 还需要能 SIGKILL runner 副本的运维钩子。传 --release-base <ref> 可让驱动读取本次发布改动路径,按 resources/path_triggers.py 的规则把相关 cell 变为强制项;独立脚本形式的强制 cell 会写入 mandatory.json 并在 summary.md 列出,须各自有记录结果才算绿。也可用 --changed-path 手工指定路径。并发数量由 --burst-size(默认 16)、--crosstalk-conversations(默认 3)、--crosstalk-approvals(默认 2)控制,上限 32 并发(crosstalk 两项合计 32);--concurrency-timeout 默认 300 秒,限定单轮。

适用场景:发布负责人对将要交付的部署做飞行前检查;改动 runner 沙箱引擎或 Daytona 提供方时强制触发相关 Daytona cell 与并发 journey;人工拿到部署 URL 之前,还须运行 resources/qa_commit_approval.py 完成真实工作流修订的提交审批往返验证,其 FAIL 与门禁 FAIL 同样阻断。

限制:运行时 fail-open,绿色回合本身不构成证明,须先阅读 resources/LESSONS.md 中的陷阱。cell 分 coached(提示词点名机制,只证明后端路径)与 mechanism-blind(仅此类 cell 才可为模型行为主张背书)。burst 的结果是抽样而非全部清除,某个单冷启动故障率下样本可能漏检。SKIP 不代表通过;在安全或并发相关区域出现的 SKIP 应视作未验证声明并在总结中点名。SKIP 也会出现在 journey 不适用于该 cell 时(如 Pi cell 上的 mcp)。并发会占用组织磁盘,约每个沙箱 5 GiB,需注意配额。README 未提供收费或价格信息。