SuperAPI AI 工具集

runtime-smoke

测试与质量

查看项目

更新于 10-16 10:10

技能介绍

用途

runtime-smoke 是一项生命周期处于 VERIFY 阶段的验证技能,用于在真实智能体运行时或适配器中检查 Agent Brain,以便在信任 harness 可用性之前获得真实运行时证据。当命令、技能、适配器、harness 提示词、运行时配置或命令路由发生变更,且相关结论依赖真实智能体运行时而非仅夹具验证时,应使用该技能。

何时不使用

当上述触发条件不成立时不要使用;应选择拥有所请求状态、产物和验证门禁的命令或技能。在没有明确批准证据的情况下,不得将其用于破坏性、需要凭据、生产环境、付费或具有公共副作用的运行。

输入

使用该技能需要以下输入:目标运行时或适配器名称;干净检出或可丢弃工作区路径;沙箱或写入模式约束;基线验证命令及预期范围;在运行时中执行的确切任务提示或命令;任何具备写入能力或副作用命令的批准状态。

流程

首先从干净检出或可丢弃副本开始,并在执行任何运行时任务前保留用户改动。接着记录运行时名称、版本、Python 可执行文件、可写临时目录状态、git 新鲜度结果、确切命令、沙箱/写入模式、/brain-* 条目是原生命令还是 markdown 规格,以及被阻止的命令。除非明确批准允许完整验证,否则先运行只读冒烟。然后要求运行时加载 Agent Brain,选择匹配的 /brain-* 命令,仅加载该命令列出的技能,并产出预期产物。在 templates/runtime-smoke.md 中捕获证据;当产出 JSON 证据时,依据 schemas/runtime-smoke.schema.json 进行校验。对于 JSON 产物,应使用已检入的辅助路径(python scripts/runtime_smoke.py ...),以便确切命令由辅助工具验证,而不是从记录中重建。对于 full_validation,需捕获持久记录路径;仅标准输出标记只可接受用于只读冒烟。将任何设置、命令边界、沙箱或产物契约缺口路由到最小的后续加固切片。如果运行时只能执行只读冒烟检查,则在声称完整验证之前停止。

反合理化

常见捷径与对应反驳如下:认为“验证器通过,因此运行时可用性已证明”——夹具验证不是真实运行时证据,需捕获运行时冒烟产物;“运行时大概支持斜杠命令”——需记录 /brain-* 条目是原生命令还是 markdown 规格;“只读输出足以进行完整验证”——需将只读冒烟单独标记并列出被阻止的命令;“设置失败,所以总结意图即可”——需捕获阻塞点、命令、沙箱模式和后续修复。

验证

验证需确认:运行时、版本、Python 可执行文件、可写临时目录状态、git 新鲜度结果、确切命令、沙箱/写入模式、命令模式、被阻止的命令、运行范围和证据均已记录;运行范围区分只读冒烟与完整验证;运行时遵循命令路由与技能加载边界,任何通过产物需指明所选命令、至少一个已加载技能,且仅包含所选命令声明的技能;任何生成的 JSON 证据均能通过 schemas/runtime-smoke.schema.json 校验;公开副本保持中立,不提及私有 dogfood 协调者或来源特定品牌。

输出产物

输出产物为 Runtime Smoke。叙事证据使用 templates/runtime-smoke.md,机器可校验的 JSON 证据使用 schemas/runtime-smoke.schema.json。当运行是只读、被阻止、过时或非完整验证时,产物必须指明阻塞点和下一步动作。

失败模式

常见失败模式包括:仅凭夹具测试就声称适配器就绪;遗漏沙箱/写入模式或被阻止的命令;未加检查就将 markdown 命令规格视为原生运行时命令;在没有批准证据的情况下运行具备写入能力或副作用的任务;隐藏设置失败、过时的 git 状态、缺失的 Python 依赖或不可用的临时目录写入。

示例

触发条件:适配器 README 或 harness 提示词变更。动作:先运行只读冒烟,捕获命令模式、沙箱模式、被阻止的命令和记录证据。输出产物:templates/runtime-smoke.md 或符合 schema 的 JSON,包含阻塞点和下一步动作。验证:引用运行时、版本、Python 可执行文件、所选命令、已加载技能、适配器路径和记录脱敏状态。示例场景:维护者修改适配器 README。在发布前,验证者对可丢弃检出运行只读 CLI 运行时冒烟,记录运行时版本、沙箱模式、命令模式、被阻止的命令和证据,然后针对任何命令路由缺口提交后续加固切片,而不是仅凭文字声称完整验证。