SuperAPI AI 工具集

agent-runtime-gateway-smoke-test

部署与运维

查看项目

更新于 10-15 08:33

技能介绍

用途

Agent Runtime Gateway Smoke Test 是一个工作流型技能,用于验证「远程沙箱智能体 → 网关 → 本地 API」的完整调用路径,并在此过程中核对本地 API、临时网关隧道与远程沙箱回调是否连通。

它适用于:本地智能体 API 需要端到端运行时检查;任务派发后卡住、怀疑网关或隧道不可达;Web 应用被临时指向本地 API 用于智能体测试;上一次测试遗留了 Web 应用指向已停止 API 的状态。

主要能力

  • 在不依赖已连接工具或私有生产数据的前提下验证整条路径。
  • 记录并核对 Web 应用原始 API 目标及其健康状态。
  • 启动本地 API 与网关隧道,并验证 API 健康。
  • 匿名探测网关路由,确认文档化鉴权响应(通常为 401 或 403),并通过本地 API 日志确认探测真正到达 API(仅边缘响应不足以证明到达)。
  • 临时切换 Web 应用路由,确认请求能到达本地 API。
  • 运行一次无工具任务,确认远程沙箱回调本地网关、任务进入终止状态且返回答案精确匹配。
  • 恢复原始路由并验证健康,随后停止测试 API 与隧道。
  • 提供失败处理对照表与输出契约。

使用方式

所需输入包括:仓库内启动 API 与 Web 应用的相对指令;网关路由路径及其预期匿名响应;一个隔离测试智能体、无工具提示词及精确预期答案;检查任务状态并确认回调到达本地 API 的方式;由项目常规密钥存储提供的提供方凭据(共享文档中只写提供方名称,绝不复制凭据值到技能或测试报告)。若这些输入缺失,应报告缺失输入,而不是猜测端点或使用真实账号。

授权与清理方面:需先确认有权通过所选隧道提供方暴露本地测试 API、派发测试任务并临时更改 Web 应用路由;使用隔离的本地 Web 应用或测试部署,不切换共享生产应用;隧道访问范围限于所需的已鉴权路由。清理机制必须在更改路由之前安装:无论成功、错误、超时、中断或取消,都要恢复已记录目标并在停止 API 与隧道前验证健康;仅跟踪本次测试创建的进程 ID 或资源;若恢复失败,立即报告并保留恢复所需证据,不得声称成功。

冒烟测试步骤:记录并核对原始路由,保留该值用于恢复,确认测试智能体与数据与真实用户隔离;用进程管理器启动本地 API 与隧道并使其在整个测试期间存活;验证 API 健康,匿名探测网关路由并确认文档化鉴权响应,同时在本地 API 日志中确认该探测;两项检查通过后才切换 Web 应用,并在任何 Web 服务器重启或配置重载后再次检查路由;运行一个无工具任务,使用带精确预期答案的简短提示词,确认远程沙箱调用了本地网关、任务到达终止状态且返回答案匹配(排队或运行中不算通过);恢复原始路由,验证目标与代表性页面加载,再停止测试 API 与隧道。

示例检查命令(值由项目提供):

curl --silent --show-error --output /dev/null --write-out '%{http_code}\n' "$LOCAL_API_HEALTH_URL" curl --silent --show-error --output /dev/null --write-out '%{http_code}\n' "$PUBLIC_GATEWAY_PROBE_URL"

第一条应返回项目的健康状态,第二条应返回文档化的匿名鉴权状态并出现在本地 API 日志中;两条 URL 中均不得放入凭据。

已连接工具的后续测试须在无工具任务通过后单独进行,使用显式测试连接与授权;将连接存在与已授予操作作为不同事实报告;不因操作搜索为空就推断没有应用连接;不对真实账号执行写操作作为冒烟测试。

失败处理

  • 网页可加载但 API 请求失败:比较配置的 API 目标与监听进程,并恢复原始路由。
  • 网关探测出现连接错误或 404:在派发任务前检查隧道有效期、路由路径与本地 API 健康。
  • 网关探测返回 401/403 但本地无日志记录:响应可能来自隧道边缘,需验证回调路径。
  • 任务持续排队或运行中:检查是否被其他调度器认领,以及沙箱是否到达本地网关。
  • 任务以错误答案结束:记录任务状态与脱敏错误,不得称为冒烟测试成功。

输出契约

返回简短报告,包含:本地 API 是否健康;网关探测状态与本地日志确认;是否观测到远程回调;无工具任务终止状态及精确答案是否匹配;原始 Web API 路由是否已恢复且健康;以及一个未解决的阻塞项或下一步行动(如有)。报告中不得包含账号细节、凭据值、个人路径、公共隧道 URL 与原始私有日志。

限制

技能本身未提供具体的隧道提供方名称、凭据配置格式、部署命令或自动化脚本实现;这些需由项目自行提供。示例命令中的变量值亦由项目提供。使用前须确认授权范围,且不得切换共享生产应用。

相关技能

hermes-imports(在分享本地工作流前进行脱敏);agent-introspection-debugging(智能体反复失败时);verification-loop(修改运行时代码后)。