SuperAPI AI 工具集

live-service-e2e-testing

测试与质量

查看项目

更新于 10-15 17:29

技能介绍

用途:当测试必须证明真实外部服务(账号、租户、数据库、队列、浏览器、支付网关、云 API 或已部署环境)的行为时使用,目标是获得接近生产的信心,同时不引入生产风险。

核心原则:不得用 mock、stub、fake、模拟器、本地仿真、仅契约断言或录制回放替代被测真实服务行为;除非用户明确授权,不得使用生产租户、客户账号、真实资金链路或共享可变环境;缺少密钥、配额、沙箱或网络访问应作为阻塞项报告,而非伪造成功;每次运行必须独立可重复,拥有自己的数据、命名、资源与清理。

构建流程:定义真实服务边界,列出所有将触及的服务、账号、区域、项目、租户、端点、webhook、队列或浏览器界面,非真实流量标记为辅助代码;建立账号与环境隔离,使用沙箱或专用测试账号,通过环境变量提供凭据与基础 URL,远程资源加唯一 run id 前缀并打标签;夹具应通过公开 API、CLI、管理端点或 UI 流程创建真实服务状态,保持最小、确定、每次唯一;在创建资源前注册清理处理器,只清理带 run id 或明确所有权标记的资源;尊重限流与成本,加入有界并发、退避、抖动、重试上限和每套件预算,将 429、配额与成本限制视为测试信号而非无限重试触发;通过独立读取、回调、webhook、日志、UI 状态或服务端记录断言可观察行为,仅在文档化最终一致性下轮询并设截止时间;捕获证据,保存脱敏的请求 id、资源 id、URL、时间戳、截图、服务响应、清理日志与环境契约,不存原始令牌或客户数据;执行需显式选择加入,如 REAL_SERVICE_E2E=1 加服务专用凭据,默认本地可跳过并说明原因,CI 在缺少必要环境变量时应失败。

测试框架形态与审查清单:凭据与基础 URL 放命名环境变量;目标账号不匹配沙箱标记时快速失败;每次套件生成一个 run_id;创建与清理封装为返回具体资源 id 的辅助函数;优先窄场景测试;运行结束输出脱敏证据工件,即使断言失败;清理失败时保留足够证据并显式暴露。审查要点:不接触真实服务不能通过;每个外部资源有唯一所有者标记与清理路径;必要环境变量、账号、沙箱名与限流假设在代码或 README 中记录;断言验证服务可观察结果而非仅本地返回值;重试有界并绑定文档化的一致性;证据含 run id、服务请求/资源 id、断言摘要与清理结果。