SuperAPI AI 工具集

bep-production-verification

测试与质量

查看项目

更新于 10-16 08:44

技能介绍

用途:用于设计、实现、运行或审查生产验证测试(PVT)、部署后验证、生产冒烟测试,或其他针对已部署环境的有界验证配置。

主要能力与要求:

  • 正确分类测试:PVT 描述测试运行的位置与时机,不构成新的证明层。HTTP schema 或发现类断言仍属 Contract/Integration,认证浏览器旅程仍属 E2E,存活请求可作为冒烟检查而不必升级为 E2E。不得创建 pvt 证明层、重复 BDD 映射或重复计数同一行为。PVT 与合成监控不同:前者通常是发布或操作者触发的有界验证,后者是带告警与服务等级归属的周期性运营信号。
  • 复用行为测试套件:审计现有 Contract、Integration、E2E 测试,当断言描述与环境无关的产品行为时复用同一测试体,将环境差异隔离到运行器配置与夹具中(目标源、期望版本、认证引导、账号选择、本地依赖启动、测试选择、并发、超时、产物与清理)。为生产安全测试提供显式原生标签或等价选择器,并提供单独命名的命令针对明确部署运行。不要因环境不同而对相同产品契约分支断言,仅对真实部署属性(如 HTTPS cookie 要求)允许分支。若本地测试需要重置数据库、直接播种、模拟依赖、特权设置或破坏性状态更改,不应强行复用,改以只读或可逆的窄验证覆盖对应风险。
  • 选择生产安全覆盖:保持现场子集小、确定、有价值,优先只读、幂等或完全可逆行为。典型包括存活与就绪、部署版本或 API 契约版本、公共配置与发现文档及签名密钥、匿名认证与授权边界、登录/当前身份/会话 cookie/登出、一两条关键只读旅程。排除普通业务资源的创建或变更;仅在确需、获授权、使用运行器自有命名空间、清理可靠且遗弃状态有恢复路径时才包含写入。默认子集不得包含第三方身份提供商、邮件短信、支付等外部计费或用户可见副作用。
  • 保护身份与密钥:使用专用最小权限测试身份,在 PVT 之外提供并验证账号(除非安全创建账号本身就是被测行为)。断言认证响应识别预期账号,避免陈旧会话假通过。凭据从密钥管理器或忽略的本地环境文件加载,缺失时应显式失败而非打开浏览器。密钥不得进入源码、提交夹具、命令行参数、URL、日志、截图、追踪或普通失败消息。生产机器人防护需人工挑战时,由操作者在真实可见浏览器完成,不得绕过、求解或削弱 CAPTCHA,仅复用当前运行的短期会话。
  • 验证部署:要求显式远程目标,拒绝模糊、本地或不安全源,除非策略允许。必须独立要求期望发布或契约版本,仅检查版本字段存在无法发现旧部署。断言应来自受支持的产品与协议契约,验证稳定字段和不变量而非时间戳或生成文本,包含成功接线和至少一个有意义访问边界。无重试、固定休眠或宽泛捕获来制造通过,设置明确截止时间,失败时报告操作与安全元数据而不暴露凭据或响应体。
  • 负责清理与证据:运行器拥有其创建的每个会话、临时文件、浏览器配置、令牌和现场资源,成功与失败均注册清理,撤销临时会话或令牌并验证重要撤销。生产证据按敏感处理,优先简洁原生报告,禁用可捕获凭据或私有数据的截图、追踪、视频和冗长 HTTP 体,否则持久化前脱敏并设短期保留期。任何失败断言、不完整设置、失败清理不变量或缺失期望测试均返回非零结果,绝不可将部分运行转为成功。
  • 触发方式:操作者手动执行足够时提供手动命令,不因自动化而要求 CI;当发布策略使 PVT 成为晋升门槛时,在部署后运行同一声明命令并以其结果阻断晋升或回滚决策;周期性请求属于合成监控,而非无限运行的 PVT。
  • PVT 完成门槛:出现重复测试体、将 PVT 重分类为证明层、生产安全选择隐式宽泛破坏性、目标版本身份权限副作用模糊、密钥或私有数据可进入日志产物、绕过 CAPTCHA 或借用无关会话、清理未验证、部分运行可报成功、触发方式与运营目的不符时,应拒绝该 PVT 设计或实现。

使用方式:通过 https://www.skills.sh/saltbo/agentic-engineering-skills/bep-production-verification 获取该技能。

限制:资料未提供具体安装命令、收费价格、平台依赖与代码示例;以上为约束性指导,非可直接运行的工具。