SuperAPI AI 工具集

quality-gate

测试与质量

查看项目

更新于 10-16 05:11

技能介绍

用途

Quality Gate 是一个验证与确认(V&V)编排技能,定位为“V 模型右侧”的验证负责人。它的目标是把一个代码变更或 PR 转化为基于证据的 go/no-go 决策,并给出清晰的后续行动和可追溯到需求的记录。

核心原则

  • 证据优于感觉:无法展示的东西不算数。
  • 基于风险的门禁:风险越高的变更,门禁越严格。
  • 可追溯性:范围内每条需求都映射到验证证据。
  • 可操作输出:每条发现都包含“下一步做什么”。
  • 不扩大范围:只评估变更,不重新设计产品。
  • 本质主义检查:验证关键少数对齐和消除纪律。

输入要求

如果缺失,需要询问:变更上下文(issue/PR 链接、预期行为、“完成”的定义);范围内需求(ID 或链接)和非功能约束(SLO、预算);本地/CI 如何运行检查(测试命令、构建配置、环境变量);变更文件/差异(或待审查路径)。

门禁选择规则

始终运行:代码审查、静态分析(ubs-scanner,使用 UBS 进行自动化 bug 检测)、需求追溯检查、基线测试状态。 条件运行:安全审计(涉及不可信输入、认证授权、加密、密钥、网络、反序列化、文件系统、沙箱或不安全代码);性能门禁(涉及热路径、算法、分配、并发、数据库查询、序列化或延迟/吞吐预算);验收/UAT(涉及用户可见行为、工作流或 API 契约变化);视觉回归(涉及 UI 布局、样式、组件或渲染变化)。不确定时默认“运行该门禁”并记录假设。

本质主义审查

每次质量门禁运行都包含本质主义检查。在运行专家检查前评估:此变更是否属于关键少数?能否更简单(寻找过度工程)?消除了什么(验证范围纪律)?检查项包括关键少数、范围纪律、简洁性、消除记录。红旗信号包括:包含非必要功能、实现过程中需要英雄式努力、超过 5 个主要变更且无正当理由、设计缺少消除文档、摩擦日志显示系统性问题。

ZDP 质量门禁(可选)

当该技能在 ZDP(Zestic AI Development Process)生命周期中以特定门禁类型被调用时,除标准流程外还使用对应清单。独立使用时此节可忽略。每个清单项可评估认知状态:Known/Sufficient、Partially Known、Contested、Underdetermined、Out-of-Scope。Contested 或 Underdetermined 项触发升级而非强制通过/失败。可用 perspective-investigation 技能进行治理级评估。

PFA(问题框架协议)— 发现退出

战略上下文和业务驱动已记录;干系人地图完整;问题假设已陈述且可测试;执行了高层风险扫描;约束和假设已记录。

LCO(生命周期目标)— 定义退出

产品愿景与价值假设已批准;人物画像和 JTBD 已验证;端到端业务场景已起草;领域模型已基线化;UX 原型已审查;预算和时间线估算已起草;干系人签字已获得。

LCA(生命周期评估)— 设计退出

AI 与系统设计简报已定稿;软件与 ML 架构文档已批准;UX 流程与交互契约完成;数据流与事件模型已发布;UAT 测试策略已定稿;负责任 AI 风险登记册已填充;CM 规范已产出(如需正式配置治理);质量标准已定义;架构师和干系人签字已获得。

IOC(初始作战能力)— 开发退出

切片已部署到 staging;所有关键测试通过;监控已配置;提示与智能体规范已记录;负责任 AI 验证通过;安全审查通过。

FOC(完全作战能力)— 部署退出

所有关键用例在生产环境上线;无障碍审计通过;发布说明已发布;监控和告警激活;事件运行手册已创建;部署后审查已完成。

CLR(持续学习发布)— 驱动门禁

重新训练的模型满足 KPI 阈值;偏见和可用性测试通过;漂移报告已审查;决策日志已更新(迭代/重训/退役);部署已批准。

工作流程

  1. 接收 + 风险画像:总结范围(什么变了、在哪里、影响谁);分类风险(安全/数据完整性/性能/UX/运维);识别范围内需求(显式或推断,标注推断);本质主义过滤:这个变更是否应该存在?挑战非必要工作。
  2. 运行专家检查:使用/协调相关专家技能;优先运行项目实际命令,否则提出具体命令;记录证据(命令 + 关键输出)。
  3. 综合:跨检查去重发现;将发现转化为优先级行动列表;决定门禁状态:Pass、Pass with Follow-ups 或 Fail。
  4. 产出质量门禁报告:使用模板;链接需求 → 测试 → 证据;清楚标记未验证的内容(及原因)。

报告模板结构

报告包含:决策(状态、最多 5 个主要风险、本质主义状态)、范围(变更区域、用户影响、范围内需求、超出范围)、验证结果(代码审查、静态分析 UBS、安全、性能、需求追溯、验收 UAT、视觉回归)、后续行动(必须修复的阻塞项、应修复的非阻塞项)、证据包(日志、报告、命令、截图)。静态分析示例命令:ubs scan <scope> --severity=high,critical。

约束

  • 不要发明需求;标注任何推断项并请求确认。
  • 除非实际运行过(或有日志),不要声称测试/审计已运行。
  • 不要批准有缺失阻塞项的变更;提出具体的补救计划。