SuperAPI AI 工具集

quality-metrics-design

测试与质量

查看项目

更新于 10-16 01:34

技能介绍

用途:围绕质量指标的定义、计算口径、数据源、时效与反操纵边界开展有证据的分析、设计或验证准备;也可评审现有方案、结果或指标,形成可执行的改进项。输入不完整时,仍可交付带假设、信息缺口和人工决策边界的受限初版。

主要能力:先做输入审计,提取范围、环境、版本、时间窗口、约束、成功标准与可用证据,重点检查指标定义、分子分母、数据源、刷新时效和解释限制;区分已确认事实、证据支持的推断、候选建议和人工决策,并按风险与证据强度排序,把高风险项转为前置条件、步骤、预期结果、所需证据与验证方法。领域上强调建立指标字典(决策目的、统计单位、分子分母、时窗与时区、筛选去重、缺失处理、版本、来源与 lineage),区分缺陷实体与状态事件、首次执行与重跑、关闭与重开,按项目唯一键与事件时间聚合,避免重开被计为新缺陷或重试冲高通过率;复算样本并核对分母覆盖与延迟,缺记录保持未知、不补0。

使用方式:每次执行必须先阅读并遵循 prompts/quality-metrics-design.md;默认输出 Markdown,按领域风险、证据状态、优先级与边界组织,用户要求表格、CSV、JSON 或工单格式时保留相同字段、证据与决策边界,进入自动化前先确认 schema、枚举值、必填项与证据来源。校准领域结果或证据缺口时可读取 references/domain-decision-example.md;需要评测时读取 evals/eval.yaml 及 evals/cases/ 下匹配用例;仅在目录实际存在且任务需要时才读取 references/、examples/、scripts/ 或 output-formats.md。

适用场景:质量指标定义与评审、跨项目指标比较前对齐定义与窗口、为自动化流程准备结构化输出。

限制:只分析指标定义、口径、数据源、时效与反操纵边界,不替代业务负责人或人工的风险接受、例外批准和发布决定;不编造系统行为、字段、指标、阈值、数据、根因或通过结论;静态设计、计划、文件存在或 dry-run 不能升级为真实执行证明;证据不足时使用待确认、blocked、unassessed 或 NOT_SCORED 并给出最小验证方法;涉及生产、隐私或安全时采用最小权限、脱敏、mock、dry-run 或隔离环境。