用途:在编写任何测试代码前,为 A/B 测试建立结构化流程,确保每次测试有效、严谨且安全,防止偷看结果、统计功效不足和无效假设。
主要能力:提供假设质量检查、假设锁定硬门、假设与有效性检查、测试类型选择、指标定义、样本量与时长估算、执行准备度硬停止,以及结果分析纪律和文档记录要求。
必要用法:先确认用户目标、导入工作流范围和适用性;阅读概览与来源文件后再加载支持文件;只加载会改变结果的参考、示例、提示或脚本;执行上游工作流并保持来源边界清晰。示例:使用 @ab-test-setup 处理 <task>,从复制的工作流开始,只加载会改变结果的文件,并在答案中保持来源可见。
适用场景:用户需要设置 A/B 测试,且请求明确匹配结构化指南意图时。
关键原则:一次测试一个假设、一个主要指标、启动前提交、禁止偷看、学习优先于获胜、统计严谨优先。
限制:仅当任务明确匹配上述范围时使用;输出不能替代特定环境的验证、测试或专家评审;若缺少必要输入、权限、安全边界或成功标准,应停止并请求澄清。统计显著性判断需与业务判断分开;护栏失败时即使主要指标获胜也不应发布。