SuperAPI AI 工具集

pm-abtest

测试与质量

查看项目

更新于 10-16 06:22

技能介绍

用途:pm-abtest 用于设计产品 A/B 测试方案,支持验证产品优化效果、进行数据驱动的实验决策、评估功能改动的因果影响。不适用于改动无法量化测量、样本量不足或不需要严格统计验证的场景。

主要能力:引导定义测试假设,设计对照组与实验组、核心/辅助/护栏指标,计算样本量与测试周期,规划数据收集与分析框架,并输出 A/B 测试方案文档。方案包含测试概览、假设、实验设计、样本量与周期、分析计划、决策标准等部分。

使用方式:启动时检查 docs/02-方案设计/数据指标体系.md 是否存在。流程按步骤进行:定义测试假设、设计实验方案、样本量计算、设定测试周期、数据收集与分析框架、输出方案、完成提示。交互时若环境支持 AskUserQuestion 则使用,否则用普通聊天消息提出同样问题;一次只问一个问题,提问后停止并等待用户回答,不得在回答前生成文档或写入 docs。保存产物前需确认当前产品、精确输出路径及覆盖/追加选择,确认后仅在实际 Write 前创建输出文件父目录。输出路径为 docs/03-增长迭代/A-B测试/测试方案-{测试名称}.md。

适用场景:需要严格统计验证的产品优化实验,如注册转化率、点击率等指标测试。

限制:一次只测试一个变量;测试期间不要对实验功能做额外改动;警惕新奇效应;统计显著性不等于业务显著性。无法精确计算样本量时可用经验法则:电商/工具产品每组至少 1000 个用户,内容/社交产品每组至少 5000 个用户,测试周期至少 7 天。V2 并行架构会并发派发统计方案设计、样本量计算、埋点方案设计、风险分析四个 Subagent。具体安装命令与完整安装说明暂未提供。