SuperAPI AI 工具集

ab-test-planner

测试与质量

查看项目

更新于 10-16 01:17

技能介绍

用途:为产品功能、UI 改动、文案、定价与引导步骤设计可产生可信结论的 A/B 测试,而非仅看方向性信号。

主要能力:生成完整测试计划,含方向性假设、单一主指标与最多两个护栏指标、最小可检测效应(MDE)、样本量估算、测试时长、流量分配、排除人群、回滚触发条件,以及 ship/iterate/reject/inconclusive 四类结果解读指南。提供假设模板与常见场景的样本量参考表,并提示用 Evan Miller 计算器或 Statsig 获取精确值。

使用方式:需提供被测对象、假设、主指标、基线率与 MDE、每日合格用户数。缺失项会以“(假设,待确认)”标注并在末尾列出;仅当核心主题缺失时才先提问。时长按所需样本÷(日流量×曝光比例)估算,最短 2 周、最长 4 周;流量过低(如低于 1000 用户/天)时建议改用定性方法。

限制与注意:不建议在达到计划样本量前查看结果,以防 p 值操纵;多变量测试需处理多重比较问题(Bonferroni 校正或贝叶斯方法);不得无护栏指标、不得在单一变体中测试多个独立改动、不得用点击或停留时长等代理指标替代收入或留存目标。附带参考文件与模板,具体内容暂未提供。