SuperAPI AI 工具集

ab-test-designer

数据与分析

查看项目

更新于 10-16 03:44

技能介绍

用途:该技能面向产品管理场景,帮助用户设计严谨的 A/B 测试实验,适用于测试新功能或设计变体、在全面上线前验证假设、优化转化率或关键指标、在多种设计方案间做选择,以及需要基于数据对变更做决策时。

主要能力:围绕一次变更输出结构化测试方案,包括假设(现状与指标、拟议变更、预期影响及原因)、测试设计(主要成功指标、次要指标、所需样本量、测试时长、纳入或排除的用户分群)、变体(对照组 A 为当前体验,变体 B 为新体验,可含 C、D 等额外变体)、风险与控制(潜在负面影响、护栏指标、提前停止测试的条件)、分析计划(统计显著性阈值、边界情况处理、决策标准)。

使用方式:以提示形式描述要测试的功能或变更,并补充产品、功能或问题的背景信息,相关数据、研究或约束为可选但建议提供,同时说明希望达成的目标。技能会按上述结构生成测试设计。

最佳实践:从清晰、可证伪的假设开始;只选一个主要指标以避免多重比较问题;根据预期效应量预先计算样本量;按完整周周期运行以消除星期几效应;设定最短测试时长(通常 1–2 周);在运行前定义成功标准;监控护栏指标(收入、错误、性能)。

限制:资料未提供具体统计公式、样本量计算工具、平台集成或自动化执行能力;实际样本量、时长与显著性阈值需结合自身数据确定。