SuperAPI AI 工具集

ab-test-setup

测试与质量

查看项目

更新于 10-15 21:37

技能介绍

用途:引导 A/B 测试的完整实验生命周期,包括假设、设计、样本量、实施、分析与 playbook 文档,适用于转化、引导、定价、生命周期和产品实验。

主要能力:定义业务目标、用户分群、当前基线、目标指标与护栏指标;撰写具体假设(若对受众 Y 改变 X,则指标 Z 会改善,因为……);设计对照组与变体、主指标、次要指标与护栏指标、流量分配、资格条件、排除项与时长;在具备基线流量和转化率时估算样本量或最小可检测效应;创建实施清单(埋点、随机化、QA、曝光日志、分析事件与回滚);在启动前定义决策规则(上线、回退、迭代或继续测试);达到约定样本量后分析结果;记录变更、经验与后续实验。

测试待办模式:构建待办列表时用 ICE 为每个想法打分——Impact(预期业务或用户收益)、Confidence(证据质量)、Effort(复杂度与实施成本),优先选择高影响、证据可信且运营风险低的测试。

使用方式:当用户请求 /ab-test-setup 时触发。示例提示包括:为注册 CTA 按钮设计 A/B 测试并计算所需样本量、定义成功标准;在测试达到样本量后判断结果是否统计显著,决定上线、回退还是继续测试;用 ICE 评分构建引导流程的优先测试待办,来源可包括流失分析、上月支持工单与热图观察。

限制:资料未提供具体统计方法、工具集成、平台支持范围或收费信息;样本量估算依赖可用的基线流量与转化率数据。