SuperAPI AI 工具集

ab-testing

测试与质量

查看项目

更新于 10-16 00:24

技能介绍

用途:该技能面向实验与 A/B 测试场景,用于设计能得出统计有效、可执行结论的测试,并支持搭建持续性的增长实验体系。开始前若存在 .agents/product-marketing.md(或 .claude/product-marketing.md 等旧命名文件),应先读取以复用产品营销背景,再补问未覆盖的上下文。

主要能力:核心原则包括先立假设、单变量测试、统计严谨(预先确定样本量、不提前偷看并早停)、只衡量关键指标。提供假设框架(因为某观察/数据,我们相信某改动会对某人群产生某结果,并以某指标验证)、测试类型(A/B、A/B/n、MVT、Split URL)、基于基线与提升幅度的样本量速查表,以及主指标、次指标、护栏指标的区分方法。还覆盖变体设计(文案、视觉、CTA、内容)、流量分配策略(50/50、保守比例、渐进放量)、客户端与服务端实现方式及对应工具,并强调提前偷看结果会导致假阳性。

使用方式:按初始评估、假设、设计变体、预估样本量、上线前检查清单、运行监控、统计分析、记录归档的流程推进。增长实验计划部分给出完整循环:从数据、客户研究、竞品、工单、热图等多来源生成假设,用 ICE(影响、信心、易度)打分排序,设计与运行测试,严谨分析,将胜出结论沉淀为可复用模式,再产生新假设。并建议周度、双周、月度、季度的实验节奏与实验速度指标(每月 4-8 个实验、20-30% 胜率、平均 2-4 周、20+ 待办假设等)。

适用场景:转化率优化、定价页等页面实验、增长实验计划搭建、实验结果解读与归档。限制:未提供具体收费、价格、平台或效果保证;样本量速查表为简化参考,详细表格与统计口径需查阅技能内附参考文件。