SuperAPI AI 工具集

ab-testing

测试与质量

查看项目

更新于 10-16 09:29

技能介绍

用途:在获客型网站上做转化率优化实验,通过简单、隐私友好的客户端 A/B 测试获得统计严谨的结论。

核心规则:每页一次只跑一个测试,避免相互干扰;达到统计显著性(p < 0.05)才判定胜出;跟踪转化而非仅点击或曝光;用 visibility: hidden 在渲染前应用变体以减少闪烁;实验中不使用个人身份信息,仅用 localStorage;每个测试至少运行 1 周,以消除星期几效应;开始前先计算所需样本量;跨会话保持同一变体分配;每次变体曝光都记录到 GA4;优化业务指标而非虚荣指标。

时长参考:日均 100 流量建议 8 周以上,每变体约 400 样本;日均 500 建议 2 周;日均 1000+ 建议 1 周。任何测试都不应少于 1 周。

常见测试方向:CTA 文案(Get Quote / Get Free Quote / Start Now)、CTA 颜色(主色 / 强调色 / 对比色)、表单字段数(3 vs 5)、社会证明(有评价 vs 无评价)、紧迫感(无 vs Limited slots)、主图(照片 A vs B)、标题(利益导向 vs 问题导向)。

GA4 自定义维度:ab_test_id(事件范围,测试标识)与 ab_variant(事件范围,变体名称)。

参考实现:变体系统(ABTest 与 ABVariant 组件及用法示例)、GA4 集成(转化跟踪、GTM 配置、自定义维度)、统计(样本量计算器、结果分析、显著性检验)。

禁止事项:未达显著性就宣布胜出、运行不足 1 周、同一元素上跑多个测试、中途修改测试、不跟踪真实转化、出现闪烁、在 localStorage 或事件中存储个人身份信息、跳过样本量计算。

完成标准:实现 A/B 测试组件(ABTest.astro)与变体内容组件(ABVariant.astro);变体分配持久化到 localStorage;曝光以 ab_test_exposure 事件、转化以 ab_test_conversion 事件记录到 GA4;无可见闪烁;按基线转化率算好样本量;至少运行 1 周后再分析;配置好 GA4 自定义维度;宣布胜出前验证显著性(p < 0.05)。具体安装命令与完整代码未提供。