SuperAPI AI 工具集

ab-test-setup

营销与增长

查看项目

更新于 10-15 14:57

技能介绍

用途

该技能面向实验与 A/B 测试场景,目标是帮助用户设计能够产生统计有效、可执行结果的测试。当用户想要规划、设计或实施 A/B 测试或实验,或提到“A/B test”“split test”“experiment”等关键词时适用。

主要能力

  • 假设框架:要求测试从假设出发,而非“看看会发生什么”。提供结构化模板:因为[观察/数据],我们相信[改动]会对[受众]产生[预期结果],当[指标]达到时即可确认。
  • 测试类型:涵盖 A/B(两个版本、单一改动,中等流量)、A/B/n(多变体,更高流量)、MVT(多改动组合,极高流量)、Split URL(不同 URL 对应变体,中等流量)。
  • 样本量参考:提供基线转化率与不同提升幅度(10%、20%、50%)对应的每变体所需流量速查表,并列出 Evan Miller、Optimizely 计算器;详细样本量表和时长计算见 references/sample-size-guide.md。
  • 指标选择:区分主指标(与假设直接相关、用于判定测试的单一指标)、次指标(辅助解释主指标)、护栏指标(不应变差、显著负面时停止测试的指标)。
  • 变体设计:可变动范围包括标题/文案、视觉设计、CTA、内容;最佳实践为单一且有意义的改动、足够显著、忠于假设。
  • 流量分配:标准 50/50、保守 90/10 或 80/20、渐进式从小流量增加;需考虑用户回访一致性、跨时段均衡曝光。
  • 实现方式:客户端(JavaScript 在加载后修改页面,实现快但可能闪烁,工具如 PostHog、Optimizely、VWO)与服务端(渲染前确定变体,无闪烁但需开发工作,工具如 PostHog、LaunchDarkly、Split)。
  • 运行与监控:上线前检查清单(假设已记录、主指标已定义、样本量已计算、变体实现正确、追踪已验证、所有变体已完成 QA);测试期间应监控技术问题、检查分段质量、记录外部因素,不应偷看结果提前停止、不应中途修改变体、不应引入新来源流量。
  • 结果分析:95% 置信度对应 p 值 < 0.05;分析清单包括是否达到样本量、是否统计显著、效应量是否有意义、次指标是否一致、护栏指标是否有问题、分段差异(移动端 vs 桌面端、新访客 vs 回访);结果解读涵盖显著胜出、显著落败、无显著差异、信号混杂四种情形。
  • 文档记录:每个测试需记录假设、变体(含截图)、结果(样本、指标、显著性)、决策与学习;模板见 references/test-templates.md。
  • 常见错误:测试设计(改动太小无法检测、测试太多无法隔离、无清晰假设)、执行(提前停止、中途修改、未检查实现)、分析(忽略置信区间、挑选分段、过度解读无结论结果)。

使用方式

该技能自包含其 frontmatter 范围内的指令、参考、脚本和资产。使用前先读取引导上下文:strategy/brand.md(品牌、受众、报价、渠道、工具、约束和指标)、about/me.md(个人语气)、content/ideas.md 和 content/calendar.md(内容规划);仅在回退时使用旧版产品营销上下文文件。生成的草稿保存到 content/<platform>/drafts/YYYY-MM-DD_short-topic-slug.md,持久学习结果回写到 strategy/brand.md、about/me.md 或 content/ideas.md。仅询问缺失的任务特定输入,超出范围时交接给相邻技能,最终返回可执行的产物、决策、计划、草稿或诊断。

任务特定问题包括:当前转化率是多少?该页面流量多少?考虑什么改动及原因?值得检测的最小提升是多少?有哪些测试工具?此前是否测试过该区域?

适用场景

适用于营销、转化率优化和产品实验场景,例如定价页测试(主指标为方案选择率,次指标为页面停留时间、方案分布,护栏指标为支持工单、退款率)。相关技能包括 conversion-rate-optimization(基于 CRO 原则生成测试想法)、data-and-funnel-analytics(设置测试测量)、copywriting-core(创建变体文案)。

限制

资料未提供该技能的具体收费、价格、平台支持范围或效果保证信息。样本量速查表仅覆盖部分基线转化率与提升幅度组合,其他情况需使用外部计算器或参考文件。