用途:该技能面向实验与 A/B 测试,帮助用户设计能产生统计有效、可执行结果的测试,并支持建立持续的增长实验计划。若存在 .agents/product-marketing-context.md(或旧版 .claude/product-marketing-context.md),会先读取该上下文以减少重复提问。
主要能力:设计前会先了解测试背景(想改进什么、考虑什么变更)、当前状态(基线转化率、流量规模)和约束(技术复杂度、时间线、可用工具)。核心原则包括:以假设起步、单变量测试、统计严谨(预先确定样本量、不提前偷看结果、坚持方法论)、衡量关键指标。提供假设框架:因为[观察/数据],我们认为[变更]会对[受众]产生[预期结果],当[指标]达到时会知道成立。
测试类型与指标:涉及 A/B、A/B/n、MVT、Split URL。指标分主指标(与假设直接相关、用于判定结果)、次指标(辅助解释)、护栏指标(不应变差,显著为负应停止)。给出不同基线与提升幅度下的样本量速查表,并推荐 Evan Miller、Optimizely 计算器。
变体与流量:可变化标题/文案、视觉设计、CTA、内容。流量分配含 50/50、保守型 90/10 或 80/20、逐步加量。实现分客户端(JavaScript 修改页面,易有闪烁,工具如 PostHog、Optimizely、VWO)与服务端(渲染前确定,无闪烁,需开发,工具如 PostHog、LaunchDarkly、Split)。
运行与分析:提供上线前清单、测试期间该做与避免事项(不要偷看提前停止、不要中途修改、不要引入新流量)。强调“偷看问题”会导致假阳性和错误决策。分析检查是否达样本量、统计显著性(95% 置信度、p<0.05)、效应量是否有意义、次指标是否一致、护栏是否有问题、细分差异。结果解释分显著赢家、显著输家、无显著差异、信号混杂。
增长计划:包含实验循环(生成假设、ICE 打分、设计运行、分析、沉淀打法、再生成假设)、假设来源(分析、客户研究、竞品、工单、热图/录屏、过往实验)、ICE 优先级公式(Impact + Confidence + Ease)/3、实验速度指标、实验打法模板与周/双周/月/季度节奏,并列出常见错误。
限制与价格:资料未提供具体价格、平台限制或效果保证;相关 references 文件(sample-size-guide.md、test-templates.md)内容未给出,需自行参考。