一、用途 该技能面向需要设计或实施 A/B 测试与实验的用户，也适用于希望建立增长实验体系的团队。它的目标不是“随便跑个测试看看”，而是帮助设计出统计上有效、能指导决策的实验。
二、主要能力
- 初始评估：在设计测试前了解测试背景（想改进什么、考虑什么改动）、当前状态（基线转化率、流量规模）和约束条件（技术复杂度、时间线、可用工具）。若存在 .agents/product-marketing.md（或 .claude/product-marketing.md、旧版 product-marketing-context.md）会先读取该上下文。
- 核心原则：从假设开始；每次只测一个变量；保持统计严谨（预先确定样本量、不偷看早停）；只衡量关键指标（与业务价值挂钩的主指标、提供背景的次指标、防止变差的护栏指标）。
- 假设框架：“因为[观察/数据]，我们相信[改动]会为[受众]带来[预期结果]。当[指标]达到时会知道这是真的。”
- 测试类型：A/B（两个版本、单变量，中等流量）、A/B/n（多变体，流量更高）、MVT（多变量组合，流量非常高）、Split URL（不同 URL 变体，中等流量）。
- 样本量与时长：提供按基线转化率和目标提升幅度（10%、20%、50%）对照的样本量速查表，例如基线 5% 时，检测 10% 提升约需 27k/变体，检测 50% 提升约需 1.2k/变体；并给出 Evan Miller、Optimizely 计算器及详细样本量表参考。
- 指标选择：主指标（与假设直接相关、用于判定结果）、次指标（解释改动为何/如何起效）、护栏指标（不应变坏的东西，显著负向即停）。示例：定价页测试主指标为方案选择率，次指标为停留时长与方案分布，护栏为客服工单和退款率。
- 变体设计：可改动标题与文案、视觉设计、CTA、内容（信息量、顺序、社会证据）。最佳实践是单一且有意义、足够大胆、忠于假设。
- 流量分配：标准 50/50（默认）、保守 90/10 或 80/20（限制糟糕变体风险）、渐进式（先小后大，降低技术风险）；注意用户回访一致性、跨时段均衡曝光。
- 实现方式：客户端（JavaScript 在页面加载后修改，快速但可能闪烁，工具如 PostHog、Optimizely、VWO）；服务端（渲染前确定，无闪烁但需开发，工具如 PostHog、LaunchDarkly、Split）。
- 运行与检查：上线前检查清单包括假设已记录、主指标已定义、样本量已算、变体实现正确、追踪已验证、所有变体已完成 QA。测试期间要监控技术问题、检查分段质量、记录外部因素；避免偷看结果早停、修改变体、引入新流量来源。技能专门说明“偷看问题”会导致假阳性和错误决策。
- 分析结果：对预先指定的固定时间窗测试，将 p 值与所选显著性水平（常用 α=0.05）比较；p 值表示数据与零模型的不相容程度，不是结果随机的概率，也不是变体再次获胜的概率。95% 置信区间来自具备 95% 覆盖率的程序，不是该区间包含真实效应的 95% 后验概率。应同时报告区间、效应量和 p 值；不要把各平台的“置信度”分数当作固定时间窗 p 值。分析检查涵盖是否达到样本量、是否显著、效应量是否有意义、次指标是否一致、护栏是否恶化、分段差异（移动端 vs 桌面端、新访客 vs 回访者）。结果解读区分显著胜出（实施前核对效应量、不确定性和护栏）、显著落败（保留对照组、探究原因）、无显著差异（报告效应区间，按计划的停止规则执行，不将已结束的固定时间窗测试延长至显著）、信号混杂（检查数据质量和计划指标，把非计划分段发现标为探索性并另测确认）。
- 文档记录：每次测试记录假设、变体（含截图）、结果（样本、指标、显著性）、决策与经验，并提供模板参考。
- 增长实验项目：把实验当作持续引擎。实验循环为生成假设、用 ICE 评分排优先级、设计并运行、统计分析、把胜出者提升为 playbook、从经验中生成新假设，循环往复。假设来源包括分析数据、客户研究、竞品分析、客服工单、热图与录屏、过往实验。ICE 按 Impact（影响力）、Confidence（信心，基于数据而非直觉）、Ease（易行度）各打 1-10 分，ICE 得分 =（I+C+E）/3，优先做高分实验并每月重评。实验速度指标：多数团队每月 4-8 个实验、胜率成熟项目常见 20-30%、平均测试时长 2-4 周、待办 20+ 个假设、累计提升。
- Playbook：测试胜出后不只实施，还要记录模式，字段包括实验名、日期、假设、样本量、结果（胜/负/无定论，含主指标变化百分比、95% CI、p 值）、护栏结果、分段差异、成败原因、可复用洞察、适用位置、状态。长期形成产品与受众专属的增长模式库。
- 实验节奏：每周 30 分钟检查运行中实验的技术问题和护栏指标（不提前判定胜出，但护栏显著负向即停）；每两周总结完成实验、分析结果、更新 playbook、从待办启动下一个实验；每月 1 小时回顾实验速度、胜率、累计提升，补充假设待办并用 ICE 重新排序；每季度审计 playbook，找出尚未规模化应用的胜出模式和漏斗中测试不足的环节。
- 常见错误：测试设计上改动太小（无法检测）、一次测太多（无法归因）、无清晰假设；执行上提前停止、测试中途改动、不检查实现；分析上忽视置信区间、挑拣分段、过度解读无定论结果。
三、使用方式 该技能以任务形式调用，在用户想规划、设计或实施 A/B 测试或实验，或构建增长实验项目时触发。技能会先读取可能存在的产品营销上下文文件，然后围绕基线转化率、页面流量、考虑中的改动及原因、值得检测的最小改进、可用测试工具、此前是否测过该区域等问题收集信息。
四、适用场景 适用于营销与增长场景中的落地页、定价页、CTA、标题文案、视觉设计、内容编排等改动验证，也适用于把零散测试组织成持续实验项目并沉淀 playbook。
五、限制 具体价格、收费模式、平台支持情况暂未提供；部分实现细节依赖团队既有工具与开发能力。该技能不是自动化测试执行工具，统计结论仍需结合业务判断。