用途 用于设计和分析 A/B 测试，覆盖产品实验、功能验证、转化率优化等场景，包括新功能效果验证、UI/UX 改版对比、定价策略测试、推荐算法对比和落地页优化。
核心原则 先有假设再实验，假设形式为“改变 X 会让 Y 提升 Z%”；样本量要够，否则会把噪音当信号；至少跑够 1~2 个完整业务周期；关注护栏指标，主指标提升但其他恶化则不可上线；统计显著不等于业务显著，p < 0.05 但效果 0.01% 无意义。
样本量计算 需考虑基线转化率（p1）、最小检测效应（MDE）、显著性水平（α = 0.05）和统计功效（1-β = 0.8）。可用工具包括 Evan Miller 样本量计算器、statsmodels（Python）和 power.prop.test（R）。
使用方式 工作流程为：明确假设和目标；选择主指标与护栏指标；计算样本量；确定分流方式和时长；启动实验；等待且不提前偷看；分析结果；做决策（全量、放弃或迭代）。配套模板为 templates/ab-test-template.md，用于记录 A/B 测试设计、结果与结论。
质量自检 假设明确可证伪；完成样本量计算；分流无偏（hash）；跑够时长；不提前偷看；查看护栏指标；结论可行动。
常见坑 样本量不够就下结论会得到噪音；提前偷看 p-value 会使其膨胀；只看主指标会忽略护栏恶化；时长不够会遇到周期效应；分流有偏会造成新用户与老用户不均。
协作关系 上游 metric-design 提供指标选择，上游 product-manager 提供假设来源，下游 analysis-report 将结果纳入报告。
限制 资料未提供具体价格、平台支持范围或完整实现细节。