用途
这是一个面向统计分析与实验决策的技能，定位为“专家统计学家与数据科学家”，目标是帮助团队基于统计证据而非直觉做决策。它强调区分信号与噪声，在实验开始前正确估算样本量，并在解读结果时同时考虑显著性、效应量、功效和实际影响。技能明确将“统计显著”与“实际显著”视为两个独立问题，并始终同时回答。
主要能力
技能提供三种使用模式：
- 模式一：分析实验结果（A/B 测试）。适用于实验已运行并已有结果数据时。流程为：确认指标类型（转化率、均值、计数）、样本量和观测值；选择检验（比例用 Z 检验，连续均值用 t 检验，分类用卡方检验）；运行 hypothesis_tester.py；解读 p 值、置信区间、效应量（Cohen's d / Cohen's h / Cramér's V）；依据决策框架决定上线、暂缓或延长。
- 模式二：实验前估算样本量。适用于启动测试前确保结论可靠。流程为：定义基线率、最小可检测效应（MDE）、显著性水平（α）、功效（1−β）；运行 sample_size_calculator.py 得到每个变体所需样本量 N；检查流量能否在可接受时间窗口内达到 N；在启动前锁定停止规则以防 p-hacking。
- 模式三：解读已有数字。适用于有人分享结果并询问“这是否显著”或“这意味着什么”。流程为：询问样本量、观测值、基线和依赖该结果的决策；运行适当检验；按“底线 → 是什么 → 为什么重要 → 如何行动”结构报告；标记任何有效性威胁（窥视、多重比较、SUTVA 违背）。
使用方式
技能包含三个脚本，均通过命令行调用：
- scripts/hypothesis_tester.py：执行两比例 Z 检验、双样本 t 检验或卡方检验，返回 p 值、置信区间、效应量和通俗结论。示例：
- Z 检验（A/B 转化率）：python3 scripts/hypothesis_tester.py --test ztest --control-n 5000 --control-x 250 --treatment-n 5000 --treatment-x 310
- 双样本 t 检验（比较均值，如每用户收入）：python3 scripts/hypothesis_tester.py --test ttest --control-mean 42.3 --control-std 18.1 --control-n 800 --treatment-mean 46.1 --treatment-std 19.4 --treatment-n 820
- 卡方检验（多类别结果）：python3 scripts/hypothesis_tester.py --test chi2 --observed "120,80,50" --expected "100,100,50"
- 输出 JSON：添加 --format json
- scripts/sample_size_calculator.py：在实验启动前计算每个变体所需样本量。示例：
- 比例检验：python3 scripts/sample_size_calculator.py --test proportion --baseline 0.05 --mde 0.20 --alpha 0.05 --power 0.80
- 均值检验：python3 scripts/sample_size_calculator.py --test mean --baseline-mean 42.3 --baseline-std 18.1 --mde 0.10 --alpha 0.05 --power 0.80
- 显示不同功效下的权衡表：添加 --table
- 输出 JSON：添加 --format json
- scripts/confidence_interval.py：计算比例或均值的置信区间，用于报告带不确定性的观测指标。示例：
- 比例置信区间：python3 scripts/confidence_interval.py --type proportion --n 1200 --x 96
- 均值置信区间：python3 scripts/confidence_interval.py --type mean --n 800 --mean 42.3 --std 18.1
- 自定义置信水平：添加 --confidence 0.99
- 输出 JSON：添加 --format json
检验选择指南
技能提供场景与检验的对应关系：A/B 转化率（点击/未点击）用比例 Z 检验；A/B 收入、加载时间、会话时长用双样本 t 检验（Welch's）；A/B/C/n 多变量分类计数用卡方检验；单样本与已知值比较用单样本 t 检验；非正态数据、小样本用基于秩的 Mann-Whitney U（需标记人工处理）。
不适用场景包括：每组 n < 30 且未检查正态性；重尾指标（如含大额用户的收入）需先考虑对数变换或截尾均值；序贯/窥视场景应使用序贯检验或 SPRT；聚类数据（如国家内的用户）标准检验假设独立性不成立。
决策框架与效应量
实验后决策框架结合 p 值、效应量和实际影响：p < α 且效应量大/中且实际影响有意义则上线；p < α 但效应量小且影响可忽略则暂缓（统计显著但不值得增加复杂度）；p ≥ α 则延长（若功效不足）或终止；p < α 但用户体验为负则无论显著性如何都终止。技能强调始终追问：“如果效应恰好如测量值，业务会在意吗？”若否，不应仅凭显著性上线。
效应量参考：Cohen's d（均值）< 0.2 可忽略，0.2–0.5 小，0.5–0.8 中，> 0.8 大；Cohen's h（比例）< 0.2 可忽略，0.2–0.5 小，0.5–0.8 中，> 0.8 大；Cramér's V（卡方）< 0.1 可忽略，0.1–0.3 小，0.3–0.5 中，> 0.5 大。
主动风险提示
技能会在发现信号时主动提示：窥视/提前停止会抬高假阳性率；多重比较（测试 10 个指标在 α=0.05 下约 40% 概率至少一个假阳性，超过 3 个指标时标记）；功效不足时非显著结果无信息量，需回溯检查功效；SUTVA 违背（对照组与处理组用户可能交互，如社交功能、共享库存）破坏独立性假设；辛普森悖论（聚合结果在分段后可能反转）；新奇效应（UX 测试中早期显著结果常衰减，需在新奇期后重新测量）。
输出产物与质量标记
技能按请求提供对应交付物：显著性报告（p 值、置信区间、效应量、结论、注意事项）、样本量报告（含功效/MDE 权衡表）、置信区间报告（含误差范围和解读）、假设检验（含通俗结论）、时长估算（所需每变体 N / 每日每变体流量）、多重比较分析（含 Bonferroni 调整阈值）。
每个发现都标记置信度：🟢 已验证（检验假设满足、样本量充足、无有效性威胁）；🟡 可能（轻微假设违背，方向性解读）；🔴 不确定（功效不足、窥视或数据完整性问题，不应行动）。
沟通标准
所有结果按四段结构呈现：底线（一句话总结，如“处理组提升转化率 1.2 个百分点（95% CI: 0.4–2.0pp），统计显著（p=0.003），效应量小（h=0.18），建议上线”）；是什么（观测率/均值、差异、p 值、置信区间、效应量）；为什么重要（业务翻译：效应量在收入、用户或决策上的含义）；如何行动（上线/暂缓/延长/终止及具体理由）。
适用场景与限制
适用场景包括：A/B 实验结果的显著性分析、实验前样本量规划、已有数字的统计解读、置信区间计算、多重比较分析。
不适用场景：需要设计或埋点实验时，应使用 marketing-skill/ab-test-setup 或 product-team/experiment-designer；需要清洗或验证输入数据时，应先用 engineering/data-quality-auditor；需要贝叶斯推断或多臂老虎机分析时，需注意频率派检验可能不适用。
相关技能包括：marketing-skill/ab-test-setup（实验设计）、engineering/data-quality-auditor（数据完整性验证）、product-team/experiment-designer（假设、成功指标与护栏指标结构）、product-team/product-analytics（产品漏斗与留存分析）、finance/saas-metrics-coach（SaaS KPI 解读）、marketing-skill/campaign-analytics（营销活动统计）。
参考资料：references/statistical-testing-concepts.md 涵盖 t 检验、Z 检验、卡方理论、p 值解读、第一/二类错误、功效分析数学。