用途
Statistical Analysis Planner 用于为机器学习实验结果规划和报告统计严谨性。它适用于以下场景：为结果表决定报告哪些显著性检验或置信区间；随机种子方差大、单次运行结果可能不具代表性；比较多种方法并想知道差异是否具有统计意义；论文或 rebuttal 需要定量回应审稿人对结果方差的质疑；消融结果接近，是否纳入取决于差异是否真实；正在进行多重比较，需要控制第一类错误累积。
该技能不用于运行实验（应使用 run-experiment），也不用于科学地解释意外结果（应使用 result-diagnosis）。它应在结果存在之后使用，或在规划阶段用于决定需要运行多少随机种子。
主要能力
- 识别哪些结果需要统计分析，并分类为 requires-analysis、supporting-analysis、descriptive-only 或 single-run。
- 为每个结果选择分析方法，包括检验方法、显著性阈值、效应量指标、多重比较校正方式和报告格式。
- 计算或核验统计量：均值和标准差、95% 置信区间、p 值、效应量、校正后的 p 值。
- 针对算力受限场景（1–3 个随机种子）给出报告规范与局限声明。
- 提供论文中的报告格式示例，涵盖主结果表、文字性主张和低种子设置。
- 执行多重比较审计，并在报告超过 3 个比较时应用校正。
- 通过 memory 写回更新证据板、主张板和风险板。
- 提供最终合理性检查清单，确保结果表包含 N、均值和方差，且论文主张与统计证据一致。
使用方式
技能目录中包含 SKILL.md 和 references/test-selection.md。在选择统计检验或置信区间方法时，应始终阅读 references/test-selection.md。同时阅读 memory/claim-board.md 和 memory/evidence-board.md，以理解哪些主张需要统计支持。
使用流程分为五步：
- 识别需要统计分析的结果：记录主张、指标及预期分布、独立运行次数（随机种子数）、比较类型（被试内或被试间），并分类。
- 选择分析方案：阅读 references/test-selection.md，为每个 requires-analysis 结果指定指标、N、分布假设、检验方法、显著性阈值、效应量、多重比较校正和报告格式；针对种子方差规划检测预期效应量所需的最少种子数及方差报告方式。
- 运行或核验分析：对已有结果计算均值与标准差、95% 置信区间、p 值、效应量及校正后的 p 值；对算力受限设置报告均值与范围（最小/最大值），明确承认局限，并指出参数检验在少于 5 次独立运行时不应声称统计显著性。
- 论文报告格式：主结果表应包含均值 ± 标准差、95% 置信区间、p 值和效应量；文字主张应优先给出具体数值与统计量，避免在无检验和阈值的情况下使用“显著”；低种子设置应报告范围并注明基于有限种子。
- 多重比较审计：若在同一留出集上报告超过 3 个比较，列出所有比较，应用 Bonferroni 或 Holm 校正，标记校正后失去显著性的比较，并决定将其作为“趋势”而非“显著”处理。
适用场景
- 机器学习论文的结果表需要报告方差与显著性。
- 审稿人或 rebuttal 对结果方差提出质疑。
- 消融实验差异接近，需要判断是否真实。
- 多重比较需要控制第一类错误。
- 实验前规划随机种子数量与统计功效。
限制
该技能不运行实验，也不科学解释意外结果。若算力受限导致种子数少，需明确承认局限，不能过度声明。参数检验在少于 5 次独立运行时不应声称统计显著性。部分具体细节（如未在资料中列出的检验方法或平台信息）暂未提供。