该技能面向机器学习与 AI 研究论文的统计严谨性需求,核心用途是避免“跳过检验、把 3 个随机种子的均值当作事实”这类常见错误,让报告的提升是否真实可被读者信任。
主要能力:一是根据比较结构选择检验,如两个方法多随机种子、单方法多数据集、多超参设置、多任务比较,并说明观测单位与独立性问题;二是给出检验选择建议(配对的 t 检验、Wilcoxon 符号秩、Mann-Whitney U、Bootstrap、置换检验)及不适用 t 检验的情形(种子少于 5、指标有界、指标为排名等);三是计算并报告效应量,如 Cohen's d、Cliff's delta、均值差±置信区间、胜率;四是多重比较校正,介绍 Bonferroni、Holm-Bonferroni、Benjamini-Hochberg(FDR)及何时无需校正;五是运行前用功效分析估算所需种子数,给出大/中/小效应对应的最少种子建议;六是规范报告要求,包括均值或中位数、标准差或标准误、种子数、种子是否预先固定、检验、p 值与效应量,并区分标准差与标准误;七是列出常见错误,如只报最好种子、事后挑种子、只报显著性不报效应量、无方差的均值比较、混淆统计与实际显著性、看结果后补数据;八是提供可直接复制的论文报告句式模板与结构化输出格式。
使用方式:先按工作流确定比较结构,再用捆绑脚本计算,脚本已编码检验选择逻辑、效应量、Bootstrap 置信区间、置换检验交叉验证与报告模板。示例命令:python scripts/stats.py compare --a 0.843 0.851 0.838 0.847 0.840 --b 0.812 0.805 0.820 0.808 0.815 --paired --metric F1;python scripts/stats.py correct --pvalues 0.01 0.04 0.03 0.20 --method holm;python scripts/stats.py power --d 0.5 --n 5;python scripts/stats.py selftest。
适用场景:AI/ML 论文与实验报告中的方法对比、消融、跨基准评测与显著性声明。限制:需已有实验数据与脚本环境;种子数与效应量为经验性建议,非强制标准;未提供的具体平台、安装方式与收费信息暂未提供。