SuperAPI AI 工具集

foundations-statistical-inference

通用与其它

查看项目

更新于 10-16 05:53

技能介绍

用途:把观察结果转化为边界恰当的结论。一个数值估计离不开其总体、估计目标、抽样机制、独立单位、不确定性与假设。触发场景包括:A/B 提升是否显著、能否提前停止实验、需要多少用户或评估项、评估或基准分数的误差棒、模型 A 与 B 比较、LLM 评判给出的通过率置信区间、测试了 20 个指标等。

主要能力:按需求加载相应章节——抽样与估计(总体、估计量、置信/可信区间);设计与序贯推断(精度、选择、重复查看);预测校准(预测不确定性与保形阈值);A/B 测试规范(SRM、CUPED、比率指标、peeking、序贯停止);多重性流程(Holm、BH、BY、FWER 与 FDR);评估误差棒(聚类标准误、配对模型比较、评估规模);评判辅助推断(PPI/PPI++,用于 LLM 评判标签加小规模人工金标);保形变体(CQR、分组、协变量漂移、风险控制)。

使用方式:先定义目标总体、估计目标、单位、时间窗、数据来源、选择/缺失机制与独立抽样或随机化单位;再依据依赖结构、结果支撑和样本量选择方法,并在解读结果前说明建模选择。多数标签来自 LLM 评判或分类器,仅评判均值不是人工标签量的估计。在线实验在读效应前先做 SRM 和单位检查,并在上线前选定固定时点、成组序贯或始终有效停止规则。多于一个假设时,选择 FWER 或 FDR 及其流程。输出推断报告需报告效应量、不确定性、假设、诊断与无法确立的内容。辅助脚本 split_conformal_quantile.py 只计算精确有限样本分割保形阈值,无法检查可交换性或认证覆盖率;测试命令为 python3 scripts/test_split_conformal_quantile.py。

限制:p 值不是假设为真的概率,显著性不衡量效应大小;置信区间只在假设下具有重复抽样覆盖率,可信区间是给定模型与先验的后验概率;增加样本不能修复选择偏差、测量无效、泄漏或依赖;固定时点区间在数据依赖的重复停止后一般无效;保形覆盖率是校准与未来观测在可交换性下的边际覆盖。不要从统计显著性推出因果结论,也不得把标准化效应量无模型地换算为转化倍数。