用途：评估体育预测模型的概率可靠性。一个模型能正确排序球队，仍可能校准不良；若模型说 30%，这类情况应约有 30% 命中。该技能衡量概率可靠性，并支持基于评估来源、不确定性与分段稳定性的人工复核结论。区分度指标（AUC、准确率）不能替代校准。
适用场景：模型输出胜率/事件概率；用户询问概率置信度或可靠性；概率模型做 walk-forward 评估之后；写入引用概率水平的结果之前；比较原始与再校准概率；运动与赛事特定概率产物。不适用：纯排序任务、只有硬标签无概率、从零设计划分、特征合法性审查、仅有边际无概率的模型。
主要能力：可靠性/校准曲线（预测概率分箱对比观测率）、期望校准误差（ECE）、Brier 分数（含可靠性/分辨率分解）、对数损失、按赛季/主客场/概率尾部的分段校准、锐度。解读 ECE、Brier、对数损失或锐度前阅读 calibration_metrics.md；选择分箱边界或最小计数前阅读 binning.md；拟合 Platt、等渗或其他概率修正前阅读 recalibration.md。
使用方式：安装依赖：python -m pip install pandas。Parquet 输入还需 pyarrow 或 fastparquet。脚本接受 CSV、Parquet、JSON、JSONL、NDJSON。输入须每行对应一个评估决策，含二元结果和 [0,1] 概率，首选列名 outcome: y_true、probability: p_pred（也输出为 logistic_probability）。
python /path/to/calibration-check/scripts/calibration_report.py --input baseline-predictions.csv --target y_true --probability p_pred --group-col season --bins 10 --out calibration.json
python /path/to/calibration-check/scripts/segment_calibration.py --input predictions.csv --target won --probability win_probability --segment-col is_home
calibration_report.py 返回 Brier 分数、对数损失、ECE、可靠性分箱计数、行核算、可选分组指标及需人工复核的保守辅助结论。脚本无法证明留出数据来源，也不能把有利的合并 ECE 变为 well-calibrated。segment_calibration.py 打印全行、分类分段、概率尾部指标及稀疏分箱计数。
限制与硬性约束：绝不在用于拟合同一模型的训练行上评估校准（除非嵌套披露）；绝不未经校准检查就把原始分数当作概率；绝不隐藏分段失败；每箱样本极少时须说明；准确率不等于校准；泄漏导致的无效评估不能算 well-calibrated。再校准只允许在训练折内拟合 Platt/等渗并应用于测试折，或嵌套 walk-forward；不允许在最终测试标签上拟合等渗再称已验证，也不允许看到结果后手改概率。校准结论属于整体方法论，不存在通用的 ECE 阈值。