SuperAPI AI 工具集

model-interpretation

数据与分析

查看项目

更新于 10-16 03:04

技能介绍

用途 在体育模型(胜负、分差、Elo 等)完成走步式(walk-forward)评估之后解释模型行为。核心定位是:解释不等于评估,也不能把失败的走步验证说成成功。解释要回答模型依赖什么、在哪里失败、失败是否集中在某赛季/主客场/概率尾部,以及结论是否稳定到可写入模型卡。

适用与不适用 适用时机:胜负/分差/Elo 流程结束后;调试表现差的折(fold);撰写结果或模型卡;用户问“为什么”“最大失误”“哪里会坏”“什么在驱动”;在同一批走步折上比较两个模型。 不适用:尚无留出预测时先用 predictive-modeling;泄漏尚未查清时用 leakage-audit;纯展示清理用 anti-slop-analytics;只写全局指标用 results-reporting;概率可靠性深挖用 calibration-check。

安装 内置辅助脚本需要 pandas 与 NumPy: python -m pip install pandas numpy 使用 Parquet 输入还需 pyarrow 或 fastparquet。输入可为 CSV、Parquet、JSON、JSONL、NDJSON。

必要输入 最低要求:走步指标(流水线 JSON 或折表);预测值与实际值,含稳定对齐键与折/赛季标签,以及需要切片时的球队、对手、主客场上下文;同折上的基线指标;泄漏审计状态。可选:拟合时的特征矩阵、系数/重要性、校准表。

工作流程

  1. 确认评估是走步式而非样本内;2) 讲任何故事前先用基线复述全局指标;3) 确认泄漏状态为 CLEAN,否则停止;4) 按赛季、主客场、概率分箱、分差桶切片误差;5) 列出最大失误及其上下文;6) 谨慎解读驱动因素:线性看系数并说明量纲/标准化前提,树模型优先看留出折上的排列重要性并要求跨赛季稳定;7) 概率模型查看校准上下文;8) 写明解释的边界;9) 交接给 results-reporting、模型卡或下一步实验。切片至少做两个,如赛季/折、主客场、概率尾部、赛季初低样本、大 elo_diff 或状态差、分差残差。

命令示例 python /path/to/model-interpretation/scripts/slice_errors.py --input held-out-predictions.csv --slice-cols fold --out slices.json python /path/to/model-interpretation/scripts/largest_misses.py --input held-out-predictions.csv --columns fold,source_row --top 25 默认列(y_true、logistic_probability、fold 切片)匹配 predictive-modeling/scripts/run_fold_table.py 的预测产物;可用 --actual-col、--prob-col、--slice-cols 适配其他模式。对对称的球队-比赛产物,加 --filter-col is_home --filter-value 1 使每场只评估一次。脚本会校验二值结果与概率范围。

限制 内置脚本仅覆盖概率误差表;系数缩放、排列重要性、因果解释、分差残差与模型稳定性需外部模型产物与方法,脚本不计算。不得解释泄漏未通过的模型;不得把系数符号当作因果;不得隐藏模型失败的切片;概率尾部需校准上下文;单赛季的“英雄故事”不等于泛化;全局指标与基线必须先于叙事;切片与均值叙事冲突时,均值叙事是不完整的。相关技能:results-reporting、calibration-check、model-card、predictive-modeling、statistical-modeling、experiment-log。