用途:在首次信任回测或“表现很好”的指标前,审计体育建模表格与工作流,检查目标泄漏、时间泄漏、连接泄漏、预处理泄漏与划分泄漏。它假设存在泄漏,直到流程证明时间安全;强指标本身不构成干净证据。
主要能力:锁定审计契约(目标、行粒度、预测决策时间 T、合格人群、发布/修订策略、验证划分);按序列追踪目标来源、候选特征与可用性、时间变换、对手/名单/伤病/评分/天气/价格/赛程连接、预处理与调参是否仅用训练行、验证是否随时间前移且相关行保持成组;运行自动化矩阵启发式并人工复核每个发现;输出污染字段、受影响结论、所需修复与重测条件。
使用方式:按审计序列执行,参考审计清单、泄漏模式目录与案例研究。自动化辅助脚本读取用户自有的 CSV、Parquet、JSON、JSONL 或 NDJSON 表,依赖 pandas,校验指定列并运行名称、精确目标、重复与近完美相关启发式:
python /path/to/leakage-audit/scripts/audit_pregame_features.py
--input modeling_table.csv --target won
--features pre_win_rate,rest_diff,rating_diff
--entity-col team --time-col event_time --out leakage.json
python /path/to/leakage-audit/scripts/write_audit_stub.py
--out data/leakage_audit.md
可用 --banned 提供任务禁用名称。退出码:1=REVIEW REQUIRED(继续并完成人工审计,不是硬失败),2=NOT CLEAN(停止预测性结论直到修复重测),0 未使用,启发式从不自动 CLEAN。
适用场景:首次信任回测、怀疑结果过好、审计目标别名/连接/移位/预处理/划分设计时。不替代特征规则设计、验证设计或首轮面板 EDA。
限制:自动化无法证明数据源可用性、变换正确性、连接方向或折范围,只能补充而非替代溯源与代码审查;不确定不等于 CLEAN;修复需重新生成矩阵并重跑评估,事后删除可疑列不能挽救既有指标。
分类:data(数据与分析)。