SuperAPI AI 工具集

sports-modeling-doctrine

通用与其它

查看项目

更新于 10-16 02:30

技能介绍

用途:在开始或重构体育分析/预测工作前,先锁定"科学契约":回答什么问题、一行数据代表什么、决策时刻可知什么、什么基线算有价值、如何用时序外方式评估、什么结果算验收/修订/停止。字段未命名前不应拟合模型。

适用场景:启动或重新界定体育分析、定义"好"的标准、判断结果是否可评估、防止探索工作悄悄变成预测主张。

问题类型:描述型(发生了什么,需覆盖度、分母、不确定性)、解释型(有何关联,需设计、效应、混杂限制)、预测型(T时点后会发生什么,需时间安全输入与有序留出)、因果型(干预下什么改变,需识别策略与假设)、排名型(T时谁最强,需未来效用、赛程情境、排名稳定性)、模拟型(假设下什么分布,需校准输入与敏感性)。解释型与预测型成功不可混用。

章程工作流:一句话写问题;写明运动、赛事、人群、年代与排除项;定义粒度(比赛、球队-比赛、球员-比赛、控球、回合等);按上表分类分析类型;对预测/排名/前瞻模拟定义决策时间T与预测视野;定义目标或估计量、单位、标签规则、平局或缺失结果处理;记录基准率或零假设;命名至少一个朴素基线与一个强简单基线;拟合前锁定主指标及方向;选择尊重事件、赛季与可得性顺序的验证;定义数据要求、最低覆盖与溯源标准;写验收、失败、修订与停止条件;记录范围外决策与不支持用途。

粒度与决策时间契约:对每个候选字段回答行粒度、实体/事件键、决策时间T、预测视野、T时可得特征(含来源时间戳)、T后观测目标、配对/依赖行。需定义as-of规则,列名不能证明可得性。

基线阶梯:零模型(训练集占比或历史均值)、结构基线(场地、先前排名、联盟均值)、强简单基线(移位形式、简单评分、正则线性/逻辑模型)、现役流程(当前运营预测或公开参考)。所有模型须在相同留出行上评分。

指标默认:二分类用log-loss、Brier,基线为占比/简单评分,看校准与折间波动;连续边际用MAE、RMSE,基线为历史均值或简单评分;计数用Poisson偏差、MAE;时间到事件用生存评分/一致性;排名用未来结果相关或效用;模拟用分布评分或覆盖率。概率工作仅准确率通常不够。

验证默认:有序体育事件通常需扩展窗口或滚动原点验证,默认赛季走前验证。随机打乱行不是默认,因可能混入未来阵容等信息。共享赛事需分组,估算不确定性时需考虑重复球队或球员。

验收与停止:预测候选通常仅当在平均主指标上击败锁定基线、在多数合格折中改善、通过时间安全与泄漏检查、避免灾难性校准、在时代/球队/球员/事件切片下仍有用、复杂度与维护成本合理可保留。规则满足、失败条件使工作失效、或额外复杂度未带来实质留出价值时停止。

章程模式字段:question、sport_and_competition、population_and_exclusions、grain_and_natural_key、analysis_type、decision_time_and_horizon、target_or_estimand、base_rate_or_null、naive_and_strong_baselines、primary_metric_and_direction、secondary_metrics、validation_design、data_requirements_and_provenance、uncertainty_plan、acceptance_rule、failure_and_stop_conditions、out_of_scope_and_prohibited_uses、required_artifacts。

用例示例:赛前球队胜率预测(NFL 2018-2024常规赛,team-game粒度,每场两行配对,决策时间开球,目标won,基线为训练占比与场地逻辑,主指标留出log-loss,赛季走前验证,验收为均值击败两基线且七折中至少五折胜出,失败为任何特征无法证明开球前可得,范围外为因果主张与博彩盈利);球员下场计数(先发投手下次先发三振,player-game粒度,决策时间第一球,基线为移位均值与对手允许三振均值,主指标MAE,日期走前验证且球员历史在T截断,冷启动单独规则与切片)。

不可协商与诚信规则:时间顺序重要;随机打乱需明确理由;前瞻主张特征须在T合法;基线先于候选模型定义;主指标在查看测试折前锁定;粒度变更需显式聚合与键验证;候选与基线使用相同留出人群;失败与未改善记录为有效结果;强主张需泄漏审计与诚实不确定性;公开数据不免除溯源、许可或快照义务;有利结果后范围不得悄悄扩大;用满足章程的最简模型;决策与工件记录在临时聊天之外。

反模式:定义决策前选算法;无可用时间戳的特征堆砌;把一个热赛季称为泛化;看到留出结果后改主指标;把每个球队-比赛行当独立比赛;在不同赛程规则的运动间照搬假设;测试窗口变熟悉后继续调参;复杂模型击败零模型但未击败强简单基线就宣布胜利;无校准计划就输出概率。

辅助命令:python <path-to-sports-modeling-doctrine>/scripts/print_charter_template.py --out data/modeling_charter.md。在数据获取或拟合前填写用户拥有的模板;辅助脚本不选择问题、基线或验收规则。

操作与交接:只使用与章程相关的技能;在获取、分析与报告步骤间传递显式用户拥有的工件;有正当范围决策变化时保持章程更新;重新撰写章程而非悄悄改目标、粒度或决策时间;无法建立时间、粒度、溯源或评估时报告阻塞。

输出契约:返回或保存完成的章程,含问题、类型、运动/人群、粒度/键、决策时间、目标、基线、主指标、验证、不确定性、验收/失败规则、范围外用途与所需工件。无此契约不得返回算法推荐。