用途:当需要对比多种算法(如 XGB 与 LR、三种算法都跑一下)时,基于同一份数据切分横向运行多种算法,统一评估并生成客观事实报告,消除数据差异对结论的干扰。
主要能力:同数据同切分对比;多维原始指标陈述(OOT AUC/KS/Gini/BCR@10%/Precision@10%/Recall@10%/Brier/LogLoss、KS Gap、PSI、特征数、可解释性);Pareto 前沿识别未被严格优于的候选集,不做主观加权;DeLong 检验回答差距是真实还是采样噪声;样本级一致性与跨算法特征重叠分析;输出 Markdown 报告与各模型文件。
使用方式:推荐先调参再对比,依次运行 xgb-tuning、lr-tuning、dnn-tuning,再用 model-comparison --use_tuned 自动扫描最优超参。基本命令:python scripts/comparison.py --data_path ./data.parquet --target y_label --exclude_cols "cust_code,busi_dt" --output_dir ./outputs/compare。可用 --algorithms 指定算法、--scenario 选择 general/scorecard/fraud/stability_first 场景标签。
适用场景:算法选型初筛、评分卡白盒合规、反欺诈高风险、存量运维稳定性优先等。
限制:场景标签仅作文本上下文,不参与加权评分或门禁淘汰;默认超参对比只能作初筛,公平对比需先调参;DeLong 检验 p<0.05 才认为差距统计显著;PSI≥0.25 标记显著漂移,KS Gap>0.10 标记过拟合风险。产物保存到 <output_dir>/。