用途:面向贷前建模的原始信用数据,做质量评估、缺失处理与变量筛选。
主要能力:流水线分 11 步,每步独立执行且不删除原始数据:加载数据;按机构统计样本量与坏样本率;分离 OOS 样本;剔除坏样本或总样本不足的异常月份;计算整体与机构级缺失率;剔除高缺失率特征;剔除整体 IV 过低或在过多机构中 IV 过低特征;剔除 PSI 不稳定特征;用标签置换法做空重要性降噪;按原始增益剔除高相关特征;导出含各步明细与统计的 Excel 报告。报告包含汇总、机构样本统计、分离OOS数据、异常月份处理、缺失率明细、有值率分布、IV/PSI 明细与分布、空重要性处理、高相关剔除等表。IV 与 PSI 计算支持多进程加速。
使用方式:运行脚本 python ".github/skills/datanalysis-credit-risk/scripts/example.py"。核心函数来自 references.func 与 references.analysis,如 get_dataset、org_analysis、missing_check、drop_abnormal_ym、drop_highmiss_features、drop_lowiv_features、drop_highpsi_features、drop_highnoise_features、drop_highcorr_features、export_cleaning_report 等。主要参数:DATA_PATH、DATE_COL、Y_COL、ORG_COL、KEY_COLS、OOS_ORGS;min_ym_bad_sample=10、min_ym_sample=500、missing_ratio=0.6、overall_iv_threshold=0.1、org_iv_threshold=0.1、max_org_threshold=2、psi_threshold=0.1、max_months_ratio=1/3、max_orgs=6、n_estimators=100、max_depth=5、gain_threshold=50、max_corr=0.9、top_n_keep=20。
适用场景:贷前信用风险建模前的数据准备。限制:资料未提供运行环境、依赖版本与性能数据,暂未提供。