SuperAPI AI 工具集

bio-machine-learning-model-validation

数据与分析

查看项目

更新于 10-15 21:55

技能介绍

用途:为组学与生物医学数据的预测模型提供可靠的性能验证,回答“把该流程用到新数据上会得到什么”这一估计问题。核心原则是:所有依赖数据的步骤必须留在重采样循环内,且不得用同一批数据既做选择又做评分。

主要能力:嵌套交叉验证(内层 GridSearchCV 调参、外层 cross_val_score 评分,Pipeline 内完成预处理与特征选择);分组与结构化切分(StratifiedGroupKFold、TimeSeriesSplit);小样本下 RepeatedStratifiedKFold 并报告波动区间;校准评估(calibration_curve、brier_score_loss)与再校准(CalibratedClassifierCV 配合 FrozenEstimator);决策曲线净收益;外部验证与 TRIPOD+AI 报告要求。

必要用法:把 scaler、特征选择、插补、ComBat 等全部放入 Pipeline 再传给 cross_val_score/GridSearchCV;分组时通过 groups= 传给 cross_validate 或 GridSearchCV.fit;校准须用与训练、测试都不重叠的 fold。示例导入包括 cross_val_score、StratifiedKFold、GridSearchCV、Pipeline、StandardScaler、SelectKBest、LogisticRegression、StratifiedGroupKFold、RepeatedStratifiedKFold、calibration_curve、CalibratedClassifierCV、brier_score_loss、sklearn.frozen.FrozenEstimator。

适用场景:组学分类器、生物标志物模型、需要概率驱动决策的临床预测模型,以及站点或时间迁移性评估。

限制与注意:CalibratedClassifierCV(cv='prefit') 在 1.6 弃用、1.8 移除,需改用 FrozenEstimator;AUC 对单调变换不变,无法反映校准;不平衡数据下准确率、F1 易误导,AUPRC 基线应为患病率;留一法对 AUC 等排序指标不稳定;样本量不应沿用“每变量 10 事件”旧准则。版本兼容与包签名差异需自行核对。