SuperAPI AI 工具集

xgboost-lightgbm

通用与其它

查看项目

更新于 10-15 19:48

技能介绍

用途:XGBoost(eXtreme Gradient Boosting)与 LightGBM 是表格/结构化数据上的主流梯度提升库,两者都通过顺序构建决策树集成,逐棵纠正前序误差,适用于分类、回归、学习排序、特征重要性与特征选择,以及生产环境的快速推理。

主要能力:支持自动处理缺失值,内置类别权重以应对不平衡数据,包含 L1/L2 正则(alpha、lambda 参数)防止过拟合。XGBoost 通常较慢但精度略高,适合较小数据集(<10 万行);LightGBM 使用直方图学习,在大数据(百万行级)上更快,并原生支持类别特征,XGBoost 则需编码。

使用方式:安装可执行 pip install xgboost lightgbm,GPU 支持为 pip install xgboost[gpu] lightgbm[gpu]。两者都提供 scikit-learn 风格接口(XGBClassifier、XGBRegressor、LGBMClassifier、LGBMRegressor)和原生接口(xgb.train、lgb.train)。常见流程为数据划分、创建模型并 fit,使用 eval_set 与 early stopping 防止过拟合,再用 predict 与指标评估;可用 xgb.cv 或 lgb 回调做交叉验证。LightGBM 可用 categorical_feature 参数指定类别列,无需独热编码。XGBoost 调优关注 max_depth,LightGBM 关注 num_leaves,二者含义不同;可用 GridSearchCV 或 Optuna 调参,并可通过 feature_importances_ 或 SHAP 做解释。

限制:需注意不要无验证集训练、不要对 LightGBM 做独热编码、不要忽略类别不平衡;资料未提供具体版本兼容性、性能基准、许可证、价格或平台支持等事实。