SuperAPI AI 工具集

model-optimization

数据与分析

查看项目

更新于 10-16 03:43

技能介绍

用途:提升模型性能、效率与推理速度,减小模型体积,或用自动化方式完成机器学习流程。

主要能力:

  1. 超参数调优:网格搜索(GridSearchCV)、贝叶斯优化(scikit-optimize 的 BayesSearchCV)、Optuna(定义 objective 后 study.optimize 最大化得分)。
  2. 模型压缩:PyTorch 训练后动态量化与量化感知训练;全局非结构化剪枝(prune.global_unstructured,如剪去 20% 权重后 prune.remove);知识蒸馏(软目标 KL 散度与硬目标交叉熵按 alpha 组合,温度 T=3.0)。
  3. AutoML:autosklearn、H2O AutoML、TPOT(可导出最佳流水线)。
  4. 特征选择:SelectKBest、RFE、SelectFromModel。
  5. 性能优化:PyTorch 导出 ONNX 并用 onnxruntime 推理;ONNX 转 TensorRT 以加速 GPU 推理;学习率调度(StepLR、CosineAnnealingLR);早停类 EarlyStopping。

使用方式:资料以 Python 代码示例给出,需在相应库环境(scikit-learn、xgboost/skopt、optuna、torch、autosklearn、h2o、tpot、onnxruntime、tensorrt 等)中按示例调用。

适用场景:模型调参、压缩部署、自动化机器学习与推理加速。

限制:资料为示例代码,未提供安装命令、版本要求、平台限制、收费信息或效果实测数据;示例中的加速比(如 4 倍缩小、2-4 倍加速、10 倍 GPU 推理加速)为原文注释,未提供验证条件。