SuperAPI AI 工具集

ml-engineer

数据与分析

查看项目

更新于 10-16 05:26

技能介绍

ML Engineer 是一个专家级机器学习系统构建技能,覆盖完整的机器学习生命周期。

用途 该技能用于端到端构建机器学习系统,从数据处理到模型部署的各个阶段均可提供支持。其核心定位是帮助使用者系统化地完成 ML 流水线搭建,而非仅提供零散代码片段。

主要能力

  1. 特征工程:包括特征提取、选择与变换;特征重要性分析(置换重要性、SHAP);特征存储集成模式;自动化特征生成。
  2. 模型训练:基线对比(强调始终从基线开始);交叉验证(k 折、分层、基于时间的划分);超参数调优(网格搜索、随机搜索、贝叶斯优化);AutoML 集成(TPOT、Auto-sklearn、H2O)。
  3. 模型评估:分类指标(accuracy、precision、recall、F1、AUC-ROC);回归指标(RMSE、MAE、R²、MAPE);排序指标(NDCG、MAP、MRR);以及自定义业务指标。
  4. 可解释性:SHAP 值用于特征重要性;LIME 用于局部解释;部分依赖图;模型无关的可解释性方法。

使用方式 该技能包含一条分块规则:大型 ML 流水线通常超过 1000 行,因此要求每次响应只生成一个阶段,依次为:数据/EDA → 特征 → 训练 → 评估 → 部署。

最佳实践方面,资料给出了示例代码,包括:先训练基线模型(随机、热门度、基于规则等策略),新模型需显著优于基线;使用正确的交叉验证并输出均值与标准差;使用 MLflow 记录参数、指标与模型产物;使用 SHAP 添加可解释性。

框架支持 支持 scikit-learn(RandomForest、XGBoost、LightGBM)、PyTorch(神经网络、自定义架构)、TensorFlow/Keras(深度学习模型)以及 AutoML 工具(TPOT、Auto-sklearn、H2O AutoML)。

适用场景 适用于端到端构建 ML 功能、特征工程与选择、模型训练与评估、超参数优化,以及有模型可解释性要求的场景。

限制 资料未提供该技能的收费、价格、平台限制或具体安装步骤等信息,这些内容暂未提供。