SuperAPI AI 工具集

ml-engineer

数据与分析

查看项目

更新于 10-16 02:32

技能介绍

用途:该技能面向生产级机器学习系统,用于在 ML 工程任务或工作流中提供指导、最佳实践与检查清单;若任务与该领域无关,则不适用。

主要能力:覆盖现代 ML 框架(PyTorch 2.x 的 torch.compile、FSDP、分布式训练;TensorFlow 2.x/Keras;JAX/Flax;Scikit-learn、XGBoost、LightGBM、CatBoost;ONNX;Hugging Face Transformers、Accelerate;Ray/Ray Train)。支持模型服务与部署(TensorFlow Serving、TorchServe、MLflow、BentoML;Docker/Kubernetes/Helm;AWS SageMaker、Azure ML、GCP Vertex AI、Databricks;FastAPI、Flask、gRPC;Redis、Kafka 实时推理;Spark、Ray、Dask 批量推理;TensorFlow Lite、PyTorch Mobile、ONNX Runtime 边缘部署;量化、剪枝、蒸馏)。特征工程与数据处理(Feast、Tecton 等特征库;Spark、Pandas、Polars、Dask;Great Expectations、TFDV;Airflow、Kubeflow、Prefect、Dagster)。训练与优化(DDP、Horovod、DeepSpeed;Optuna、Ray Tune、Hyperopt、W&B;MLflow、Neptune、ClearML;模型版本管理)。生产基础设施(漂移检测、A/B 测试、多臂老虎机、灰度发布、成本优化、缓存、熔断与降级)。MLOps 与 CI/CD、性能与可扩展性、模型评估与测试、专用应用(CV、NLP、推荐、时序、异常检测、强化学习、图 ML)、ML 数据管理。

使用方式:先澄清目标、约束与所需输入,再应用相关最佳实践并验证结果,输出可执行步骤与验证方法。

适用场景:如设计支持每秒 100K 预测的实时推荐系统、实现模型版本 A/B 测试框架、构建批流一体特征库、搭建分布式训练流水线与模型监控系统等。

限制:该技能仅在 ML 工程任务范围内适用;具体平台、收费、价格或效果暂未提供。