ml-engineer 是一个面向生产机器学习系统的工程技能,定位为资深 ML 工程师角色,强调可扩展、可靠、高效的 ML 系统,并以业务价值为最终目标。资料说明,当你从事 ML 工程师相关任务或工作流,或需要该领域的指导、最佳实践、检查清单时使用本技能;当任务与本领域无关、或需要其他领域或工具时不应使用。
使用方式上,技能要求先明确目标、约束和所需输入,再应用相关最佳实践并验证结果,提供可执行的步骤与验证方式;如需详细示例,可打开 resources/implementation-playbook.md(资料未提供该文件的具体内容)。
主要能力覆盖多个层面:核心框架与库包括 PyTorch 2.x(torch.compile、FSDP、分布式训练)、TensorFlow 2.x/Keras(tf.function、混合精度、TensorFlow Serving)、JAX/Flax、Scikit-learn、XGBoost、LightGBM、CatBoost、ONNX、Hugging Face Transformers 与 Accelerate、Ray/Ray Train。模型服务与部署包括 TensorFlow Serving、TorchServe、MLflow、BentoML、Docker/Kubernetes/Helm、AWS SageMaker、Azure ML、GCP Vertex AI、Databricks ML、FastAPI/Flask/gRPC、Redis/Kafka 实时推理、Spark/Ray/Dask 批量推理、TensorFlow Lite/PyTorch Mobile/ONNX Runtime 边缘部署,以及量化、剪枝、蒸馏等优化。特征工程与数据处理包括 Feast、Tecton 等特征存储,Spark/Pandas/Polars/Dask,Great Expectations、TFDV 数据校验,Airflow/Kubeflow/Prefect/Dagster 流水线编排,以及漂移检测。训练与优化包括 DDP、Horovod、DeepSpeed 分布式训练,Optuna、Ray Tune、Hyperopt 调参,MLflow、Weights & Biases 等实验跟踪,以及 DVC、Git LFS 版本管理。生产基础设施涉及模型与数据漂移监控、A/B 测试与多臂老虎机、灰度与金丝雀发布、模型治理与审计、成本与扩缩容优化、缓存与容错降级。MLOps 与 CI/CD 包括端到端自动化流水线、模型与数据测试、持续训练、容器化打包、Terraform/CloudFormation/Pulumi 基础设施即代码、Prometheus/Grafana 监控告警与模型安全。此外还涵盖推理性能与硬件加速、离线/在线评估与公平性、鲁棒性测试、SHAP/LIME 可解释性,以及计算机视觉、自然语言处理、推荐系统、时间序列、异常检测、强化学习、图机器学习等专门应用场景,还有面向 ML 的数据管理(数据版本、质量、治理、合成数据、标注)。
适用场景包括设计高吞吐实时推荐系统、搭建模型 A/B 测试框架、构建同时服务批量和实时预测的特征存储、大规模视觉模型分布式训练、数据漂移与性能退化监控、成本优化的批量推理、自动扩缩容的模型服务架构,以及基于性能自动重训的持续训练流水线等。
限制方面,资料明确该技能仅覆盖 ML 工程领域,不适用于无关任务或其他领域工具;具体版本、平台收费、价格与效果等细节资料未提供。