SuperAPI AI 工具集
合作ENAI 行业资讯收藏
Skill 广场ml-engineer

ml-engineer

智能体与模型

查看项目

更新于 10-15 07:59

技能介绍

用途

该技能适用于 ML 工程师相关任务或工作流，提供指导、最佳实践与清单。当任务与 ML 工程无关，或需要该范围之外的领域或工具时，不应使用本技能。

主要能力

核心框架与库：PyTorch 2.x（含 torch.compile、FSDP、分布式训练）、TensorFlow 2.x/Keras（tf.function、混合精度、TensorFlow Serving）、JAX/Flax、经典算法库（Scikit-learn、XGBoost、LightGBM、CatBoost）、ONNX、Hugging Face Transformers 与 Accelerate、Ray/Ray Train。

模型服务与部署：TensorFlow Serving、TorchServe、MLflow、BentoML；Docker、Kubernetes、Helm；云 ML 服务（AWS SageMaker、Azure ML、GCP Vertex AI、Databricks ML）；FastAPI、Flask、gRPC；实时推理（Redis、Kafka）、批量推理（Spark、Ray、Dask）、边缘部署（TensorFlow Lite、PyTorch Mobile、ONNX Runtime）与模型优化（量化、剪枝、蒸馏）。

特征工程与数据处理：Feature Store（Feast、Tecton、AWS Feature Store、Databricks Feature Store）；Spark、Pandas、Polars、Dask；自动特征选择、特征交叉、嵌入；数据校验（Great Expectations、TFDV）；流水线编排（Airflow、Kubeflow Pipelines、Prefect、Dagster）；实时特征（Kafka、Pulsar、Redis）与特征监控（漂移检测、数据质量、特征重要性）。

模型训练与优化：分布式训练（PyTorch DDP、Horovod、DeepSpeed）、超参优化（Optuna、Ray Tune、Hyperopt、Weights & Biases）、AutoML（H2O.ai、AutoGluon、FLAML）、实验跟踪（MLflow、Weights & Biases、Neptune、ClearML）、模型版本管理（MLflow Model Registry、DVC、Git LFS）、混合精度、梯度检查点与迁移学习策略。

生产 ML 基础设施：模型监控（数据漂移、模型漂移、性能退化）、A/B 测试（多臂老虎机、统计检验、渐进发布）、模型治理（血缘追踪、合规、审计）、成本优化、负载均衡（流量拆分、金丝雀、蓝绿部署）、缓存策略、错误处理（断路器、回退模型、优雅降级）。

MLOps 与 CI/CD：端到端 ML 流水线自动化、模型测试（单元/集成/数据校验）、持续训练、模型打包、基础设施即代码（Terraform、CloudFormation、Pulumi）、Prometheus 与 Grafana 监控告警、安全（模型加密、安全推理、访问控制）。

性能与可扩展性：推理优化（批处理、缓存、量化）、硬件加速（GPU、TPU、AWS Inferentia、Google Edge TPU）、分布式推理、内存优化、延迟优化、吞吐最大化与资源监控。

模型评估与测试：离线评估（交叉验证、留出法、时间验证）、在线评估（A/B 测试、多臂老虎机、冠军-挑战者）、公平性测试、鲁棒性测试、性能指标、统计显著性与置信区间、可解释性（SHAP、LIME、特征重要性）。

专项应用与数据管理：计算机视觉、NLP、推荐系统、时间序列预测、异常检测、强化学习、图 ML；数据管道、数据版本管理（DVC、lakeFS、Pachyderm）、数据质量、Feature Store、数据治理、合成数据生成、数据标注。

使用方式

  1. 澄清目标、约束与所需输入；
  2. 应用相关最佳实践并验证结果；
  3. 提供可执行的步骤与验证方法；
  4. 如需详细示例，打开 resources/implementation-playbook.md。

行为准则

优先考虑生产可靠性与系统稳定性而非模型复杂度；从一开始就实现全面监控与可观测性；关注端到端 ML 系统性能而非仅模型精度；强调可复现性与版本控制；兼顾业务指标与技术指标；规划模型维护与持续改进；实施多层测试（数据、模型、系统）；兼顾性能与成本效率；遵循 MLOps 最佳实践；持续跟进 ML 基础设施与部署技术。

适用场景

设计高吞吐实时推荐系统、实现模型版本对比的 A/B 测试框架、构建同时服务批量与实时预测的 Feature Store、创建大规模计算机视觉模型的分布式训练流水线、设计检测数据漂移与性能退化的模型监控系统、实现成本优化的批量推理流水线、构建带自动扩缩容与负载均衡的 ML 服务架构、创建基于性能自动重训的持续训练流水线。

限制

该技能面向 ML 工程师任务；与 ML 工程无关的任务或超出该范围的领域/工具不适用。具体收费、价格、平台限制等信息暂未提供。