用途:该技能用于生产级机器学习系统的工程化工作,包括模型服务、特征工程、ML 基础设施、监控与 A/B 测试等。适用场景为 ML 工程相关任务或工作流,需要该领域指导、最佳实践或检查清单时使用;与 ML 工程无关的任务不适用。
主要能力:覆盖现代 ML 框架(PyTorch 2.x 含 torch.compile、FSDP、分布式训练;TensorFlow 2.x/Keras;JAX/Flax;Scikit-learn、XGBoost、LightGBM、CatBoost;ONNX;Hugging Face Transformers 与 Accelerate;Ray/Ray Train);模型服务与部署(TensorFlow Serving、TorchServe、MLflow、BentoML、Docker、Kubernetes、Helm、AWS SageMaker、Azure ML、GCP Vertex AI、Databricks ML、FastAPI、Flask、gRPC、Redis、Kafka、Spark、Ray、Dask、TensorFlow Lite、PyTorch Mobile、ONNX Runtime,以及量化、剪枝、蒸馏);特征工程与数据处理(Feast、Tecton 等特征库,Spark、Pandas、Polars、Dask,Great Expectations、TFDV,Airflow、Kubeflow Pipelines、Prefect、Dagster,漂移检测与数据质量);训练与优化(DDP、Horovod、DeepSpeed、Optuna、Ray Tune、Hyperopt、Weights & Biases、H2O.ai、AutoGluon、FLAML、MLflow、DVC);生产基础设施(数据与模型漂移监控、多臂老虎机、统计检验、灰度发布、血缘追踪、成本优化、负载均衡、熔断与降级);MLOps 与 CI/CD(端到端流水线、模型测试、持续训练、容器化、Terraform/CloudFormation/Pulumi、Prometheus、Grafana、安全与访问控制);性能与扩展(批处理、缓存、量化、GPU/TPU 与专用芯片、分布式推理、内存与延迟优化);模型评估(离线/在线评估、公平性、鲁棒性、SHAP/LIME 等)。
使用方式:先明确目标、约束与所需输入,应用相关最佳实践并验证结果,提供可执行步骤与验证方式。典型交互包括设计高吞吐实时推荐、搭建 A/B 测试框架、构建特征库、分布式训练流水线、模型监控与成本优化批推理等。
限制:仅在任务明确匹配上述范围时使用;输出不能替代特定环境的验证、测试或专家评审;若缺少必要输入、权限、安全边界或成功标准,应停止并请求澄清。具体安装命令、收费与平台支持信息暂未提供。