SuperAPI AI 工具集

senior-ml-engineer

智能体与模型

查看项目

更新于 10-14 16:28

技能介绍

用途

本技能定位为世界级资深 ML/AI 工程能力,面向生产级 AI/ML/数据系统,用于将机器学习模型生产化、实施 MLOps、构建可扩展的 ML 系统,并覆盖模型部署与监控、实时推理、分布式计算、RAG 系统以及安全合规等工程环节。

主要能力

技能涵盖的核心方向包括:先进的生产模式与架构、可扩展系统的设计与实现、规模化性能优化、MLOps 与 DataOps 最佳实践、实时处理与推理、分布式计算框架、模型部署与监控、安全与合规、成本优化,以及团队领导与指导。

该技能包含以下自动化脚本(工具名称与命令保留原样):

  • python scripts/model_deployment_pipeline.py --input data/ --output results/
  • python scripts/rag_system_builder.py --target project/ --analyze
  • python scripts/ml_monitoring_suite.py --config config.yaml --deploy

技术栈

  • 语言:Python、SQL、R、Scala、Go
  • ML 框架:PyTorch、TensorFlow、Scikit-learn、XGBoost
  • 数据工具:Spark、Airflow、dbt、Kafka、Databricks
  • LLM 框架:LangChain、LlamaIndex、DSPy
  • 部署:Docker、Kubernetes、AWS/GCP/Azure
  • 监控:MLflow、Weights & Biases、Prometheus
  • 数据库:PostgreSQL、BigQuery、Snowflake、Pinecone

参考文档

  • references/mlops_production_patterns.md:MLOps 生产模式,覆盖先进模式与最佳实践、生产实现策略、性能优化技术、可扩展性考量、安全与合规、真实案例研究。
  • references/llm_integration_guide.md:LLM 集成指南,包含逐步流程、架构设计模式、工具集成指南、性能调优策略、故障排查流程。
  • references/rag_system_architecture.md:RAG 系统架构技术参考,包含系统设计原则、实现示例、配置最佳实践、部署策略、监控与可观测性。

生产模式

  • 模式一:可扩展数据处理。面向企业规模,采用分布式计算,包含水平扩展架构、容错设计、实时与批处理、数据质量校验、性能监控。
  • 模式二:ML 模型部署。生产级高可用系统,包含低延迟模型服务、A/B 测试基础设施、特征库集成、模型监控与漂移检测、自动再训练流水线。
  • 模式三:实时推理。高吞吐推理系统,包含批处理与缓存策略、负载均衡、自动扩缩容、延迟优化、成本优化。

使用方式

技能提供常用命令,覆盖开发、训练、部署与监控:

  • 开发:python -m pytest tests/ -v --cov、python -m black src/、python -m pylint src/
  • 训练:python scripts/train.py --config prod.yaml、python scripts/evaluate.py --model best.pth
  • 部署:docker build -t service:v1 .、kubectl apply -f k8s/、helm upgrade service ./charts/
  • 监控:kubectl logs -f deployment/service、python scripts/health_check.py

资源位置包括:references/mlops_production_patterns.md、references/llm_integration_guide.md、references/rag_system_architecture.md,以及 scripts/ 目录。

性能目标

  • 延迟:P50 < 50ms;P95 < 100ms;P99 < 200ms
  • 吞吐:每秒请求数 > 1000;并发用户 > 10,000
  • 可用性:正常运行时间 99.9%;错误率 < 0.1%

最佳实践

  • 开发:测试驱动开发、代码审查与结对编程、文档即代码、一切纳入版本控制、持续集成。
  • 生产:监控关键指标、自动化部署、发布使用功能开关、金丝雀发布、全面日志记录。
  • 团队领导:指导初级工程师、驱动技术决策、建立编码标准、培养学习文化、跨职能协作。

安全与合规

包括认证与授权、静态与传输中数据加密、PII 处理与匿名化、GDPR/CCPA 合规、定期安全审计、漏洞管理。

资深职责

  • 技术领导:驱动架构决策、指导团队成员、建立最佳实践、保障代码质量。
  • 战略思维:对齐业务目标、评估权衡、为扩展做规划、管理技术债。
  • 协作:跨团队工作、有效沟通、建立共识、分享知识。
  • 创新:跟进研究前沿、试验新方法、贡献社区、推动持续改进。
  • 生产卓越:确保高可用、主动监控、优化性能、响应事故。

限制

本资料未提供该技能的收费标准、价格、具体平台限制或安装方式等细节,这些信息暂未提供。