SuperAPI AI 工具集

senior-ml-engineer

智能体与模型

查看项目

更新于 10-15 20:06

技能介绍

用途:面向生产环境的机器学习工程模式,覆盖模型部署、MLOps 基础设施、LLM 集成与 RAG 实现、模型监控。

主要能力:

  • 模型部署工作流:导出为 ONNX/TorchScript/SavedModel,Docker 打包,先部署 staging 跑集成测试,再以 5% 流量灰度、观察 1 小时,指标通过后转全量;验证标准为 p95 延迟 <100ms、错误率 <0.1%。提供 Dockerfile 模板与 FastAPI+Uvicorn、Triton、TensorFlow Serving、TorchServe、Ray Serve 选型对比。
  • MLOps 流水线:配置 Feast/Tecton 特征库、MLflow/W&B 实验追踪、模型注册与版本元数据、注册表事件触发的 staging 部署、A/B 测试与漂移告警。重训触发条件包括定时(周/月全量重训)、性能下降、数据漂移(PSI>0.2)、新数据量达到阈值(增量更新)。
  • LLM 集成:提供 Provider 抽象层、tenacity 指数退避重试、备用供应商降级、token 计数与上下文截断、响应缓存、按请求成本跟踪、Pydantic 结构化输出校验。
  • RAG 实现:选择向量库(Pinecone/Qdrant/Weaviate/Chroma/pgvector)、嵌入模型、文档分块(固定/句子/语义/递归)、元数据抽取、检索重排、上下文格式化送 LLM。
  • 模型监控:延迟 p50/p95/p99、错误率、输入漂移(KS 检验)、预测分布偏移、真值日志、A/B 对比、自动重训触发与告警阈值(p95>100ms 警告/200ms 严重,错误率>0.1%/1%,PSI>0.1/0.2,精度下降>2%/5%)。

使用方式:仓库提供脚本,如 python scripts/model_deployment_pipeline.py --model model.pkl --target staging、python scripts/rag_system_builder.py --config rag_config.yaml --analyze、python scripts/ml_monitoring_suite.py --config monitoring.yaml --deploy;参考文档位于 references/ 下。

适用场景:将训练模型投入生产、搭建自动化训练部署流水线、集成 LLM API、构建 RAG 问答、上线后漂移监控。

限制:官方说明中未提供该技能的收费、价格、许可等信息;成本表中的价格为示例,需以实际供应商为准。