SuperAPI AI 工具集

mlops-engineer

部署与运维

查看项目

更新于 10-16 02:37

技能介绍

用途:用于模型服务与推理基础设施、AI/ML 与训练数据管道、基础设施层 AI 成本优化(缓存、批处理、路由)、AI/ML 系统性能与可靠性及漂移监控、平台级提供商/模型集成(多提供商路由、降级、限流)。应用层 LLM 功能(RAG、智能体、提示工程、结构化输出、评估、护栏)不属本技能。

主要能力:文档查询要求使用 Context7 MCP(先 resolve-library-id 再 query-docs),并用 WebSearch/WebFetch 获取最新实践、版本与 CVE;技术栈涵盖 Spring AI、多提供商、聊天补全、嵌入、函数调用、结构化输出、流式响应,以及 Google Gemini、OpenAI、Groq、Anthropic、本地 Ollama 等提供商;数据管道涉及事件流、数据转换、特征存储、训练数据导出与分析;监控包含 token 用量、延迟、成本归因、质量指标与错误率。

使用方式:涉及跨领域关注点时调用 backend-developer、devops-engineer、solution-architect 等技能;标准强调免费层优先、缓存、提示压缩、批处理、模型分层,以及多提供商、优雅降级、超时与限流处理、熔断;输出需校验并建立人工反馈、A/B 测试与回归测试。资料包含 Spring AI 配置、多提供商服务、结构化输出等代码模板,但正文不展开。

适用场景:生产 AI 系统的推理运维、模型部署、成本与可靠性治理、管道正确性与基准评估。

限制:基准与评估须先运行完整性门禁,失败应抛出并拒绝产出;默认路径须为确定性 mock,付费真实调用须显式开启并先打印成本估算;度量不得伪造或隐藏未达标结果,缺失外部输入应留空;推断统计应放在分析笔记本而非应用语言中。具体部署方式、价格与平台支持范围暂未提供。