llmops-platform-engineering

该技能面向希望在不牺牲可靠性、成本与合规的前提下支持快速实验的内部 LLM 平台建设。适用场景包括：为团队构建部署和管理 LLM 功能的内部平台、设计含模型评估门禁的 CI/CD 流水线、搭建模型版本的 A/B 测试基础设施、创建基于 Kubernetes 的模型服务基础设施、建立模型晋级治理工作流。前置条件：带 GPU 节点池的 Kubernetes 集群（或云推理 API 访问）、容器镜像仓库（Harbor、ECR、GCR、ACR）、CI/CD 系统（GitHub Actions、GitLab CI、Argo Workflows）、可观测栈（Prometheus + Grafana + OpenTelemetry）、模型注册表（MLflow 或自定义元数据存储）。参考架构分四平面：控制面（模型注册表、提示/版本目录、策略检查、评估流水线）、数据面（推理网关、向量数据库、缓存、特征存储）、运维面（遥测、告警、SLO 看板、成本分析）、安全面（IAM 边界、密钥轮换、内容过滤、审计日志）。模型晋级流水线通过 GitHub Actions 触发，依次运行质量、安全评估套件与延迟基准，用 thresholds 文件做门禁检查，上传评估证据，人工审批后部署金丝雀并验证 15 分钟，再全量滚动更新。评估门禁示例要求 groundedness>=0.85、task_success>=0.90、hallucination<=0.08、回归不低于基线 2%；延迟要求 p50<=800ms、p95<=2000ms、p99<=5000ms、吞吐>=50 RPS。A/B 测试用 ABTest 自定义资源配置流量切分、主次指标、自动回滚护栏（如 task_success 低于 0.80 或 hallucination 超过 0.15）和粘性用户分配。Kubernetes 服务部署示例包含 Deployment、Service、HPA（按 llm_queue_depth 和 gpu_utilization_percent 扩缩容），使用 vLLM 镜像。运维 SLO 目标：可用性 99.9%（30 天滚动）、p95 延迟<1200ms、单次请求成本<$0.05、任务成功率>90%、有据性>85%。平台护栏包括租户配额与模型白名单、自动化路径结构化输出契约、关键工作流默认低风险模型设置、生产环境禁用不受约束的工具执行。工具栈示例：编排 Argo Workflows/GitHub Actions/Airflow，模型注册 MLflow，网关 LiteLLM/Envoy，可观测 OpenTelemetry+Prometheus+Grafana+Langfuse，策略 OPA/Rego，评估 RAGAS/Promptfoo，服务 vLLM/TGI/Triton。资料还列出常见故障排查表，如金丝雀未过质量门禁时对比基线与调整配置、部署卡住时检查 Pod 事件与配额、A/B 无显著差异时验证流量切分与样本量、冷启动慢时使用预缓存 PVC、评估流水线不稳定时设 temperature=0 并增加样本量。未提供具体收费、价格或平台授权信息。