用途
该技能用于设计安全的多租户 LLM 托管平台，在共享推理基础设施上服务多个团队或客户，同时兼顾安全、性能与成本治理。资料将其定位为：为多团队共享的内部 LLM 平台、有隔离要求的对外推理托管、按租户配额与计费、多模型多租户路由，以及共享 GPU 上的噪声邻居防护等场景提供参考实现。
前置条件
资料列出的前置条件包括：带 GPU 节点池的 Kubernetes 集群；API 网关或 LLM 网关（LiteLLM、Envoy、Kong）；Prometheus + Grafana 用于按租户可观测性；Redis 或等效组件保存限流状态；计费系统或成本归属数据库。
隔离模型
每个请求携带强租户身份；按租户发放 API 密钥并限定可用模型范围；对高风险租户采用命名空间或工作负载隔离；实施严格的数据保留与日志分区控制。
主要能力
vLLM 多模型服务：示例用 Deployment 部署两个模型层级——premium 层运行 llama-3.1-70b（张量并行 2、max-model-len 8192、GPU 利用率 0.90、启用前缀缓存），economy 层运行 llama-3.1-8b（max-model-len 4096、max-num-seqs 256）。两者均暴露推理端口 8000 和指标端口 8080，挂载只读模型权重卷，并带 GPU 容忍与节点选择配置。
按租户配额：通过 ConfigMap 定义租户层级（enterprise/standard/free）、允许的模型、每分钟请求数、每分钟 token 数、并发请求数、每日/每月美元预算、告警阈值和优先级。
命名空间隔离：为高风险租户创建带 isolation: strict 标签的命名空间，配合 NetworkPolicy 限制仅允许来自 llm-gateway 命名空间的入站流量，出站仅允许到 llm-serving 命名空间的 8000 端口和 kube-dns 的 53 端口；并用 ResourceQuota 限制 CPU、内存、GPU 和 Pod 数量。
请求路由与限流：FastAPI 示例从 quotas.yaml 加载租户配置，通过 x-tenant-id 和 x-api-key 请求头识别租户，依次校验租户存在性、模型访问权限、每分钟请求限流、并发上限和每日预算，再把请求转发到对应模型端点，并在响应后按 token 用量记录成本与计费流水。
使用方式
资料以说明与配置示例的形式给出，涉及应用 Kubernetes 清单、配置网关和运行路由服务。文中未给出完整的端到端部署步骤或安装命令。
限制
资料明确提示：基础设施命令可能中断服务，变更状态前应确认目标主机与范围，并准备备份或快照；该条目为纯文档导入，上游脚本和模板未随附。此外，示例中的成本费率和模型名称仅为演示配置，不代表实际定价。
暂未提供
具体收费、价格、SLA 指标、支持的模型完整列表，以及上游脚本和模板均暂未提供。