用途
该技能为 LLM 推理提供生产级运维模式，目标是优化推理性能、成本与可靠性。它把决策规则、优化策略、配置模板和运维检查清单集中在一起，供 Codex 在用户提出推理相关需求时激活使用。资料明确其定位为“无理论、无叙述，只包含 Codex 可执行的内容”。
主要能力
技能覆盖以下方向：
- 延迟预算与尾延迟控制：以 SLO 和负载模型衡量 TTFT/ITL 及负载下的 P95/P99；通过准入控制、队列上限和背压防止 p99 爆炸。
- 吞吐优化：连续批处理、KV 缓存感知服务（PagedAttention/vLLM）、智能调度（Orca 调度）。
- 成本控制：模型分层（小/中/大路由器）、缓存（前缀/响应）、配额。
- 长上下文：分块预填充、提示压缩、FlashAttention-3、上下文预算。
- 并行化：张量并行（TP）、流水线并行（PP）、数据并行（DP），按模型规模与互连选择。
- 量化与压缩：FP8/FP4/INT8/INT4 决策树，GPTQ、AWQ、GGUF 等模板。
- 投机解码：延迟关键且草稿模型质量可接受时使用。
- 可靠性与高可用：超时、熔断、幂等、多区域、故障转移、流量管理。
- 边缘与 CPU 部署：llama.cpp/GGUF。
- 性能剖析与容量规划：基准测试、SLO、副本规模估算。
使用方式
当用户提出以下需求时，Codex 应激活该技能：优化 LLM 推理延迟或吞吐、选择量化策略、配置 vLLM/TensorRT-LLM/DeepSpeed 推理、跨 GPU 扩展推理、构建高吞吐 LLM API、改善上下文窗口性能、使用投机解码、降低每 token 成本、剖析与基准测试推理负载、规划基础设施容量、CPU/边缘部署模式、高可用与弹性模式。
技能要求先收集（或推断）输入：模型与变体、流量形态、SLO 与预算、服务栈、硬件与拓扑、约束条件。随后按决策树选择优化路径，并参考对应 references 与 assets 模板。
技能还包含“趋势感知协议”：当用户询问推理引擎/量化/批处理等推荐类问题时，要求先用 WebSearch 检查当前趋势，再报告当前格局、新兴趋势、已弃用/衰退的技术以及基于新数据的建议。
适用场景
适用于生产环境 LLM 推理端点的延迟、吞吐、成本与可靠性优化，包括高并发服务、长上下文与 RAG 密集型应用、大模型多 GPU 部署、边缘/CPU 部署、容量规划与基准测试等。
限制与边界
资料明确划定范围边界：提示工程、调优、数据集属于 ai-llm；RAG 流水线构建属于 ai-rag；部署、API、监控、安全与治理属于 ai-mlops；性能监控属于 qa-observability；基础设施运维属于 ops-devops-platform。
准确性协议要求：性能比率（如“快 2 倍”）在无来源引用且工作负载不可比时视为假设；不建议在未说明假设（模型规模、上下文长度、并发、互连）的情况下推荐硬件/SKU 变更；优先采用实测基线加检查清单驱动的上线方式。GPU/SKU 建议被视为时效性内容，需以厂商文档和自测基准验证。
资源结构
技能包含 references（如 disaggregated-inference.md、serving-architectures.md、quantization-patterns.md、kv-cache-optimization.md、parallelism-patterns.md、edge-cpu-optimization.md 等）、assets 模板（vLLM、TensorRT-LLM、DeepSpeed、AWQ、GPTQ、GGUF、批处理、前缀缓存、延迟吞吐测试、推理评审清单）以及 data/sources.json。
暂未提供
资料未提供具体收费、价格、平台支持范围、实际性能数据或安装命令。