ai-llm-inference

用途：为 LLM 推理服务提供选型与调优的运营指引，聚焦运行时匹配、请求路由、输出保证、适配器加载、多模态服务及负载下的实测性能。易变的版本、硬件支持、基准、价格与发布状态需查最新一手来源。\n\n主要能力：当用户需要推理引擎选型或栈对比、优化延迟/TTFT/ITL/吞吐、缓存感知路由与控制面设计、按运行时和硬件选择量化策略、多 GPU 或多节点服务、结构化输出或受限解码、多模态或编码器-解码器服务模式、LoRA 或多适配器服务、自托管或 API 推理降本、基准测试/性能剖析/容量规划时使用。范围边界：提示词归 ai-prompt-engineering，评估集与质量门禁归 ai-evals，微调等模型适配归 ai-llm，单机本地运行归 ai-local-model-ops，RAG 归 ai-rag，部署自动化/监控/事故响应归 ai-mlops。\n\n使用方式：先收集必需输入（模型家族、规模、上下文长度、分词器、模态、适配器；请求契约；长度分布、并发、QPS、突发；前缀/会话/检索/LoRA 复用；当前引擎、版本、路由、自动扩缩、缓存；硬件与拓扑；SLO；验收标准），再按决策流选栈、路由策略、量化路径与输出控制策略；先测基线，一次只改一个杠杆，对比吞吐、延迟与质量标准。\n\n限制：不要脱离工作负载给“最佳引擎”定论，不要用过期基准比当作架构依据，未证明同置干扰前不要做分离式部署，改精度需有回滚与评估集，前缀或适配器局部性是主要成本时避免通用轮询。量化需在目标运行时内选择并在上线前重跑延迟、长上下文与结构化输出验证；批处理与延迟在计算受限拐点后互相权衡，容量应按权重、KV 缓存与余量共同估算，并预留冷启动与适配器加载余量。