TensorRT-LLM 是 NVIDIA 开源的大语言模型推理优化库，目标是在 NVIDIA GPU 上获得高性能推理表现。
用途：适用于在 NVIDIA GPU（如 A100、H100、GB200）上部署大语言模型，追求最大吞吐、实时低延迟、量化模型推理，以及跨多 GPU 或多节点扩展。资料建议：若需要更简单的安装与 Python 优先 API，或者使用 AMD 与非 NVIDIA 硬件，可改用 vLLM；若在 CPU 或 Apple Silicon 上部署、需要边缘部署或更简单的 GGUF 量化格式，可改用 llama.cpp。
主要能力：性能优化包括在途批处理（生成过程中动态批处理）、分页 KV 缓存、Flash Attention、FP8/INT4/FP4 量化（宣称 2–4 倍推理加速）、CUDA graphs 降低内核启动开销。并行方面支持张量并行（TP）、流水线并行（PP）、面向混合专家模型的专家并行以及多节点扩展。高级特性包括投机解码、LoRA 多适配器服务、分离式服务（将预填充与生成拆分）。
使用方式：安装可选 Docker 镜像 nvidia/tensorrt_llm:latest，或 pip install tensorrt_llm==1.2.0rc3；资料标注需 CUDA 13.0.0、TensorRT 10.13.2、Python 3.10–3.12。基础推理通过 from tensorrt_llm import LLM, SamplingParams 初始化模型并调用 llm.generate；服务化可用 trtllm-serve 启动，支持自动下载与编译模型，参数如 --tp_size、--max_batch_size、--max_num_tokens，并提供兼容 chat/completions 的 HTTP 接口。量化示例使用 dtype="fp8"，多 GPU 示例使用 tensor_parallel_size=8，批量推理可直接传入提示列表。
适用场景：生产环境高性能部署、实时应用、量化模型服务、多卡与多节点规模扩展、LoRA 多适配器与分离式服务等。
支持模型：资料列出 LLaMA 系列（Llama 2、Llama 3、CodeLlama）、GPT 系列（GPT-2、GPT-J、GPT-NeoX）、Qwen/Qwen2/QwQ、DeepSeek-V2/V3、Mixtral-8x7B/8x22B、视觉模型 LLaVA 与 Phi-3-vision，并称 HuggingFace 上有 100+ 模型。
限制与说明：性能数据（如 Llama 3-8B 在 H100 上 24,000 tokens/sec、约 10ms/token、相对 PyTorch 快 100 倍，70B FP8 快 2 倍、内存减半）来自资料示例，实际效果未提供独立验证；具体价格、许可条款、监控与自动扩缩容细节暂未提供。