TensorRT-LLM 是 NVIDIA 开源的大语言模型推理优化库，用于在 NVIDIA GPU 上实现高性能 LLM 推理。
用途：适合在 NVIDIA GPU（如 A100、H100、GB200）上部署模型，追求最大吞吐（资料称 Llama 3 可达 24,000+ tokens/秒）、实时应用低延迟、使用 FP8/INT4/FP4 量化模型，以及跨多 GPU 或多节点扩展。若需要更简单的 Python 优先 API、无 TensorRT 编译的 PagedAttention，或使用 AMD/非 NVIDIA 硬件，资料建议改用 vLLM；若在 CPU 或 Apple Silicon 上部署、需要边缘部署或 GGUF 量化，建议改用 llama.cpp。
主要能力：性能优化包括 in-flight batching（生成中动态批处理）、Paged KV cache、Flash Attention、FP8/INT4/FP4 量化（资料称可提速 2–4 倍）、CUDA graphs。并行支持张量并行（TP）、流水线并行（PP）、专家并行（面向 MoE 模型）与多节点扩展。高级特性包括投机解码、LoRA 服务、分离式服务（prefill 与生成分离）。支持 LLaMA、GPT、Qwen、DeepSeek、Mixtral、LLaVA 等系列及 HuggingFace 上 100+ 模型。
使用方式：推荐用 Docker 镜像（位于 NGC，非 Docker Hub）：docker pull nvcr.io/nvidia/tensorrt-llm/release:x.y.z；也可 pip install tensorrt_llm，需 CUDA 13.2.1、TensorRT 10.x、Python 3.10–3.12。基础推理通过 from tensorrt_llm import LLM, SamplingParams 初始化模型并调用 llm.generate。服务化可用 trtllm-serve 启动，例如 trtllm-serve meta-llama/Meta-Llama-3-8B --tp_size 4 --max_batch_size 256 --max_num_tokens 4096，再以 HTTP 请求 /v1/chat/completions 调用。量化示例：LLM(model=..., dtype="fp8", max_num_tokens=8192)；多 GPU 示例：tensor_parallel_size=8。
限制：依赖 NVIDIA GPU 与特定 CUDA/TensorRT/Python 版本；需要编译与调优，配置较复杂；资料未提供价格、许可细节及完整支持矩阵，部分性能数据为资料所述基准，实际效果可能因环境而异。