TensorRT-LLM 是 NVIDIA 开源的大语言模型（LLM）推理优化库，用于在 NVIDIA GPU 上实现高性能推理。
用途与适用场景
资料给出的适用场景包括：部署在 NVIDIA GPU（A100、H100、GB200）上；需要最大吞吐（例如 Llama 3 上 24,000+ tokens/sec）；需要面向实时应用的低延迟；使用量化模型（FP8、INT4、FP4）；需要跨多 GPU 或多节点扩展。
资料同时给出替代方案的判断条件：当需要更简单的安装配置、Python-first API，或希望无需 TensorRT 编译即获得 PagedAttention，或使用 AMD GPU 与非 NVIDIA 硬件时，建议改用 vLLM；当部署在 CPU 或 Apple Silicon、需要无 NVIDIA GPU 的边缘部署、或希望使用更简单的 GGUF 量化格式时，建议改用 llama.cpp。
安装方式
资料提供三种安装途径： Docker（推荐）：docker pull nvidia/tensorrt_llm:latest pip 安装：pip install tensorrt_llm==1.2.0rc3 环境要求：需要 CUDA 13.0.0、TensorRT 10.13.2、Python 3.10-3.12。
基本推理用法
使用 LLM 与 SamplingParams 两个入口。示例中通过 LLM(model="meta-llama/Meta-Llama-3-8B") 初始化模型，用 SamplingParams 配置 max_tokens、temperature、top_p 等采样参数，再调用 llm.generate(prompts, sampling_params) 生成并打印结果。
服务化部署
资料提供 trtllm-serve 命令启动服务，支持自动下载与编译模型，并可设置 --tp_size（张量并行，示例为 4 张 GPU）、--max_batch_size、--max_num_tokens 等参数。客户端可使用向 http://localhost:8000/v1/chat/completions 发送的 HTTP 请求，请求体包含 model、messages、temperature、max_tokens 等字段。
主要能力与优化特性
性能优化：in-flight batching（生成过程中的动态批处理）、Paged KV cache（高效显存管理）、Flash Attention（优化的注意力内核）、量化（FP8、INT4、FP4，资料称可带来 2-4 倍加速）、CUDA graphs（降低内核启动开销）。 并行能力：张量并行（TP）将模型拆分到多 GPU、流水线并行（PP）按层分布、专家并行（用于 MoE 模型）、多节点以超出单机规模扩展。 高级特性：投机解码（借助草稿模型加速生成）、LoRA 服务（高效部署多适配器）、分离式服务（拆分 prefill 与生成）。
常见使用模式
资料给出三种模式： 量化模型（FP8）：通过 LLM(model="meta-llama/Meta-Llama-3-70B", dtype="fp8", max_num_tokens=8192) 加载，资料称相比 FP16 约 2 倍加速、显存减少 50%，推理调用方式不变。 多 GPU 部署：通过 tensor_parallel_size=8 将 405B 模型张量并行到 8 张 GPU，并可设置 dtype="fp8"。 批量推理：一次传入多个 prompt，由系统自动进行 in-flight batching 以提升吞吐。
性能基准（资料所载）
Meta Llama 3-8B（H100 GPU）：吞吐 24,000 tokens/sec，延迟约 10ms/token，资料称相比 PyTorch 快 100 倍。 Llama 3-70B（8× A100 80GB）：FP8 量化比 FP16 快 2 倍，显存减少 50%。
支持的模型
资料列举的支持范围包括：LLaMA 系列（Llama 2、Llama 3、CodeLlama）；GPT 系列（GPT-2、GPT-J、GPT-NeoX）；Qwen（Qwen、Qwen2、QwQ）；DeepSeek（DeepSeek-V2、DeepSeek-V3）；Mixtral（Mixtral-8x7B、Mixtral-8x22B）；视觉模型（LLaVA、Phi-3-vision）。并称 HuggingFace 上有 100+ 模型可用。
参考资料与资源
资料提及优化指南（量化、批处理、KV cache 调优）、多 GPU 设置（张量/流水线并行、多节点）、服务指南（生产部署、监控、自动扩缩容）。官方资源包括文档 https://nvidia.github.io/TensorRT-LLM/ 、GitHub https://github.com/NVIDIA/TensorRT-LLM 、模型库 https://huggingface.co/models?library=tensorrt_llm 。
限制与说明
资料以 NVIDIA GPU 为部署前提，未提供 CPU、AMD 或 Apple Silicon 支持；未说明具体许可证、价格与商业支持信息；具体版本兼容性与后续版本变化暂未提供。