TensorRT-LLM 是 NVIDIA 推出的开源库，用于优化大语言模型（LLM）和视觉生成（Visual Gen）的推理。它提供面向 NVIDIA GPU 的先进优化能力，帮助用户在推理场景中获得更好的性能表现。
主要能力
- 针对常见推理操作的自定义内核，覆盖 attention、GEMM、MoE 等。
- 运行时算法优化，包括 Prefill-Decode 分离（disaggregation）、Wide Expert Parallelism、Speculative Decoding 等。
- 高层 Python LLM API，支持从单 GPU 到多 GPU、多节点部署的多种推理设置。
- 内置多种并行策略与高级特性支持。
- 与 NVIDIA Dynamo、Triton Inference Server 等推理生态无缝集成。
- 模块化、易于修改：PyTorch 原生架构允许开发者实验运行时或扩展功能；多个流行模型已预定义，并可用原生 PyTorch 代码自定义。
使用方式 官方文档提供以下入口：
- Quick Start Guide（快速开始指南）
- Running DeepSeek（运行 DeepSeek）
- Installation Guide（安装指南）
- Supported Hardware, Models, and other Software（支持的硬件、模型及其他软件）
- Benchmarking Performance（性能基准测试）
TensorRT-LLM 提供 Python 与 C++ 运行时组件，用于以高性能方式编排推理执行。
适用场景
- 在 NVIDIA GPU 上部署 LLM 推理，从单 GPU 到多 GPU、多节点场景。
- 需要自定义内核、量化、投机解码、长上下文优化、MoE 优化等高级推理优化的场景。
- 与 Triton Inference Server、NVIDIA Dynamo 等推理服务生态配合使用。
- 视觉生成（扩散模型）推理。
最新动态（官方列出的部分更新）
- KV Cache Compression in TensorRT LLM
- GVR V2：Self-Sampling and Multi-Thresholding for Faster Exact Top-K
- Accelerating Video Generation with GEMM Quantization, Attention Quantization and Skip Softmax Attention
- Evaluating Agentic Serving with Trace Replay and Job-Level Metrics
- DeepSeek-V4 on NVIDIA Blackwell：Model-Specific and Agentic-Workload Optimizations
- Scaling Video Generation Across NVL72 Rack
- Joint Optimization of Agent Applications and TensorRT-LLM
- Tuning CUDA Graph Batch Sizes for Higher Output Throughput
- DWDP：Distributed Weight Data Parallelism for High-Performance LLM Inference on NVL72
- Optimizing MoE Communication with One-Sided AlltoAll Over NVLink
- Sparse Attention in TensorRT LLM
- Accelerating Long-Context Inference with Skip Softmax Attention
- Optimizing DeepSeek-V3.2 on NVIDIA Blackwell GPUs
- Inference Time Compute Implementation
- Combining Guided Decoding and Speculative Decoding
- ADP Balance Strategy
- Running a High-Performance GPT-OSS-120B Inference Server
- Scaling Expert Parallelism（Part 1 与 Part 2）
- N-Gram Speculative Decoding
- Disaggregated Serving
- 支持扩散模型用于视觉生成
- 对 OpenAI GPT-OSS-120B、GPT-OSS-20B 的 Day-0 支持
- 对 LG AI Research EXAONE 4.0 的 Day-0 支持
- Blackwell 上 Meta Llama 4 Maverick 突破 1,000 TPS/User
- Llama 4 在 B200 GPU 上超过 40,000 tokens/秒
- 完全开源，开发移至 GitHub
- 官方发布 DeepSeek R1 性能基准测试最佳实践
- NVIDIA Blackwell 以 TensorRT LLM 实现 DeepSeek-R1 世界纪录推理性能
- 更早的更新还包括 KV Cache Reuse 优化、Bing 搜索优化、Llama 3.3 70B 推理吞吐提升、Speculative Decoding 支持、Jetson AGX Orin 支持、Multiblock Attention、多语言优化、SD3 INT8 量化、ComfyUI 部署等。
弃用政策 从 1.0 版本开始，TensorRT LLM 采用弃用政策：弃用通知记录在 Release Notes 中；被弃用的 API、方法、类或参数会在源码中标明弃用时间，使用时产生运行时弃用警告。弃用后提供 3 个月迁移期，期间被弃用项仍可用但会告警；迁移期结束后按语义化版本规则移除（主版本变更可能包含破坏性移除）。弃用范围包括整体 API/方法/类弃用，以及仅部分参数弃用（方法本身仍可用，被弃用参数将在未来版本移除）。
遥测数据收集 TensorRT-LLM 默认收集匿名遥测数据，用于汇总了解使用模式并确定工程优先级，数据无法追溯到任何个人用户。不收集提示词、输出、模型权重、模型路径、tokenizer 路径、可识别用户信息、原始自由格式配置字符串或持久标识符；部署标识符为临时的、每次部署随机生成，且不与用户关联。收集的数据包括：入口点（如 LLM API、CLI、serve 命令）、部署时长（通过周期性心跳）、GPU SKU、数量、内存与 CUDA 版本、公开模型架构标识符（可能为上游 checkpoint 架构或公开文档化的 TensorRT-LLM 运行时架构；白名单之外的标识符仅发送确定性 SHA-256 哈希）、并行配置（TP/PP/CP/MoE-EP/MoE-TP 大小）、量化算法、dtype、KV cache dtype、系统信息（OS 平台、Python 版本、CPU 架构、CPU 数量）、TRT-LLM 版本与后端、特性汇总标志（LoRA、speculative decoding、prefix caching、CUDA graphs、chunked context、data parallelism）、分离式服务元数据（角色与部署 ID）、进程本地 LLM 生命周期信息。
限制与说明 资料未提供具体收费、价格、平台支持细节、性能数字的完整测评或具体使用步骤，相关内容暂未提供。
