用途：在 NVIDIA GPU 服务器上部署 ML 模型前，把 ONNX 模型编译为针对该服务器 GPU 硬件优化的 TensorRT 引擎，以降低推理延迟。资料建议对所有 ML 模型在生产部署前应用。
主要能力：层融合、FP16/INT8 量化等优化；资料称延迟最高可降低至 5 倍。
使用方式：TensorRT 已包含在 Triton 容器中，也可从 NVIDIA 安装：pip install tensorrt。用 Python API 将 ONNX 转为 TensorRT 引擎：创建 trt.Builder 与 builder_config，设置 trt.BuilderFlag.FP16 启用 FP16，创建显式 batch 网络，用 trt.OnnxParser 解析 model.onnx，调用 build_serialized_network 构建并写入 model.trt。随后在 Triton 中以 TensorRT 后端加载该引擎。可用 perf_analyzer 对比 ONNX Runtime 与 TensorRT 的延迟来测量加速比。
限制与注意：TensorRT 引擎与具体 GPU 型号绑定，硬件变更需重新编译；INT8 需要代表性数据集做校准，FP16 则可直接使用；trtexec 是 TensorRT 自带的 CLI 诊断工具。资料未提供具体版本要求、支持平台范围与实测数据细节。