用途：TransformerEngine（TE）是 NVIDIA 推出的库，用于在 NVIDIA GPU 上加速 Transformer 模型的训练，并兼顾推理场景的性能与显存占用优化。
主要能力：提供优化的基础模块与融合内核，并配合自动混合精度风格的 PyTorch 和 JAX API，使低精度训练无需重写训练栈即可接入。库内管理低精度配方所需的缩放因子、amax 历史与量化元数据。模块覆盖注意力、线性层、归一化、Mixture-of-Experts（MoE）以及大规模分布式训练中的通信操作。精度支持包括：Hopper、Ada、Blackwell、Rubin GPU 上的 FP8 训练；Blackwell GPU 上的 MXFP8 与 NVFP4 训练；Ampere 及之后架构的 FP16、BF16 优化；并支持 tensor、sequence、context 与 EP 并行及通信重叠。
使用方式：按所用框架安装最新稳定版；官方建议使用 NVIDIA NGC 框架容器获得可直接运行的环境，将 <YY.MM> 替换为 NVIDIA Deep Learning Frameworks Support Matrix 中列出的容器发布版本。随后可参考 PyTorch 与 JAX 入门指南；前置条件、源码构建、环境变量与故障排查见安装指南。项目已与 Hugging Face Accelerate、NVIDIA BioNeMo Recipes、NVIDIA JAX Toolbox、NVIDIA Megatron-LM、NVIDIA NeMo Megatron Bridge、Amazon SageMaker Model Parallel Library 等框架集成。
适用场景：面向在 NVIDIA GPU 上进行大规模 Transformer 训练与推理的团队，尤其是希望采用 FP8/FP4 低精度以提升性能、降低显存占用的 PyTorch 或 JAX 用户。
限制：具体硬件与精度支持受 GPU 架构限制（如 FP8 需 Hopper、Ada、Blackwell、Rubin；MXFP8 与 NVFP4 需 Blackwell）。资料未提供具体收费与价格信息。
