用途:为 PyTorch 训练与推理提供可复用的 GPU 优化模式,帮助定位显存与吞吐瓶颈。
主要能力:
- 显存分析与预算:用 torch.cuda.memory_allocated/memory_reserved 打印占用,并按参数量与 dtype 估算参数、优化器状态、梯度及训练总显存;用 reset_peak_memory_stats 与 max_memory_allocated 跟踪峰值。
- torch.compile:训练用 mode="default",推理用 mode="reduce-overhead"(CUDA graphs),极致吞吐用 mode="max-autotune";可用 torch._dynamo.explain 查看 graph break。
- torch.profiler:以 schedule(wait/warmup/active) 采样,配合 record_function 标记 data_to_gpu、forward、backward、optimizer_step,按 cuda_time_total 输出热点内核。
- 混合精度:BF16 在 A100/H100 上无需 GradScaler;FP16 需 GradScaler 缩放损失并 clip_grad_norm_。
- 4-bit 量化:BitsAndBytesConfig 使用 nf4、bnb_4bit_compute_dtype=torch.bfloat16、bnb_4bit_use_double_quant=True,配合 device_map="auto" 加载大模型。
- DataLoader:num_workers、pin_memory、prefetch_factor、persistent_workers、drop_last,以及 numpy memmap 数据集。
反模式:无预热即剖析;训练循环中调用 empty_cache();A100 上用 FP16 训练 LLM;小批量且不做梯度累积;对动态形状直接 torch.compile。
限制:资料未提供具体版本要求、支持硬件范围、性能提升数值与安装命令,需自行按环境验证。