用途:为消费级 NVIDIA GPU(8–24GB 显存)提供基于证据的 GPU 优化模式,覆盖训练与数据预处理环节。使用前需先填写硬件档案:GPU 型号、显存、CUDA 版本、TDP/功耗限制、驱动版本;显存容量决定可用策略。
主要能力:1) XGBoost GPU 加速,推荐 QuantileDMatrix(资料称约快 1.8 倍),关键参数含 tree_method='hist'、device='cuda:0'、max_bin、grow_policy、predictor='gpu_predictor',并提供 GPU 可用性校验与 QuantileDMatrix 复用。2) PyTorch 混合精度,优先 BF16(Ampere 及以上原生支持、无需 GradScaler),否则 FP16 配合 GradScaler。3) 显存管理:梯度检查点(资料称省约 40% 显存、增约 20% 计算)、显存监控、梯度累积、显存优化实验设计。4) 向量化:用张量查找替代 Python 循环、register_buffer 常驻 GPU、批处理。5) CuPy 迁移 NumPy(适合 >1M 元素),与 PyTorch 零拷贝互操作,安装 uv pip install cupy-cuda12x。6) cuDF 迁移 Pandas(适合 >1GB DataFrame),可直接构建 XGBoost DMatrix,安装 uv pip install cudf-cu12 --extra-index-url=https://pypi.nvidia.com。7) torch.compile、fused 优化器、cuDNN benchmark。8) 加权槽位损失与 Focal Loss。9) 位置嵌入与注意力掩码缓存。另含 nvidia-smi、torch.profiler、bottleneck 等诊断方式与迁移清单、反模式。
限制:仅覆盖 NVIDIA GPU,不含 AMD ROCm 与 Intel Arc;假设单 GPU,多卡 DDP/FSDP 未涉及;面向 8–24GB 消费级卡,数据中心卡策略可能不同;框架仅限 PyTorch、XGBoost、RAPIDS(CuPy/cuDF),不含 JAX、TensorFlow、MXNet;笔记本 GPU 受 TDP 限制,持续吞吐可能与桌面基准差异明显。性能提升为典型基准区间,实际取决于负载与硬件。