用途：帮助研究者与工程人员超越 nn.Sequential 的常规用法，掌握 PyTorch 内部机制，适用于自定义层、梯度调试、多 GPU 扩展、性能调优与部署等场景。
主要能力：自定义 Autograd Function（如直通估计器 STE）；使用 register_full_backward_hook 检查或修改梯度、register_forward_hook 提取激活值；用 torch.nn.init（Xavier、Kaiming）显式初始化权重；使用 DistributedDataParallel（DDP）配合 DistributedSampler 做多进程多卡训练；用 torch.profiler 定位瓶颈算子；用 torch.utils.checkpoint 做梯度检查点以显存换计算；OneCycleLR 等动态学习率；梯度裁剪（clip_grad_norm_）防止梯度爆炸；混合精度（torch.cuda.amp）与 OOM 应对策略；TorchScript、FX 用于高性能推理部署。
使用方式：按标准方式导入 torch、torch.nn、torch.nn.functional、torch.distributed、DDP 与 DistributedSampler；自定义函数继承 torch.autograd.Function 并实现 forward/backward，用 .apply 调用；初始化用 model.apply(init_weights)；DDP 用 mp.spawn 启动，dist.init_process_group("nccl", ...) 初始化，训练结束调用 dist.destroy_process_group()；训练循环正确顺序为 optimizer.zero_grad()、loss.backward()、optimizer.step()。
关键规则与限制：避免自定义层使用 inplace=True；循环内避免 .item() 以免 CPU-GPU 同步；DistributedSampler 需设 shuffle=False；建议用 DDP 而非 DataParallel；谨慎使用 torch.cuda.empty_cache()，它不向系统释放物理内存。常见坑包括原地修改导致的 backward 报错、zero_grad 位置错误导致模型不学习、CUDA OOM。参考文档见 https://pytorch.org/docs/stable/notes/autograd.html、https://pytorch.org/docs/stable/distributed.html、https://pytorch.org/tutorials/recipes/recipes/profiler_recipe.html。