pytorch

用途：该技能聚焦使用 PyTorch 进行深度学习开发，涉及 transformers、扩散模型和 GPU 优化。\n\n主要能力：编写简洁的技术代码与示例；以面向对象方式实现模型架构；实现 GPU 利用与混合精度训练。模型开发方面，支持自定义 nn.Module 类、forward 前向逻辑、权重初始化及非参数张量缓冲注册；利用自动微分，在推理时使用 torch.no_grad()，必要时实现自定义 autograd 函数并处理梯度累积。\n\nTransformers 与扩散模型：使用 Hugging Face Transformers 加载预训练模型，正确实现注意力机制，应用 LoRA、P-tuning 等高效微调，并处理分词与序列；使用 Diffusers 库处理扩散模型，实现前向/反向扩散过程，选用合适的噪声调度器，理解 SDXL 等 pipeline 变体。\n\n训练与优化：实现高效 DataLoader、划分训练/验证/测试集、数据增强、流式处理大数据集；应用学习率调度、早停、梯度裁剪，处理 NaN/Inf；使用 DataParallel/DistributedDataParallel 多 GPU、梯度累积、torch.cuda.amp 混合精度并分析性能瓶颈。可用 Gradio 创建交互式推理演示并优雅处理错误。限制：资料未提供具体安装命令、版本要求或收费信息。