用途
该技能面向使用 PyTorch 进行深度强化学习与自然语言处理开发的场景，提供专家级指导。它覆盖 PyTorch 2.7+ 的开发实践，重点包括基于 TorchRL 的深度强化学习，以及基于 HuggingFace Transformers 的 NLP 任务。
主要能力
- 提供经过验证的库版本信息（截至 2025 年 12 月）：PyTorch 2.9.1+（最低 2.7+，推荐 CUDA 12.4）、TorchRL 0.10.x、HuggingFace Transformers 4.56.2+、Gymnasium 1.0.0+、PEFT（LoRA 微调）、PettingZoo（多智能体 RL）。
- 列出弃用警告与替代写法，例如：
import gym应改为import gymnasium as gym；Trainer 中的evaluation_strategy应改为eval_strategy；CUDA 低于 12.1 应改用 CUDA 12.4；env.step()返回 4 个值应改为返回 5 个值（obs, reward, terminated, truncated, info）。 - 提供跨平台设备配置代码，支持 cuda、mps、xpu、cpu，并包含
torch.compile优化。 - 提供 TorchRL 的 DQN 与 PPO 快速上手代码，涉及 GymEnv、SyncDataCollector、ReplayBuffer、LazyTensorStorage、DQNLoss、HardUpdate、ClipPPOLoss、GAE 等组件。
- 提供 HuggingFace 快速上手代码，包括 pipeline 推理与 Trainer 微调示例。
- 提供详细指南的加载索引，涵盖 PyTorch 基础、强化学习、NLP Transformers、优化与部署、高级主题（CLIP、RLHF、伦理）。
- 提供常见模式代码：Gymnasium 现代 API、AMP 训练循环、PEFT/LoRA 微调。
- 提供安装命令，包括虚拟环境创建、PyTorch CUDA 12.4 安装、RL 库、NLP 库、实验跟踪工具。
- 提供 Apple Silicon（M2/M3/M4）的 MPS 支持说明与限制。
使用方式
该技能以参考文档形式组织，用户可根据主题加载对应指南：PyTorch 基础（张量、Autograd、nn.Module）加载 references/pytorch-fundamentals.md；强化学习（TorchRL、DQN、PPO）加载 references/reinforcement-learning.md；NLP（HuggingFace、BERT、微调）加载 references/nlp-transformers.md；优化与部署（torch.compile、量化、DDP）加载 references/optimization-deployment.md；高级主题（CLIP、RLHF、伦理）加载 references/advanced-topics.md。安装部分给出了具体的 pip 命令，用于搭建开发环境。
适用场景
- 构建深度强化学习项目，使用 TorchRL 实现 DQN、PPO 等算法。
- 进行 NLP Transformer 任务，如文本分类、微调预训练模型。
- 在 Apple Silicon Mac 上进行原型开发、轻到中等训练负载、本地推理与学习实验。
- 需要了解库版本兼容性、弃用 API 迁移、设备配置与性能优化的开发者。
限制
- Apple Silicon 的 MPS 后端存在限制：并非所有操作都支持，部分会回退到 CPU；不支持分布式训练（仅单 GPU）；不支持 float64（需使用 float32）；SDPA 可能不稳定（出现问题时可改用 eager attention）；
torch.compile支持有限，需充分测试，可能需禁用；速度约为 RTX 4090 的 1/3，但能耗低约 80%。 - 该技能为知识指导型，具体项目效果取决于实际实现与环境。
- 关于收费、价格、平台等信息，资料中暂未提供。