SuperAPI AI 工具集

Skill 广场

找到适合任务的 Agent Skill,阅读介绍并复制安装命令。

更新于 10-27 00:15

编程与开发

38,251 个结果

pytorch-fsdp2

该技能用于指导编码智能体在 PyTorch 训练脚本中正确接入 FSDP2(fully_shard),涵盖分布式初始化、参数分片、混合精度与 CPU offload 配置,以及分布式检查点保存与加载。适用于模型(参数、梯度、优化器状态)无法放入单张 GPU,或希望采用基于 DTensor 的逐参数分片、更易检查的分片状态字典的场景。技能强调若干必须遵守的约定:使用 torchrun 启动并按 LOCAL_RANK 设置 CUDA 设备;自底向上应用 fully_shard(先子模块后根模块);调用 model(input) 而非 model.forward(input) 以触发钩子;在分片之后创建优化器;使用分布式检查点(DCP)或分布式状态字典辅助函数而非朴素 torch.save。同时给出与 DDP、FSDP1 的取舍建议,以及常见问题(如钩子未运行、优化器拿到非 DTensor 参数、仅根模块被分片、前向后显存尖峰、梯度累积失步)的排查与修复方向。

编程与开发76 次安装

pytorch-lightning

PyTorch Lightning 是一个基于 PyTorch 的高层训练框架,核心是 Trainer 类,用于在保持灵活性的同时消除训练代码中的样板代码。它通过 LightningModule 组织 PyTorch 代码,由 Trainer 自动处理 GPU/TPU/CPU 切换、分布式训练(DDP、FSDP、DeepSpeed)、混合精度(FP16、BF16)、梯度累积、检查点、日志和进度条。安装命令为 pip install lightning,版本 2.5.5+。它能将原本 40 多行的 PyTorch 训练循环压缩到约 15 行,无需手动管理设备和分布式逻辑,支持单机多卡、多节点和 TPU,并提供回调系统(如 EarlyStopping、ModelCheckpoint、LearningRateMonitor)与学习率调度。

编程与开发76 次安装