deepspeed
本 Skill 是针对 DeepSpeed 分布式训练的专家指导型工具,内容根据官方文档生成,覆盖 ZeRO 优化阶段、流水线并行、FP16/BF16/FP8 混合精度、1-bit Adam、稀疏注意力等主题。当用户在处理 DeepSpeed、询问其功能或 API、实现 DeepSpeed 方案、调试 DeepSpeed 代码或学习其最佳实践时,该 Skill 会被触发。资料中给出的具体能力示例包括 DeepNVMe 数据搬运实践,以及面向 NLG 模型的 Mixture of Experts 训练流程,后者可降低训练成本并缩小 MoE 模型体积。资料提供的内容包含环境要求、句柄创建、阻塞与非阻塞文件读写、并行文件写入、pinned 张量、性能调优工具 ds_nvme_tune 以及 API 列表等细节。对于价格、收费模式、支持的平台范围或效果承诺,资料未提供相关信息。