用途：整理大语言模型训练与微调的框架和技术，帮助开发者按场景选择工具与优化手段。
框架对比（资料给出）：Accelerate 适合简单分布式，多 GPU 支持、内存效率基础；DeepSpeed 适合大模型与 ZeRO，多 GPU、内存效率优秀；PyTorch Lightning 适合清晰训练循环；Ray Train 适合可扩展多节点；TRL 适合 RLHF 与奖励建模；Unsloth 适合快速 LoRA 微调，多 GPU 支持有限但内存效率优秀。
主要能力：Accelerate 以 accelerator.prepare() 包装模型、优化器与数据加载器，用 accelerator.backward() 计算损失，可用 accelerate config 交互配置。DeepSpeed 通过 JSON 配置，ZeRO 分三阶段：阶段 1 划分优化器状态，阶段 2 增加梯度划分，阶段 3 再划分参数（面向 100B+ 最大模型），阶段越高越省显存但通信开销越大。TRL 支持 SFT（监督微调）、DPO（直接偏好优化，用偏好对，无需奖励模型）和 PPO（经典 RLHF）。Unsloth 是标准 LoRA 的即插即用替代，自动优化，适合 7B-13B 模型。
显存优化：梯度检查点约省 30-50% 但训练变慢；混合精度 fp16/bf16 约省 50%，有轻微精度损失；4-bit 量化（QLoRA）约省 75%，有一定质量损失；Flash Attention 约省 20-40%，需兼容 GPU；梯度累积可增大有效批次且不增加显存。
选型建议：简单微调用 Accelerate + PEFT；7B-13B 用 Unsloth 最快；70B+ 用 DeepSpeed ZeRO-3；RLHF/DPO 对齐用 TRL；多节点集群用 Ray Train；追求整洁代码结构用 PyTorch Lightning。
资源链接：Accelerate https://huggingface.co/docs/accelerate ；DeepSpeed https://www.deepspeed.ai/ ；TRL https://huggingface.co/docs/trl ；Unsloth https://github.com/unslothai/unsloth 。
限制：资料未提供具体安装命令、版本要求、价格或实际效果数据，使用前需自行核实环境与官方文档。