ray-train

Ray Train 是 Ray 项目提供的分布式训练编排工具，目标是用尽量少的代码改动把机器学习训练从单 GPU 扩展到多节点集群。

主要能力与用途：

• 分布式训练：支持 PyTorch、TensorFlow、HuggingFace Transformers、XGBoost 等框架，同一份代码可在 1 个 GPU 或上千个节点上运行。
• 自动处理分布式协调：包括 GPU 分配、设备放置、容错、检查点、指标聚合，训练函数只需关注模型与训练循环。
• 内置超参数调优：与 Ray Tune 集成，可定义搜索空间、运行多组试验，并使用 ASHA 等调度器做早停。
• 检查点与容错：通过 train.get_checkpoint() 恢复训练状态，配合 Checkpoint 定期保存模型与优化器状态，训练失败后可自动从检查点恢复。
• 多节点训练：连接 Ray 集群后，用 ScalingConfig 指定 worker 数量、GPU/CPU 资源和放置策略（如 SPREAD）即可跨节点训练。

使用方式： 安装：pip install -U "ray[train]" 基本流程是定义训练函数 train_func，在其中用 train.torch.prepare_model 和 prepare_data_loader 准备分布式模型与数据，用 train.report 上报指标；然后用 TorchTrainer、TransformersTrainer 等训练器配合 ScalingConfig 启动训练。多节点时先启动 Ray 集群（ray start --head 和 ray start --address），再通过 ray.init(address="auto") 连接。

适用场景：

• 需要跨多台机器训练，而非单机多卡；
• 需要大规模超参数搜索；
• 需要容错与自动重启失败 worker；
• 需要弹性伸缩（训练中增减节点）；
• 希望用统一接口管理 PyTorch/TensorFlow/HuggingFace 训练。

限制与注意事项：

• 单机多卡且追求简单时，可考虑 Accelerate 或 PyTorch Lightning；追求极致性能或底层控制时，可考虑 DeepSpeed 或原生 DDP。
• 多节点需要网络连通和 Ray 集群配置；遇到连接问题可用 ray status 检查节点与 GPU 状态。
• 显存不足时可减少 worker 数量或使用梯度累积；训练慢时可检查数据加载是否成为瓶颈并增加 DataLoader worker 数。
• 硬件支持 NVIDIA GPU（CUDA）、AMD GPU（ROCm）、TPU 和 CPU；云上支持 AWS、GCP、Azure 的 Ray 自动扩缩容，本地可运行在 Kubernetes 或 SLURM 集群。
• 具体价格、收费模式以及各云平台的详细部署步骤暂未提供。

资源：文档 https://docs.ray.io/en/latest/train/train.html ，GitHub https://github.com/ray-project/ray ，版本 2.40.0+。