用途:在 RunPod GPU 实例上运行 Unsloth 训练,充当训练管理器,负责配置 Pod、启动训练、监控进度和取回检查点。
前置条件:需要 RunPod API Key(可用 echo $RUNPOD_API_KEY 查看,在 runpod.io/console/user/settings 获取)、RunPod SDK(pip install runpod),以及来自 funsloth-train 的训练 notebook 或脚本。
主要流程:先按显存与预算选择 GPU(资料列出 RTX 3090 24GB、RTX 4090 24GB、A100 40GB、A100 80GB、H100 80GB 及对应参考价格与适用模型规模);再选择部署方式,Pod 为推荐项,具备持久化、SSH 访问和网络存储,Serverless 按秒计费但配置复杂,更适合推理。建议创建网络卷,例如 runpod.create_network_volume(name="funsloth-training", size_gb=50, region="US"),以便恢复训练、下载检查点并在 Pod 间共享。启动 Pod 时使用官方 Unsloth 镜像 unsloth/unsloth,通过 runpod.create_pod 配置 gpu_type_id、volume_in_gb、network_volume_id、环境变量(HF_TOKEN、WANDB_API_KEY、JUPYTER_PASSWORD)和端口 8888/http、22/tcp;该镜像含 Jupyter Lab 与 /workspace/unsloth-notebooks/ 示例。之后可 SSH 上传脚本并用 tmux 持久运行训练,通过 tail -f 日志、nvidia-smi 或控制台面板监控,将输出复制到网络卷或用 SCP 下载,也可从 Pod 推送到 HF Hub。停止时 runpod.stop_pod 可稍后恢复,runpod.terminate_pod 删除 Pod 但保留卷。
最佳实践与限制:始终使用网络卷,Pod 存储是临时的;可用 spot 实例降低成本但有被抢占风险;创建 Pod 前配置 SSH 密钥;不训练时停止 Pod,按分钟计费;用 save_steps 频繁保存检查点。资料还列出常见错误处理(Pod 创建失败、SSH 被拒、磁盘不足、卷未挂载)及捆绑资源(train_sft.py、estimate_cost.py、平台对比与故障排查文档)。