SuperAPI AI 工具集

huggingface-llm-trainer

智能体与模型

查看项目

更新于 10-16 03:37

技能介绍

用途:在 Hugging Face 全托管基础设施上使用 TRL 微调语言模型,无需本地 GPU,结果自动保存到 Hugging Face Hub。也支持 Unsloth(显存约少 60%、速度约 2 倍,适合大模型或视觉语言模型,见 scripts/unsloth_sft_example.py)。

主要能力:TRL 支持 SFT、DPO、GRPO、奖励模型训练等方法。提供 SFT、DPO、GRPO、Unsloth 训练脚本模板,以及成本估算、数据集检查、HF 基准榜搜索、GGUF 转换等脚本。

使用方式:通过 hf jobs uv run(CLI)或 hf_jobs() MCP 工具提交任务,脚本可内联传入,也可用 Hub/GitHub/Gist URL;本地路径不可用。常用命令:hf jobs uv run --flavor a10g-large --timeout 2h --secrets HF_TOKEN "https://huggingface.co/user/repo/resolve/main/train.py";查看状态用 hf jobs ps、hf jobs logs <job-id>、hf jobs inspect <job-id>、hf jobs cancel <job-id>。也可运行 TRL 官方示例脚本,或用 uvx trl-jobs sft 快速试验。仓库内脚本使用 PEP 723 内联依赖,以 uv run 执行,例如 uv run scripts/estimate_cost.py --help。

关键设置:数据集须在 Hub 或可由 datasets.load_dataset() 加载,格式需匹配训练方法(SFT:messages/text/prompt-completion;DPO:chosen/rejected;GRPO:仅 prompt)。超时须显式设置,默认 30 分钟过短,建议至少 1-2 小时,并留 20-30% 缓冲。必须启用 Hub 推送:push_to_hub=True、hub_model_id="username/model-name"、secrets={"HF_TOKEN": "$HF_TOKEN"},环境为临时性,不推送会丢失结果。建议加入 Trackio 实时监控。

适用场景:云端指令微调、偏好对齐、在线 RL、奖励模型训练及 GGUF 量化导出用于本地推理。

限制:Jobs 需要 Pro/Team/Enterprise 付费方案;任务异步运行,不应轮询,初始日志可能需 30-60 秒才出现;训练前应验证未知数据集与 DPO 数据集格式;显存不足可减小 per_device_train_batch_size、开启 gradient_checkpointing 或升级硬件;7B 以上模型建议用 LoRA/PEFT。其余细节暂未提供。