SuperAPI AI 工具集

huggingface-llm-trainer

智能体与模型

查看项目

更新于 10-16 03:05

技能介绍

用途:在 Hugging Face 全托管基础设施上使用 TRL(Transformer Reinforcement Learning)训练语言模型,无需本地 GPU,结果可保存到 Hugging Face Hub。支持 SFT 指令微调、DPO 偏好对齐、GRPO 在线 RL 和奖励模型训练;训练时可通过 hf_doc_search、hf_doc_fetch 查阅文档。

主要能力:提交云端训练作业(推荐用 hf_jobs() MCP 工具,脚本可直接以内联字符串传入;也可用 hf jobs uv run CLI,注意命令为 hf jobs uv run,--flavor、--timeout、--secrets 须放在脚本 URL 之前)。可选 TRL 官方脚本或 trl-jobs 包;提供 SFT、DPO、GRPO 示例脚本作为模板,并按模型规模推荐 t4-small、a10g-large、a100-large 等硬件。

使用方式:需 Hugging Face Pro/Team/Enterprise 账户并登录,设置带写权限的 HF_TOKEN,提交时传入 secrets={"HF_TOKEN": "$HF_TOKEN"};脚本内配置 push_to_hub=True 与 hub_model_id,否则临时环境结束后训练结果会丢失。建议加入 Trackio 以 report_to="trackio" 实时监控,并设置足够 timeout(默认 30 分钟过短)。数据集须在 Hub 上或可加载,且格式与训练方法匹配。

限制:作业异步运行,初始日志可能延迟 30-60 秒;不应自动轮询状态。显存有限、追求速度或训练大于 13B 模型及 VLM 时可考虑 Unsloth。硬件费用与完整 CLI 参数细节见官方文档;资料未提供价格与时效等更多信息。