SuperAPI AI 工具集

huggingface-llm-trainer

智能体与模型

查看项目

更新于 10-16 09:50

技能介绍

用途:在 Hugging Face 全托管基础设施上使用 TRL(Transformer Reinforcement Learning)训练或微调语言模型,无需本地 GPU,结果自动保存到 Hugging Face Hub。支持的方法包括 SFT(监督微调)、DPO(直接偏好优化)、GRPO(在线强化学习)与奖励模型训练。

主要能力:通过 hf_jobs() MCP 工具以内联 Python 脚本提交训练任务,脚本使用 PEP 723 内联依赖,并建议集成 Trackio 做实时监控;可为模型和数据集选择 GPU 规格(t4、l4、a10g、a100、h100 等),设置超时,并将模型推送至 Hub。也可用 TRL 官方维护脚本、uv-scripts 组织下的现成脚本,或 CLI 命令 hf jobs uv run 运行。

使用方式:训练脚本可直接作为字符串传给 hf_jobs("uv", {...}),不使用本地文件路径;若用 CLI,须遵循 hf jobs uv run --flavor a10g-large --timeout 2h --secrets HF_TOKEN "<脚本URL>",标志位放在脚本 URL 之前,使用 --secrets(复数)。脚本内建议设置 push_to_hub=True 与 hub_model_id,并在任务配置中传入 secrets={"HF_TOKEN": "$HF_TOKEN"}。本地脚本可用 uv run 运行,例如 uv run scripts/estimate_cost.py --help。

适用场景:需要云端微调语言模型、使用 TRL 方法训练、将模型转换为 GGUF 以便本地部署(Ollama、LM Studio、llama.cpp)、需要结果持久保存到 Hub,或采用优化默认值的工作流。显存有限、需要速度、训练大于 13B 模型或训练视觉语言模型时,资料建议改用 Unsloth。

限制与注意事项:Jobs 需要付费计划(Pro、Team 或 Enterprise)并完成登录认证,HF_TOKEN 必须具备写权限;训练环境是临时的,不推送 Hub 会丢失全部训练结果。默认超时 30 分钟通常过短,应设置 1–2 小时或更长;任务异步运行,初始日志可能延迟 30–60 秒。数据集必须位于 Hub 或可通过 datasets.load_dataset() 加载,且格式需匹配训练方法;未知数据集应先验证。TRL 配置类使用 max_length(不是 max_seq_length)。部分内容(如完整硬件成本表、Trackio 配置细节)资料未完整提供。