SuperAPI AI 工具集

funsloth-train

通用与其它

查看项目

更新于 10-15 17:33

技能介绍

用途:帮助用户创建 Unsloth 微调训练笔记本或直接使用训练脚本,适用于配置微调参数、搭建训练流程,以及选择后续运行环境。

主要能力:提供三种配置模式——Sensible defaults(生产可用默认配置)、Guide me(逐项提问引导,涉及模型家族/尺寸、训练技术、量化、LoRA rank、序列长度、批大小、学习率、训练轮数)、Leave it empty(生成带 ipywidgets 的运行时交互配置笔记本)。内置模板与脚本:notebooks/sft_template.ipynb;python scripts/train_sft.py、python scripts/train_dpo.py、python scripts/train_grpo.py。参考文档包括 MODEL_SELECTION.md、HARDWARE_GUIDE.md、TRAINING_METHODS.md。

使用方式:可直接复制并自定义 SFT 模板笔记本,或运行上述训练脚本。默认参数(示例)为模型 unsloth/llama-3.1-8b-unsloth-bnb-4bit、最大序列长度 2048、4-bit 加载、LoRA rank 16、批大小 2、梯度累积 4、学习率 2e-4、1 个 epoch。生成的笔记本结构包含标题概述、安装、导入与 GPU 检查、配置、FastLanguageModel.from_pretrained() 加载模型、get_peft_model() 应用 LoRA、加载数据集、SFTTrainer/DPOTrainer/GRPOTrainer 训练、保存 LoRA 适配器与合并模型、测试推理。生成后需询问运行位置:Hugging Face Jobs、RunPod 或本地。

限制:资料未提供该技能的收费、价格、平台兼容性、实际训练效果与性能数据;模型选择、显存需求等细节需查阅随附参考文档,本说明不作推测。