用途:在单 GPU、显存紧张的环境下用 unsloth 对 openbmb/MiniCPM5-1B 做 LoRA 或 QLoRA 微调。仓库为 openbmb/minicpm,参考文档 docs/finetune/unsloth.md。
主要能力:基于 FastLanguageModel 封装加载模型,支持 4-bit QLoRA 与 bf16 LoRA(full_finetuning=False),通过 use_gradient_checkpointing="unsloth" 等内核减少显存,4-bit 下约减少 2 倍;训练用 TRL 的 SFTTrainer 与 SFTConfig,支持对话模板、打包与长度控制。
必要用法:安装 pip install "unsloth>=2026.5",并固定版本 pip install --force-reinstall "transformers==4.57.3";若同一环境有 vLLM,必须将 transformers 固定为 4.57.3(unsloth 的 vLLM 共存补丁仅支持 transformers ≤ 4.57.x),否则导入时报 dataclass 错误。torch 需与驱动匹配:pip install --force-reinstall "torch==2.7.1" "torchvision==0.22.1" "transformers==4.57.3",因为 pip install unsloth 可能拉取 cu13 的 torch wheel,在 cu12.x 驱动上 cuda.is_available() 会返回 False。
必填变量:BASE_MODEL(示例 openbmb/MiniCPM5-1B)、DATA(messages 格式 jsonl 路径)、OUTPUT_DIR;LOAD_IN_4BIT 默认 False,消费级 24 GB 及以下显存建议设 True。数据需转为 unsloth 的 TRL 封装所需的 text 列,并通过 apply_chat_template 生成;须在 SFTConfig 中设置 dataset_text_field="text",否则报需指定 formatting_func。训练后用 save_pretrained_merged 合并模型用于推理或部署,推理时用 FastLanguageModel.for_inference 可加速生成。
适用场景与限制:适用于 24 GB 或更小显存的消费级 GPU 单卡微调;需自行准备 messages 格式数据集与 GPU 环境。资料未提供价格、平台支持范围与具体性能基准,其余参数如学习率、轮数可按示例调整。