该技能面向需要将大语言模型适配到特定任务或领域的开发者，提供 LoRA、QLoRA、指令微调等高效微调方法的代码示例与操作要点。
主要能力包括：用 PEFT 给因果语言模型挂载 LoRA 适配器并打印可训练参数比例；用 BitsAndBytesConfig 加载 4-bit 量化模型实现 QLoRA；用 SFTTrainer 与 TrainingArguments 配置训练轮数、批大小、梯度累积、学习率、预热比例与保存策略；支持 Alpaca 与 ChatML 等指令数据格式并给出格式化函数；给出数据准备类示例，完成加载、格式化、分词与 Dataset.map 处理。
文中还给出方法对比（全量微调、LoRA、QLoRA、Prefix Tuning、Prompt Tuning 在显存、速度、质量、适用场景上的差异）、LoRA 超参数建议（rank、alpha、target_modules、dropout）、训练最佳实践（余弦调度加预热、梯度检查点、困惑度评估）、合并与部署（merge_and_unload、保存合并模型、多适配器加载与运行时切换），以及常见问题（损失不降、OOM、过拟合、灾难性遗忘、数据质量差）和排查方向，并提供单元测试模板。
使用方式上，需安装 transformers、peft、datasets、trl、bitsandbytes、torch 等依赖，按示例加载基座模型与分词器、配置 LoRA、训练与保存。实际显存需求、训练时长、效果与数据格式细节视模型和数据集而定，资料未给出具体支持平台、收费与价格信息；代码示例仅作参考，需按实际环境验证。