本技能提供大语言模型微调的专家级代码模式，围绕LoRA、QLoRA、指令数据集准备、DPO与评测组织成多个模式与反模式。
用途：在有限显存下完成模型指令微调与偏好对齐，并将适配器合并部署。
主要能力：
- QLoRA微调：4-bit量化加载7B模型（nf4、双量化、bfloat16计算），配合prepare_model_for_kbit_training、LoraConfig与SFTTrainer，示例在24GB显存下运行；SFTTrainer负责分词、packing与LoRA训练，可只保存适配器权重。
- LoRA配置选择：给出极简（r=4，q_proj/v_proj）、标准（r=16，注意力+上下投影）、完整（r=64，含gate_proj）三档配置及r取值建议。
- 数据准备：将数据转为ChatML格式，并用-100屏蔽用户/系统令牌，只对助手回复计算损失；提供数据集校验函数。
- DPO训练：使用DPOTrainer/DPOConfig，需(chosen, rejected)偏好对，beta控制KL惩罚，学习率远低于SFT，通常1轮，可监控rewards/chosen、rejected与margins。
- 适配器合并导出：在FP16基础模型上merge_and_unload，保存完整权重并可用pipeline验证。
- 评测：使用lm-eval运行MMLU、HellaSwag等基准，另附自定义准确率评测循环。
使用方式：按模式顺序，先准备数据、配置量化与LoRA、用SFTTrainer训练，再按需DPO对齐、合并导出并评测。反模式提醒：需屏蔽用户轮次、小数据集避免高秩、训练数据须含EOS、偏好对质量决定DPO效果、量化适配器无法直接合并（合并需FP16/BF16基础模型）。
限制：资料未提供具体依赖版本、完整环境安装步骤、各模式运行时长的实测数据、支持模型清单、与线上服务集成方式及商用许可说明。