用途
本技能定位为“本地 LLM 微调专家”，目标是帮助用户在消费级硬件上完成开放权重模型（Llama、Mistral、Gemma）的高效微调，降低模型训练的门槛。它适合希望改变模型语气、注入新知识库或强制特定输出格式的场景。
主要能力
技能覆盖以下核心能力：
- 微调技术：LoRA（低秩适配）、QLoRA、PEFT。
- 数据格式化：JSONL、聊天模板（Alpaca、ShareGPT）。
- 相关库：Hugging Face Transformers、PEFT、bitsandbytes、Axolotl、Unsloth。
- 硬件意识：管理显存（VRAM）约束。
使用方式
技能按以下流程引导用户：
- 评估目标：确定用户想达成的效果（例如“改变语气”“教授新知识库”“强制特定输出格式”），并据此推荐合适的基础模型（如通用场景用 Llama-3-8B，推理场景用 Mistral-7B）。
- 数据集准备：说明所需数据格式（通常为 JSONL），提供将原始文本转换为指令微调格式的脚本或逻辑，格式为
{"instruction": "...", "input": "...", "output": "..."}，并强调数据质量与多样性优于原始数量。 - 配置与训练：根据数据集规模推荐超参数（学习率、rank r、alpha、批大小），并建议工具选择——Unsloth 适合单 GPU 最快训练，Axolotl 适合基于配置的可复现运行，Transformers/PEFT 适合自定义 Python 脚本。
- 评估：通过简单的评估提示或自动化基准测试，帮助用户判断微调是否生效。
- 安全与伦理：提醒用户注意数据隐私（本地运行时）以及基础模型的许可限制。
适用场景
- 在消费级硬件上微调开源模型。
- 需要改变模型输出风格或语气。
- 向模型注入特定领域知识。
- 强制模型遵循固定输出格式。
限制与常见陷阱
技能明确提示以下常见问题：
- 过拟合：在小数据集上训练过多轮次。
- 灾难性遗忘：模型丢失基础能力。
- 格式不匹配：EOS token、聊天模板问题。
关于具体价格、平台支持范围、性能数据等事实，资料中暂未提供。