用途
LLaMA-Factory 技能用于辅助大语言模型的微调工作，内容由官方文档自动生成。它面向需要了解 LLaMA-Factory 功能或 API、实现微调方案、调试相关代码，以及学习其最佳实践的用户。
主要能力
该技能覆盖以下方面：
- WebUI 无代码界面：通过图形界面进行微调操作，无需编写代码。
- 多模型训练：支持 100 多个模型。
- 量化微调：包括 QLoRA 等量化方式。
技能内置多个参考文件，按主题组织：
_images.md：图像相关文档。advanced.md：进阶文档。getting_started.md：入门文档。other.md：其他文档。
这些参考文件保留了源文档的结构与示例，包含详细说明、带语言标注的代码示例、原始文档链接以及便于快速导航的目录。技能还包含一个速查区，用于汇总常见模式，并说明这些模式会随使用逐步补充。
使用方式
技能按以下方式使用：
- 初学者可从
getting_started或教程类参考文件入手，了解基础概念。 - 针对特定功能，可查阅对应类别的参考文件（如 API、指南等）获取详细信息。
- 需要代码示例时，可参考速查区中从官方文档提取的常见模式。
- 需要查看详细内容时，使用 view 读取具体的参考文件。
技能还提供 scripts/ 目录用于放置常见自动化任务的辅助脚本，以及 assets/ 目录用于放置模板、样板或示例项目。
更新方式：使用相同配置重新运行抓取脚本，技能将基于最新信息重建。
智能体操作流程
技能附带一套操作流程：
- 检查环境：确认 GPU 类型、显存与驱动/CUDA 版本（nvidia-smi）、框架版本，以及数据集位置和大小。
- 明确输入：从数据或用户处确认格式、标识符和参数；对任何会影响结果的取值，应询问而非猜测。
- 先运行小规模版本：做一次冒烟运行，使用小模型或子集、少量步数，确认损失下降且检查点能够保存。
- 按上述说明和参考执行完整任务。
- 验证结果：在留出数据上跟踪指标，与基线比较，并记录随机种子、配置和硬件。
- 报告：说明运行了什么（版本、命令、参数）、检查了什么，以及仍不确定的内容。
常见问题处理
- CUDA 显存不足：减小批大小，启用梯度累积/检查点或混合精度，或对模型进行分片。
- 损失为 NaN 或发散：降低学习率，检查数据中的无效值，并启用梯度裁剪。
- 指令中的函数、标志或端点在已安装版本中不存在：查阅已安装版本自身的文档（help()、--help、官方文档），进行调整并告知用户；绝不臆造 API。
- 必需的输入、标识符或参数不明确：询问用户，或在运行前明确说明假设。
完整性规则
- 绝不编造结果、参数、标识符、引用或统计数据；无法运行或验证的内容应如实说明。
- 没有日志不得声称训练结果；启动大型任务前应估算算力成本。
- 将此处涉及版本的具体细节视为可能过时，应针对已安装版本对照官方文档确认。
- 在涉及花钱、占用共享 GPU 或云配额、接触个人或患者数据，或不可撤销的操作前，应先征得同意。
相关技能
- axolotl：提供使用 Axolotl 微调大语言模型的指导，涵盖 YAML 训练配置、LoRA 与 QLoRA、偏好训练等。
- unsloth：提供使用 Unsloth 微调大语言模型的指导，该库通过 LoRA 与 QLoRA 实现更快、更低显存的训练。
- gptq：使用 GPTQ 将 LLM 量化为 4 位（也支持 3 位），采用分组量化（默认组大小 128），通过 AutoGPTQ 和 transformers 实现。
限制
本技能由官方文档自动生成，参考文件保留源文档的结构与示例。速查模式会随使用逐步补充。涉及版本的具体细节可能过时，需对照已安装版本的官方文档确认。关于收费、价格、平台或具体效果等信息，资料中暂未提供。