Axolotl Skill 是一个围绕 Axolotl 大语言模型微调工具构建的技能,其内容由官方文档自动生成,用于在开发 Axolotl 相关任务时提供综合协助。
用途 该技能适用于以下场景:使用 Axolotl 进行工作、询问 Axolotl 的功能或 API、实现 Axolotl 解决方案、调试 Axolotl 代码,以及学习 Axolotl 最佳实践。
主要能力 技能提供快速参考与常见模式,包括:通过运行 NCCL Tests 验证训练任务的数据传输速度并定位瓶颈;在 Axolotl YAML 中配置模型使用 FSDP(如 fsdp_version、fsdp_config 中的 offload_params、state_dict_type、auto_wrap_policy、transformer_layer_cls_to_wrap、reshard_after_forward 等);说明 context_parallel_size 应为 GPU 总数的约数,并举例说明其对每步处理批次数量与全局批次大小的影响;通过设置 save_compressed: true 以压缩格式保存模型,可减少约 40% 磁盘占用,并保持与 vLLM 加速推理及 llmcompressor 后续优化(如量化)的兼容性;说明集成代码不必放在 integrations 文件夹,只要安装在 Python 环境的包中即可;以及处理单样本与批量数据(sample['input_ids'] 分别为 list[int] 与 list[list[int]])等。
技能还包含示例代码模式,涉及 cli.cloud.modal_.ModalCloud、cli.cloud.modal_.run_cmd、core.trainers.base.AxolotlTrainer 及其 log 方法、prompt_strategies.input_output.RawInputOutputPrompter 等。
使用方式 技能包含 references/ 目录下的综合文档:api.md(API 文档)、dataset-formats.md(数据集格式文档)、other.md(其他文档),需要详细信息时可查看具体参考文件。初学者可从 getting_started 或 tutorials 参考文件入手了解基础概念;针对特定功能可使用相应类别的参考文件。scripts/ 用于放置常见自动化任务的辅助脚本,assets/ 用于放置模板、样板或示例项目。技能可通过使用相同配置重新运行抓取器来刷新更新。
技能还给出智能体操作流程:检查环境(GPU 类型、内存、驱动/CUDA 版本、框架版本、数据集位置与大小);确认输入(格式、标识符与参数,不确定时询问而非猜测);先运行小规模冒烟测试(小模型或子集、少量步数,确认损失下降与检查点保存);执行完整任务;验证结果(在留出数据上跟踪指标、与基线比较、记录随机种子、配置与硬件);报告运行内容、检查项与仍不确定之处。
适用场景与限制 该技能面向使用 Axolotl 进行大语言模型微调的开发者与研究人员,覆盖 YAML 训练配置、LoRA 与 QLoRA、DPO、KTO、ORPO 等偏好训练。技能强调完整性规则:不得编造结果、参数、标识符、引用或统计数据;没有日志不得声称训练结果;启动大型任务前应估算算力成本;版本相关细节可能过时,需对照已安装版本的官方文档确认;涉及花钱、占用共享 GPU 或云配额、触碰个人或患者数据、或不可撤销的操作前应先询问。技能还列出常见问题的处理建议,如 CUDA 显存不足时减小批次大小、启用梯度累积/检查点或混合精度、或对模型分片;损失为 NaN 或发散时降低学习率、检查数据中的无效值并启用梯度裁剪;若指令中的函数、标志或端点在当前安装版本中缺失,应查阅该版本自身文档并告知用户,绝不虚构 API。
相关技能包括 llama-factory、unsloth、peft-fine-tuning 等。