用途:Axolotl 技能为使用 Axolotl 微调大语言模型提供专家指导,内容依据官方文档生成,覆盖 YAML 配置、100 多个模型、LoRA/QLoRA、DPO/KTO/ORPO/GRPO 以及多模态支持。
主要能力:协助 Axolotl 开发、功能与 API 咨询、方案实现、代码调试和最佳实践学习。技能内含 references/ 参考文件,包括 api.md、dataset-formats.md、other.md,可用 view 查看详细内容。
常见用法与配置要点:可用 NCCL 测试排查训练数据传输瓶颈,例如 ./build/all_reduce_perf -b 8 -e 128M -f 2 -g 3;在 YAML 中配置 FSDP,如 fsdp_version: 2 及 fsdp_config 下的 offload_params、state_dict_type、auto_wrap_policy、transformer_layer_cls_to_wrap、reshard_after_forward;context_parallel_size 需为 GPU 总数的约数,会影响每步处理的批次数与全局批大小;设置 save_compressed: true 可压缩保存模型,约减少 40% 磁盘占用,并保持与 vLLM 及 llmcompressor 的兼容。集成代码可放在任意位置,只要安装于 Python 环境的包中即可。处理单样本与批量数据时,sample['input_ids'] 分别为 list[int] 或 list[list[int]],可用 utils.trainer.drop_long_seq(sample, sequence_len=2048, min_sequence_len=2)。
适用场景:需要微调 LLM、使用 LoRA/QLoRA 或偏好优化方法、进行多模态训练,以及排查 Axolotl 训练配置与代码问题的开发者。
限制:资料未提供具体安装命令、收费与价格、平台支持范围及效果数据,这些信息暂未提供。技能由官方文档自动生成,更新时需用相同配置重新运行抓取脚本重建。