Axolotl 是一个免费、开源的 LLM 微调框架，旨在简化最新大语言模型（LLM）的后训练与微调流程。它围绕 YAML 配置文件设计，用户可以在同一份配置中完成数据集预处理、训练或微调、模型推理与评估等环节。
主要能力
- 多模型支持：可训练 GPT-OSS、LLaMA、Mistral、Mixtral、Pythia 等 Hugging Face Hub 上的多种模型。
- 多模态训练：支持微调视觉语言模型（VLM），包括 LLaMA-Vision、Qwen2-VL、Pixtral、LLaVA、SmolVLM2、GLM-4.6V、InternVL 3.5、Gemma 3n、PaddleOCR-VL、Muse Glimmer，以及 Voxtral 等音频模型，支持图像、视频和音频。
- 训练方法：全量微调、LoRA、QLoRA、GPTQ、QAT（int8/int4/FP8/NVFP4/MXFP4）、FP8 混合精度训练、NVFP4/MXFP4 MoE LoRA、偏好调优（DPO、IPO、KTO、ORPO）、强化学习（GRPO、GDPO）、奖励建模（RM）/过程奖励建模（PRM）。
- 配置方式：单一 YAML 配置文件可贯穿数据集预处理、训练、评估、量化与推理的完整微调流程。
- 性能优化：Multipacking、Flash Attention 2/3/4、Xformers、Flex Attention、SageAttention、Liger Kernel、Cut Cross Entropy、ScatterMoE、序列并行（SP）、LoRA 优化、多 GPU 训练（FSDP2、DeepSpeed）、多节点训练（Torchrun、Ray）等。
- 数据集处理：可从本地、HuggingFace 以及云存储（S3、Azure、GCP、OCI）加载数据集。
- 云端就绪：提供 Docker 镜像和 PyPI 包，可用于云平台和本地硬件。
使用方式 快速开始要求 NVIDIA GPU（Ampere 或更新，用于 bf16 和 Flash Attention）或 AMD GPU、Python >=3.12（推荐 3.12）、PyTorch ≥2.13.0（推荐 2.13.0）。使用 Docker 安装通常比在自有环境中安装更不易出错，其他安装方式见官方文档。官方提供 Getting Started Guide 作为更详细的入门指引。
文档与支持 官方文档涵盖安装选项、支持矩阵、配置指南、数据集加载、数据集指南、多 GPU 训练、多节点训练、API 参考与 FAQ。Axolotl 内置面向 AI 编码代理（Claude Code、Cursor、Copilot 等）优化的文档，随 pip 包分发，无需克隆仓库；若使用源码仓库，代理文档位于 docs/agents/，项目概览见 AGENTS.md。还可加入 Discord 社区、查看 Examples 目录与 Debugging Guide。如需专门支持，可联系 [email protected]。
其他信息 Axolotl 默认启用可退出的遥测，用于了解项目使用情况并确定改进优先级，收集基本系统信息、模型类型和错误率，不收集个人数据或文件路径；可通过设置 AXOLOTL_DO_NOT_TRACK=1 禁用。项目采用 Apache 2.0 许可证。
