Axolotl Skill 是一份针对 Axolotl 开发的综合辅助资料,由官方文档自动生成。它旨在帮助开发者使用 Axolotl 进行大语言模型微调,覆盖 YAML 配置、模型支持、训练策略与多模态等主题。
用途 该技能在以下场景触发:处理 Axolotl 相关任务;询问 Axolotl 功能或 API;实现 Axolotl 解决方案;调试 Axolotl 代码;学习 Axolotl 最佳实践。
主要能力 技能汇总了 Axolotl 的常见模式,包括:通过运行 NCCL Tests(如 ./build/all_reduce_perf -b 8 -e 128M -f 2 -g 3)验证训练作业可接受的数据传输速度;在 Axolotl yaml 中配置 FSDP(如 fsdp_version: 2 及 fsdp_config 中的 offload_params、state_dict_type、auto_wrap_policy、transformer_layer_cls_to_wrap、reshard_after_forward);理解 context_parallel_size 与 GPU 数量的关系(例如 8 GPU 配合 context_parallel_size=4 时每步仅处理 2 个不同批次,全局批大小从 16 降至 4);通过 save_compressed: true 以压缩格式保存模型(减少约 40% 磁盘占用,并保持与 vLLM 及 llmcompressor 的兼容性);集成可放在任意位置,只需安装在 Python 环境的包中(示例仓库:https://github.com/axolotl-ai-cloud/diff-transformer);以及用 utils.trainer.drop_long_seq 处理单条与批量数据。
使用方式 技能提供示例代码模式,例如:cli.cloud.modal_.ModalCloud(config, app=None);cli.cloud.modal_.run_cmd(cmd, run_folder, volumes=None);core.trainers.base.AxolotlTrainer(...);core.trainers.base.AxolotlTrainer.log(logs, start_time=None);prompt_strategies.input_output.RawInputOutputPrompter()。技能包含 references/ 目录下的 api.md、dataset-formats.md、other.md 等文档,可使用 view 读取详细内容。初学者可从 getting_started 或 tutorials 参考文件入手;针对具体功能可查阅相应分类参考文件;代码示例见快速参考部分。
适用场景 适用于需要微调 LLM、配置训练参数、使用 LoRA/QLoRA 或 DPO/KTO/ORPO/GRPO 等训练方法、处理多模态数据,以及需要调试或学习 Axolotl 的开发者。
限制 本技能由官方文档自动生成,参考文件保留源文档结构与示例;如需更新,需使用相同配置重新运行抓取器以重建技能。内容中未说明具体定价、平台限制或效果保证。