SuperAPI AI 工具集
合作ENAI 行业资讯收藏
全部工具AI图像工具ai-toolkit

ai-toolkit

AI Toolkit（Ostris AI Toolkit）是一个免费开源的扩散模型训练套件，用于微调图像与视频生成模型。它提供 GUI 和 CLI 两种使用方式，支持在消费级硬件上训练最新模型，被作者称为一站式训练方案。该工具覆盖 FLUX.1、FLUX.2、Stable Diffusion XL、SD 1.5、Qwen-Image、Wan 2.1/2.2 系列视频模型以及 LTX-2 等大量图像、视频和编辑类模型，同时支持 LoRA、LoKr 等网络类型及指定层训练。安装可通过内置的实验性 AI Toolkit Manager 自动检测硬件、配置 PyTorch 环境并获取本地 Node.js 与 FFmpeg，也可按手册方式手动安装。训练任务可通过 YAML 配置文件定义，支持断点续训，并可在 RunPod、Modal 等云平台运行。

访问官网

工具介绍

用途

AI Toolkit 是一个用于微调扩散模型的开源训练套件，面向图像与视频生成模型。作者将其定位为「all in one」训练方案，旨在让用户在消费级硬件上训练最新模型，并提供 GUI 与 CLI 两种运行方式。项目免费且开源。

主要能力

  • 支持大量主流图像模型，包括 FLUX.1、FLUX.2 系列、Flex.1/Flex.2、Chroma、Lumina2、Qwen-Image 系列、HiDream I1、OmniGen2、Z-Image 系列、SDXL、SD 1.5、ERNIE-Image、Nucleus-Image、Boogu Image、Ideogram 4 FP8、PRXPixel、Iris-3B、Anima、Krea 2 系列、Ming-Image 0.1 Design、Mage-Flow 等。
  • 支持指令/编辑类模型，如 FLUX.1-Kontext-dev、Qwen-Image-Edit 系列、HiDream E1、Boogu Image Edit、Krea 2 Edit 训练、Mage-Flow Edit 等。
  • 支持视频模型，如 Wan 2.1 与 Wan 2.2 的 T2V/I2V/TI2V 多个尺寸、Lightricks LTX-2/2.3/2.5、MiniMax-H3、MiniMax-H3 Ref2V。
  • 也列出音频相关模型，如 Ace Step 1.5/XL、YuE2、Qwen2.5-Omni，以及 Zeta-Chroma。
  • 支持 LoRA 与 LoKr 网络类型训练，并可通过 only_if_contains、ignore_if_contains 等 network kwargs 指定或排除特定层/权重组（例如仅训练 FLUX.1 的 single_transformer）。

使用方式

安装

推荐使用仓库内置的实验性 AI Toolkit Manager：它会检测硬件、配置合适的 PyTorch 构建、创建 Python 环境，并将 Node.js 与 FFmpeg 的本地副本放入 ai-toolkit 文件夹，不进行系统级安装。每次启动会检查并应用更新（本地修改不会被覆盖；若文件被修改则跳过更新并给出警告），随后在 http://localhost:8675 启动 UI。唯一要求是 git（Windows 上管理器可获取便携版 git 用于更新，但克隆仓库仍需已安装 git）。按平台脚本启动：Linux（x86_64 与 ARM64，包括 DGX Spark / DGX OS）、macOS（Apple Silicon，实验性）、Windows（双击 run_windows.bat）。也可在终端直接使用管理器，适合无头服务器。

手动安装要求 python >=3.10（推荐 3.12）、显存足够的 Nvidia GPU；步骤同样适用于 ARM64 Linux（含 DGX Spark / DGX OS）。Windows 遇到问题可使用第三方简易安装脚本 https://github.com/Tavris1/AI-Toolkit-Easy-Install。

界面与任务

UI 是 AI Toolkit 的 Web 界面，用于启动、停止和监控任务，也可用少量点击完成训练。UI 无需持续运行，仅在启停与监控任务时需要。可为 UI 设置 token 以防止未授权访问，适合在暴露的服务器上运行。在云或不安全网络托管时，建议通过环境变量 AI_TOOLKIT_AUTH 设置认证口令。

配置与训练

将示例配置（如 config/examples/train_lora_flux_24gb.yaml，schnell 用 train_lora_flux_schnell_24gb.yaml）复制到 config 文件夹并重命名为自定义 .yml，按注释修改后运行 python run.py config/whatever_you_want.yml。启动后会按配置中的名称与训练文件夹创建目录，存放 checkpoint 与图像。可用 ctrl+c 停止，恢复时会从最后一个 checkpoint 继续。注意保存过程中按 ctrl+c 可能损坏 checkpoint，需等待保存完成。

云平台

可在多个云厂商租用 GPU。RunPod 官方模板与入门视频在资料中提供；Modal 方式需 pip install modal、modal setup 认证、获取 READ token 与 Flux.1-dev 模型访问权限、huggingface-cli login 输入 token，上传数据集，复制 config/examples/modal 示例配置并修改，编辑 run_modal.py 设置本地 ai-toolkit 路径与 GPU/超时，运行 modal run run_modal.py --config-file-list-str=/root/ai-toolkit/config/whatever_you_want.yml，模型/样本/优化器存于 Storage > flux-lora-models，可用 modal volume ls 与 modal volume get 查看和下载。

数据集准备

数据集一般为包含图像与对应文本文件的文件夹。目前仅支持 jpg、jpeg、png（WebP 有问题）。文本文件与图像同名但扩展名为 .txt，内容仅为 caption。可在 caption 中加入 [trigger]，若配置了 trigger_word 会自动替换。图像不会被放大，会被缩小并放入桶中以便批处理，无需自行裁剪或调整尺寸，加载器会自动处理并支持不同宽高比。

适用场景

适合希望在本地或云 GPU 上微调扩散模型（图像、视频、编辑）的用户，包括需要 LoRA/LoKr、指定层训练、通过 GUI 简化操作或通过 CLI/YAML 精细控制训练流程的场景。

限制与注意事项

  • Manager 仍为实验性，可能存在问题。
  • 手动安装需要 Nvidia GPU 与足够显存；macOS Apple Silicon 支持为实验性。
  • 数据集仅支持 jpg/jpeg/png，WebP 存在问题。
  • 保存 checkpoint 时中断可能导致损坏。
  • 作者要求仅在代码存在 bug 时提交 issue，一般问题建议到 Discord 提问，不要私信。
  • 在云等不安全网络托管 UI 时需设置认证 token。

同类工具

查看分类