MaxText 是一个高性能、高可扩展的开源大语言模型（LLM）库与参考实现，使用纯 Python/JAX 编写，主要面向 Google Cloud TPU 和 GPU 进行训练。项目推荐使用最新 PyPI 发布版或对应的预构建容器镜像，主分支不保证生产可用；推荐 Python 3.12，其他版本可能遇到兼容性问题。
【用途】 MaxText 提供高性能模型库，并展示如何以高性能和大规模进行预训练或后训练。它既可作为研究实验、构思与灵感来源的参考实现，也可用于构建从零开始的模型训练，例如小型稠密模型 Llama 8B 或大型 MoE 模型 DeepSeek-V3。项目目标是通过提供多种模型（维度 a）和多种技术（维度 b），让用户轻松探索 (a)*(b) 组合，为具体用例高效训练模型。
【主要能力】
- 支持预训练（可扩展至数万芯片）和可扩展后训练，涵盖监督微调（SFT）、组相对策略优化（GRPO）和组序列策略优化（GSPO）等强化学习技术。
- 从单主机到超大规模集群，保持高 Model FLOPs Utilization（MFU）和 tokens/秒，同时保持简单且基本无需手动优化，这得益于 JAX 和 XLA 编译器。
- 利用 JAX AI 生态：Flax（神经网络）、Tunix（后训练）、Orbax（检查点）、Optax（优化）、Grain（数据加载）。
- 除纯文本 LLM 外，还支持 Gemma 3、Gemma 4 和 Llama 4 VLM 的多模态训练。
- 提供在分片、量化和检查点等多维度上实现最优性能的参考实现。
【支持的模型】
- Google：Gemma 4（26B MoE、31B Dense）、Gemma 3（4B、12B、27B）、Gemma 2（2B、9B、27B）、Gemma 1（2B、7B）
- 阿里：Qwen 3.5 MoE（35B、397B）、Qwen 3 Next（80B）、Qwen 3 MoE（30B、235B）、Qwen 3 MoE 2507（235B、480B）、Qwen 3 Dense（0.6B、1.7B、4B、8B、14B、32B）、Qwen 2.5（1.5B、7B、14B）
- DeepSeek AI：DeepSeek V3.2（671B）、DeepSeek V3.1（671B）、DeepSeek V3 0324（671B）、DeepSeek R1 0528（671B）、DeepSeek V2（16B、236B）
- Moonshot AI：Kimi K2（1T）、Kimi K2-Thinking（1T）、Kimi K2.5（text）、Kimi K2.6（text）
- Meta：Llama 4 Scout（109B）与 Maverick（400B）、Llama 3.3（70B）、3.1（8B、70B、405B）、3.0（8B、70B、405B）、Llama 2（7B、13B、70B）
- OpenAI：GPT-OSS（20B、120B）、GPT3（52K、6B、22B、175B）
- Mistral AI：Mixtral（8x7B、8x22B）、Mistral（7B）
- 扩散模型见 MaxDiffusion（LTXV、Wan 2.1、Flux、SDXL 等）
【使用方式】 可通过 pip 从 PyPI 安装 MaxText，也可使用预构建容器镜像。项目提供 Read The Docs 文档站点和入门指南，包括单主机/多主机 TPU 上的 SFT 和 RL 教程。支持在无任何 GCP 依赖的解耦模式下运行。如需从头构建模型，可 fork 并修改 MaxText 来训练自己的模型，并通过配置和模型设计在 TPU 或 GPU 上构建最高效的模型。后训练支持专有或开源模型，使用 Tunix 提供可扩展框架；对于 RL（如 GRPO），利用 vLLM 进行采样，并计划通过 Pathways 支持多主机。
【适用场景】 适合研究实验、生产级 LLM 项目、大规模预训练与后训练、多模态模型训练，以及希望以参考实现为基础进行模型设计探索的开发者。
【限制】 主分支不保证生产可用；推荐 Python 3.12，其他版本可能存在兼容性问题；项目主要面向 Google Cloud TPU 和 GPU。具体收费、价格、平台支持等细节资料中暂未提供。
【最新动态摘要】 近期更新包括：TPU 上通过 vLLM 支持 JEV 风格决策评分；Streaming DiLoCo 分布式低通信训练；DeepSeek V4 Flash（284B）支持；Tokamax GMM v2 MoE 内核；Qwen3 30B 和 GPT-OSS 20B 的 RL 支持；迁移至 Flax NNX；Qwen3.5 35B & 397B 支持；新评估框架；Kimi-K2 系列支持；GEPA 提示优化 notebook；MuonClip 优化器；DeepSeek-V3.2 与稀疏注意力；Gemma 4 多模态；DeepSeek Engram 与 mHC；Qwen3-Next 支持；Muon 优化器；DeepSeek V3.1；RL/SFT Notebook 教程；GSPO/GRPO 多主机支持；词表分块；GPT-OSS 支持；PyPI 包发布；src 布局迁移等。
