LitGPT 是 Lightning AI 提供的开源大语言模型工具，主打“干净、可读的 LLM 实现”与生产级训练工作流，内置 20 多个预训练模型架构，包括 Llama、Gemma、Phi、Qwen、Mistral、Mixtral、Falcon 等。
用途 LitGPT 面向需要理解或训练大语言模型的开发者与研究者。它既可用于学习 LLM 架构（代码清晰易读），也提供可直接用于生产的训练配方，适合教育、研究、原型验证以及 Lightning 生态用户。
主要能力
- 提供 20 多个预训练 LLM 实现，代码简洁可读。
- 支持模型下载与文本生成。
- 支持全量微调与 LoRA 微调。
- 支持从零预训练新模型。
- 支持模型量化（如 8-bit、4-bit）与转换为 GGUF 格式。
- 支持多 GPU 训练（FSDP）与 SLURM 集群调度。
- 支持通过 FastAPI 部署推理 API。
使用方式 安装：
pip install 'litgpt[extra]'
加载并使用模型：
from litgpt import LLM llm = LLM.load("microsoft/phi-2") result = llm.generate("What is the capital of France?", max_new_tokens=50, temperature=0.7) print(result)
列出可用模型：
litgpt download list
常见工作流包括：
- 在自定义数据集上微调：下载预训练模型（如 litgpt download meta-llama/Meta-Llama-3-8B），准备 Alpaca 格式的 JSON 数据集，配置训练参数，运行 litgpt finetune 或 litgpt finetune_lora。
- 单 GPU 上的 LoRA 微调：选择基础模型（如 Phi-2、Llama 3 1B、Gemma 2B），配置 LoRA 参数（lora_r、lora_alpha、lora_dropout 等），训练后可选合并 LoRA 权重（litgpt merge_lora）。
- 从零预训练：准备分词后的数据集，配置模型架构 YAML，设置单 GPU 或多 GPU（FSDP）训练，启动 litgpt pretrain。
- 模型转换与部署：本地测试推理，可选量化（如 bnb.nf4、bnb.nf4-dq），转换为 GGUF 供 llama.cpp 使用，或用 FastAPI 部署 API。
适用场景
- 学习与研究 LLM 架构。
- 需要生产级训练配方的微调任务。
- 原型验证新模型想法。
- Lightning 生态用户。
限制与替代 若需要更多微调功能与 YAML 配置，可考虑 Axolotl/TRL；若追求 70B 以上模型的极致性能，可考虑 Megatron-Core；若需要最广泛的模型支持，可考虑 HuggingFace Transformers；若仅需推理，可考虑 vLLM。
硬件要求
- GPU：NVIDIA（CUDA 11.8+）、AMD（ROCm）、Apple Silicon（MPS）。
- 内存：推理（Phi-2）约 6GB；LoRA 微调（7B）约 16GB；全量微调（7B）40GB+；预训练（1B）约 24GB。
- 存储：每个模型约 5-50GB（取决于规模）。
常见问题
- 微调时内存不足：改用 LoRA 或启用梯度累积。
- 训练过慢：Flash Attention 在兼容硬件上默认启用；可使用更小 micro-batch 并累积梯度。
- 模型无法加载：用 litgpt download list 检查模型名并确认已下载。
- LoRA 适配器过大：降低 lora_r 或减少应用层。
资源 GitHub：https://github.com/Lightning-AI/litgpt 文档：https://lightning.ai/docs/litgpt 教程：https://lightning.ai/docs/litgpt/tutorials