用途：该项目是配套《Build a Large Language Model (From Scratch)》一书的开源教学资源，目标是从零用 PyTorch 构建类 ChatGPT 的大语言模型，帮助研究者理解 LLM 内部机制，而非把它当黑箱使用。
主要内容：按章节逐层推进，第1章讲 LLM 概念基础、Transformer 架构、编码器与解码器区别及预训练与微调；第2章从零实现文本分词与 BPE，涉及 tiktoken；第3章从零实现自注意力、多头注意力与因果掩码注意力；第4章组装完整 GPT 架构（层归一化、前馈网络、位置嵌入）；第5章在无标注语料上做下一 token 预测的预训练，包含训练循环、损失、学习率调度与梯度裁剪；第6章微调用于文本分类；第7章用指令-响应对做监督微调，实现指令跟随。补充章节还涉及 DPO、从 Hugging Face 加载预训练权重及格式转换。每章对应带有图解与可运行代码的 Jupyter Notebook。
使用方式：克隆仓库并配置 Python 环境，要求 Python 3.10+ 与 PyTorch 2.0+，关键依赖包括 PyTorch、tiktoken、matplotlib、jupyter。
git clone https://github.com/rasbt/LLMs-from-scratch.git cd LLMs-from-scratch python -m venv llm-env source llm-env/bin/activate pip install -r requirements.txt
适用场景：架构消融实验、领域语料预训练（如生物医学、物理、化学）、分词策略研究、高效训练方法测试（梯度累积、混合精度、学习率预热）、可解释性研究（观察注意力模式与中间表示）。项目包含 124M 参数的小模型配置，可在单卡上训练，便于实验与原型开发。还可与 W&B、MLflow、Hugging Face Hub、PyTorch Lightning、LoRA/QLoRA 配合使用。
限制：纯 CPU 也可运行小配置但训练时间显著更长；GPU 加速需安装 CUDA。部分扩展工具（实验跟踪、分布式训练、适配器）属外部集成，并非项目内置。完整功能与更新细节以仓库文档为准。