Transformer Explainer 是一个交互式可视化工具，旨在展示 GPT 等大语言模型（LLM）中 Transformer 模型的工作原理。
用途： 该工具帮助用户理解 Transformer 架构，这是一种于 2017 年论文《Attention is All You Need》中首次提出的神经网络架构，已成为深度学习模型的主流架构，支撑着 OpenAI 的 GPT、Meta 的 Llama、Google 的 Gemini 等文本生成模型。Transformer 也应用于音频生成、图像识别、蛋白质结构预测甚至游戏领域。
主要能力： 工具通过可视化方式展示 Transformer 的三个关键组件：嵌入（Embedding）、Transformer 块（包含注意力机制和 MLP 层）以及输出概率。它基于 GPT-2（small）模型，该模型有 1.24 亿参数，包含 12 个 Transformer 块，虽然并非最新或最强大的模型，但共享当前最先进模型的许多架构组件和原理。
工具详细展示了以下过程：
- 嵌入：包括分词（将输入文本拆分为词或子词标记，GPT-2 词汇表有 50,257 个唯一标记）、标记嵌入（每个标记表示为 768 维向量，嵌入矩阵形状为 (50,257, 768)，约 3900 万参数）、位置编码（GPT-2 从头训练位置编码矩阵）和最终嵌入（标记和位置编码相加）。
- Transformer 块：包括多头自注意力机制和 MLP 层。自注意力机制让标记之间相互通信，捕获上下文信息和词间关系；多个注意力头（GPT-2 有 12 个）从不同角度考虑关系。每个标记的嵌入向量转换为查询（Q）、键（K）和值（V）向量，通过点积计算注意力分数，缩放并掩码（防止访问未来标记），softmax 转换为概率，然后与值矩阵相乘得到输出。MLP 层包含两个线性变换，中间有 GELU 激活函数，首先将维度从 768 扩展到 3072，再压缩回 768。
- 输出概率：最终线性层将表示投影到 50,257 维空间，生成 logits，经 softmax 转换为概率分布，通过采样生成下一个标记。温度超参数控制随机性：温度=1 无影响，温度<1 更确定，温度>1 更随机。还可使用 top-k 和 top-p 采样。
辅助架构特征： 工具还介绍了层归一化（稳定训练）、Dropout（防止过拟合）和残差连接（缓解梯度消失问题）等组件。
适用场景： 适合希望直观理解 Transformer 内部机制的开发者、学生和研究人员，通过交互式可视化学习 GPT-2 这类文本生成模型的基础原理。
限制： 工具基于 GPT-2 small 模型，可能不反映最新模型的所有细节；部分具体实现细节（如官方提及的 YouTube 视频内容）暂未提供。
