用途：帮助理解、实现并调整用于 NLP、计算机视觉和多模态研究的 Transformer 架构，从原始注意力机制讲到现代变体。
主要能力：
- 介绍原始 Transformer（Vaswani 等，2017，Attention Is All You Need），用自注意力替代循环和卷积作为主序列建模机制。
- 梳理核心组件：多头自注意力（d_model、n_heads、d_k、d_v）、前馈网络（d_model、d_ff）、位置编码（正弦或学习式）、层归一化（pre-norm 或 post-norm）、残差连接。
- 给出 PyTorch 实现：MultiHeadAttention 类、TransformerBlock（GPT 风格 pre-norm）。
- 按架构分类：仅编码器（BERT、RoBERTa，双向、掩码语言建模）、仅解码器（GPT、LLaMA、Claude，自回归、因果语言建模）、编码器-解码器（T5、BART、mBART，含交叉注意力）。
- 提供 Hugging Face 用法示例：BERT 掩码语言建模预测 [MASK]，GPT-2 自回归生成（max_new_tokens、temperature、top_p、do_sample）。
- 视觉 Transformer（ViT，Dosovitskiy 等，2021）：图像分块嵌入、可学习 [CLS] token 与位置嵌入、Transformer 块、分类头。
- 高效变体对比：标准注意力 O(n^2)、线性注意力 O(n)、Flash Attention、稀疏注意力、滑动窗口（Longformer）、多查询注意力、分组查询注意力。
- 缩放定律：Kaplan 等（2020）与 Hoffmann 等（2022，Chinchilla）；损失随参数量、数据量、算力按幂律下降；Chinchilla 最优约 20 tokens/参数，如 70B 模型需约 1.4T 训练 token。
- 研究资源：Hugging Face Transformers、Papers With Code、The Illustrated Transformer、nanoGPT、EleutherAI、MLCommons。
限制：资料未提供安装命令、收费方式或价格信息；以上为架构与研究知识整理，不含平台或效果背书。