本视觉指南旨在揭开混合专家（Mixture of Experts, MoE）在大语言模型（LLM）中的神秘面纱，通过超过 50 张可视化图表，系统性地解释这一重要组件。文章首先从 LLM 的基础——前馈神经网络（FFNN）入手，指出传统 FFNN 是稠密模型，所有参数都会激活，而 MoE 则采用稀疏激活的方式，仅使用部分参数，从而在扩大模型规模的同时控制计算成本。
MoE 由两大核心组件构成：专家（Experts）和路由器（Router）或门控网络。每个专家本身通常是一个 FFNN 子模型，并非专注于“心理学”或“生物学”等特定领域，而是更倾向于学习词级别的句法信息，即在特定上下文中处理特定 token 的能力。路由器则负责决定哪些 token 被发送到哪些专家。
文章详细解释了专家的架构：在解码器块中，原本的单个 FFNN 被替换为多个 FFNN（即专家），不同 token 可能选择不同的专家，从而形成不同的计算路径。路由机制部分介绍了门控网络如何通过 SoftMax 输出概率分布来选择专家，以及如何将专家输出与门控值相乘并求和。
由于简单路由容易导致某些专家被过度选择而另一些训练不足，文章讨论了负载均衡问题，并介绍了 KeepTopK 策略（通过添加可训练的高斯噪声并保留 top-k 专家）和 Token Choice 方法（Top-1 或 Top-k 路由）。同时，辅助损失（load balancing loss）通过计算重要性分数的变异系数（CV）来约束专家重要性均衡。专家容量（Expert Capacity）则限制每个专家能处理的 token 数量，超出部分会溢出到下一层。
文章还介绍了 Switch Transformer，它用切换层（Switching Layer）替换传统 FFNN，采用 Top-1 路由，并引入容量因子和简化的辅助损失，提高了训练稳定性。最后探讨了 MoE 在视觉模型中的应用，如 V-MoE 将 ViT 中的稠密 FFNN 替换为稀疏 MoE，使用批量优先级路由（Batch Priority Routing）处理图像块；Soft-MoE 则通过混合图像块实现从离散到软分配。
