Yuan2.0-M32 是一个混合专家（Mixture-of-Experts，MoE）语言模型，由 IEIT-Yuan 团队开发并开源。
用途 Yuan2.0-M32 面向自然语言理解、知识获取、数学计算与推理、代码生成等任务。根据官方仓库说明，它在编码、数学以及多个专业领域展现出有竞争力的能力，可用于需要上述能力的语言模型推理与相关研究。
主要能力与架构
- 模型类型：混合专家（MoE）语言模型，共 32 个专家，其中每次激活 2 个。
- 总参数量：40B；激活参数：3.7B；预训练 tokens：2000B；序列长度：16K。
- 路由网络：提出并采用新的 Attention Router，用于更高效的专家选择。相比使用经典路由网络的模型，准确率提升 3.8%。
- 训练计算：从零开始训练，训练计算量仅为同等参数规模稠密模型所需计算量的 9.25%。
- 前向计算：每 token 为 7.4 GFLOPS，官方称仅为 Llama3-70B 需求的 1/19。
- 基准表现：在 MATH 和 ARC-Challenge 基准上分别达到 55.9% 和 95.8% 的准确率，超过 Llama3-70B。官方表示其在 HumanEval、GSM8K、MMLU、Math、ARC-Challenge 等基准上相较 Llama3-8B、Mistral-8×7B 等模型表现出一致且显著的优势，整体性能与更大的 Llama3-70B 相当。
版本与下载 官方仓库列出了以下版本与发布信息：
- 2024-05-28 发布 Yuan2.0-M32。
- 2024-06-18 发布 Yuan2.0-M32-HF-INT4。
- 2024-06-28 发布 Yuan2.0-M32-HF-INT8，官方称其高性能、无损生成精度。 模型下载可通过 ModelScope 与 Hugging Face；量化与推理方法参考仓库提供的指南。
使用方式 官方仓库提供了以下相关支持：
- 环境配置：强烈建议使用最新发布的 Yuan2.0-M32 Docker 镜像，可通过提供的 Docker 命令启动容器实例。
- 数据预处理：提供数据预处理脚本，详见文档。
- 模型预训练：在 example 中提供多个预训练脚本，详见文档。
- 推理服务：详细部署方案参考 vllm；使用 Yuan2.0-M32-HF-INT4 推理可参考《The Method of Quantization and Inference for Yuan2.0-M32》。
- 评测：提供 HumanEval、GSM8K、MMLU、Math 和 ARC-C 的评测脚本，以支持复现评测结果。
适用场景 根据官方说明，该模型可用于编码、数学、自然语言理解、知识获取与推理等任务，并可支持商业使用，无需授权。适合需要 MoE 架构、较低激活参数与计算开销，同时关注数学、推理和代码生成能力的研究与应用场景。
限制与声明
- 使用本仓库源代码需遵守 Apache 2.0 开源许可协议。
- Yuan2.0 模型支持商业使用，无需授权，但需理解并遵守《Yuan2.0 Model License Agreement》。
- 不得将开源模型与代码以及由开源项目生成的衍生物用于任何可能对国家和社会造成危害的用途，或用于未经安全评估和备案的服务。
- 官方表示，尽管在训练中已采取措施确保数据的合规与准确，但模型参数量巨大且受概率与随机性因素影响，无法保证输出内容的准确性，模型容易被输入指令误导。本项目不承担因开源模型与代码、以及不当利用引起的任何数据安全、舆情风险或模型误导、滥用、传播等风险与责任。使用、复制、分发和修改本开源项目模型的风险与后果由使用者自行承担。
- 如有问题可通过 issue 提出或联系 air_service@ieisystem.com。
- 官方正在招募大模型框架开发、推理性能优化与开源社区运营方向的人才，简历可发送至 wushaohua@ieisystem.com，邮件标题格式为：[Application of Yuan Team Application] - [Your Name]。
