EXAONE Deep 是 LG AI Research 构建并发布的推理增强语言模型系列，官方仓库为 LG-AI-EXAONE/EXAONE-Deep。根据官方说明，该系列涵盖 2.4B、7.8B 和 32B 三种参数规模，在数学、编程等多种推理任务上展现出较强能力。官方公布的评估结果显示：EXAONE Deep 2.4B 优于同规模的其他模型；EXAONE Deep 7.8B 不仅优于同规模开放权重模型，还优于专有推理模型 OpenAI o1-mini；EXAONE Deep 32B 则与领先的开放权重模型相比具有竞争力。
主要能力与用途：该系列定位为推理增强语言模型，官方文档覆盖性能、快速开始、量化模型、本地运行、部署和使用指南等部分。模型针对推理任务进行了优化训练，官方建议遵循使用指南以达到预期性能。
使用方式：使用 EXAONE Deep 模型需要安装 transformers>=4.43.1，官方推荐使用最新版本。官方提供示例代码，并说明在所有示例中可通过将 7.8B 替换为 32B 或 2.4B 来使用其他规模的模型。模型已上传至 Hugging Face 与 Ollama 模型库。
量化与本地运行：官方提供 AWQ 量化的权重，使用 AutoAWQ 库量化，加载 AWQ 量化版本需安装 autoawq>=0.2.8。同时提供 BF16 格式权重以及 Q8_0、Q6_K、Q5_K_M、Q4_K_M、IQ4_XS 等量化权重。用户可通过 llama.cpp 以对话模式运行模型，官方建议显式设置 chat-template 以正确处理推理步骤；使用 EXAONE Deep 32B 的 BF16 精度时，可能需要下载全部分片文件并合并后再运行。也可通过 Ollama 运行，例如 exaone-deep:7.8b 采用 Q4_K_M 量化；还可自行编写 Modelfile 并转换为 Ollama 模型。此外可在 LM-Studio 中本地运行，需将“Reasoning Section Parsing”设置为 <thought> 和 </thought>，并将“Template (Jinja)”设置为 EXAONE 3.5 的模板。
部署：模型已集成到多种部署框架。TensorRT-LLM 自 EXAONE 3.0 起支持 EXAONE 语言模型，官方推荐使用 TensorRT-LLM 以获得最佳性能，转换为 TensorRT-LLM 格式时可能需要设置环境变量 TRTLLM_DISABLE_UNIFIED_CONVERTER=1；TensorRT-LLM 也支持 AWQ。使用 vLLM 需安装 vllm>=0.6.0，并可发送 curl 请求；若要以 vLLM 服务 GGUF 量化模型，需参考 vLLM GGUF 文档。使用 SGLang 时，若为 EXAONE Deep 2.4B 模型，需要安装 sglang>=0.3.6 并使用 --attention-backend triton 选项；官方还提到正在通过 PR 修复 flashinfer 与 EXAONE Deep 2.4B 的不兼容问题。
使用指南：官方建议确保模型以 <thought>\n 开始推理步骤，可通过 tokenizer.apply_chat_template() 并设置 add_generation_prompt=True 实现；模型输出质量在省略该起始标记时可能下降。由于推理步骤通常包含大量 token，在多轮场景中可能需要移除先前的推理步骤，提供的 tokenizer 会自动处理。官方建议避免使用系统提示，将指令构建在用户提示中。额外指令有助于模型更深入推理，例如数学问题可使用“Please reason step by step, and put your final answer within \boxed{}.”。官方评估中使用 temperature=0.6、top_p=0.95 进行生成，并建议多次测试以准确评估预期性能，同时非常建议使用不超过 1.0 的重复惩罚以获得更好的生成质量。
限制：官方指出该语言模型存在一定局限性，可能偶尔生成不当回应。模型基于 token 输出概率生成内容，由训练数据学习决定。尽管已尽力从训练数据中排除个人、有害和偏见信息，仍可能包含有问题的内容并导致不良回应；生成的文本不代表 LG AI Research 的观点。可能生成包含个人、有害或其他不当信息的回应；可能生成与年龄、性别、种族等相关的偏见回应；生成内容高度依赖训练数据统计，可能产生语义或语法错误的句子；模型不反映最新信息，回应可能错误或矛盾。LG AI Research 致力于降低潜在风险，用户不得在使用 EXAONE 语言模型时从事任何可能诱导违反 LG AI 伦理原则的不当输出的恶意活动（例如输入非法信息）。
许可与支持：模型采用 EXAONE AI Model License Agreement 1.1 - NC 许可。LG AI Research 技术支持邮箱为 contact_us@lgresearch.ai。
