SuperAPI AI 工具集

sglang-deepseek-v3-r1-optimization

部署与运维

查看项目

更新于 10-15 17:24

技能介绍

用途:为 SGLang 主分支中 DeepSeek V3/R1 的优化提供手册化参考,帮助排查、恢复、扩展或审计相关实现。资料明确说明不覆盖 V3.1 parser delta 与 V3.2 DSA/NSA 稀疏注意力栈。

基础信息:SGLang origin/main 快照为 929e00eea(2026-04-21),sgl-cookbook origin/main 为 8ec4d03(2026-04-21)。运行入口为 python/sglang/srt/models/deepseek_v2.py,V3/R1 入口类为 DeepseekV3ForCausalLM,NextN/MTP 入口类为 DeepseekV3ForCausalLMNextN。历史证据位于 references/pr-history.md 与 references/playbook.md。

主要能力:围绕 MLA 加 MoE 的吞吐问题,涉及权重加载与量化配置、MLA 后端与 KV cache 数据类型、MoE runner 与共享专家行为、MTP、DP attention、EP、PP、PD、DeepEP,以及 PCG、确定性、LoRA 与后端专项测试。核心原则强调不要将 V3/R1 视作单一优化,W4AFP8、MTP、共享专家融合各有独立路径,且优化顺序为先确认单形态路径正确再引入分布式。

使用方式:需先记录服务形态,包括模型版本、量化格式(如 native FP8、BF16、INT8、AWQ、W4A8/W4AFP8、NVFP4、MXFP4、MXFP8、LoRA)、TP/DP/EP/PP/PD 拓扑、DP attention、DeepEP 模式、MoE runner 后端、MLA attention 后端、MTP 是否启用及 NextN 量化差异、parser 组合与测试通道及硬件。parser 使用 --reasoning-parser deepseek-v3 或 deepseek-r1,工具调用用 --tool-call-parser deepseekv3。验证使用与改动匹配的最窄测试通道,例如 test/registered/8-gpu-models/test_deepseek_v3_basic.py、test_deepseek_v3_mtp.py、test/registered/mla/test_mla_deepseek_v3.py 等。

限制:资料未提供性能数据、收费或平台支持信息,具体硬件行为需按快照与 PR 状态确认,部分 PR 仍为 open、已回退或已关闭的探索路径。