SuperAPI AI 工具集

sglang-deepseek-v31-optimization

智能体与模型

查看项目

更新于 10-15 17:24

技能介绍

用途:该技能针对 SGLang main 分支中的 DeepSeek V3.1 支持与优化阶梯。V3.1 与 DeepSeek V3/R1 共享模型骨干,但其工具调用格式、聊天模板、思考开关、流式解析与验证通道独立,需单独处理,不能当作普通 V3 调试。

主要能力:

  1. 工具调用独立解析:V3.1 使用 <|tool▁calls▁begin|><|tool▁call▁begin|>{name}<|tool▁sep|>{json_args}<|tool▁call▁end|><|tool▁calls▁end|> 格式,不使用 V3 的 function 字面标记或围栏 JSON 块。通过 --tool-call-parser deepseekv31 解析到 DeepSeekV31Detector。
  2. 混合思考模式:用 --reasoning-parser deepseek-v3 启动,请求侧 extra_body: {"chat_template_kwargs": {"thinking": true}} 开启,模板在思考时输出 <think>,非思考时输出 </think>。
  3. 聊天模板参数类型稳定:多轮工具调用中 arguments 可为 dict 或已序列化 JSON 字符串,模板需避免双重转义。
  4. 结构标签与流式加固:结构触发应为通用每次调用起始 token 而非完整名称字符串;流式需保留首块参数与工具标记前的普通文本。
  5. 继承的模型加载与 MTP 健康:依赖 V3/R1 的 loader、MLA、MoE 与 MTP 面。
  6. MoE 配置调优:共享 DeepSeek 融合 MoE 形状配置(如 E=257,N=256,fp8_w8a8 的 H20/H20-3E)。

使用方式:先记录服务形态(模型、thinking 开关、--tool-call-parser deepseekv31、是否使用 tool_chat_template_deepseekv31.jinja、--reasoning-parser deepseek-v3、TP/DP/EP/PP 拓扑、MTP、后端与量化、流式或非流式、测试通道)。再按顺序确认:解析器/模板契约、流式与非流式一致性、思考模式与 </think> 模板行为、继承自 V3/R1 的加载与 MTP,最后才调 MoE/后端性能。解析器改动先加 CPU 单测再进行模型级测试。

适用场景:恢复、扩展或审计 SGLang 中的 V3.1 支持;排查工具调用、思考解析、流式参数、缓存剥离等差异问题。

限制:DeepSeek-V3.1-Speciale 不应视为工具调用目标。MLA、MoE、量化、DeepEP、MTP 相关 bug 通常归属 sglang-deepseek-v3-r1-optimization。具体性能数值与硬件要求资料未提供。