用途:为 SGLang 中 moonshotai/Kimi-K2* 与 moonshotai/Kimi-K2.5* 提供基于 PR 证据的优化阶梯,判断当前代码处于哪一级,应用下一个缺失优化,且在前一级满足后才深入下一级。也用于把相同优化顺序与验证纪律迁移到具有相似特征的模型。
主要能力:K2 路径覆盖移除 256 专家 router 假设、去掉通用 grouped-topk 开销、将 sigmoid/bias/top-k/renorm 融合为单一 CUDA 算子、运行时按 K2 形状分派最优快路径、微调融合 gate 内核、加固分段 CUDA graph 正确性、清理并加固 K2 thinking 的量化 Marlin MoE 路径、添加硬件专用 fused MoE 调优文件。K2.5 路径覆盖 wrapper 启动、让 MoE 配置初始化识别 text_config、量化 checkpoint 加载、通过 wrapper 打通并行运行时、多模态 DP 路径扩展、按真实量化与硬件形状调优 fused MoE、投机解码 wrapper 兼容、多模态+DP attention+投机解码正确性加固、保持服务与验证面一致。
使用方式:先记录服务形态,包括 K2 或 K2.5、thinking 或 instruct、纯文本或多模态、原生或量化权重、TP/DP/EP/PP/PD/EPLB 拓扑、是否启用投机解码、NVIDIA/AMD/其他后端、启动解析器对 --tool-call-parser kimi_k2 与 --reasoning-parser kimi_k2、是否启用 LoRA、当前 SGLang commit 与匹配的注册测试通道。证据见 references/pr-history.md 与 references/playbook.md。优化顺序为:启用正确形状或 wrapper 契约、去除通用开销、添加或选择 Kimi 专用快路径、微调热点内核、加固 PCG 或分布式正确性、按设备调优 fused MoE 配置。
适用场景与迁移:非 Kimi 模型若共享稀疏 MoE router 形状偏离 DeepSeek 假设、wrapper 将文本模型元数据藏在 text_config、多模态塔依赖 DP encoder、并行特性依赖 wrapper 表面,可复用优化顺序与验证纪律,但不复用具体常量与文件名。
限制:应把 K2、K2 thinking、K2.5 视为不同优化问题。当前 main 快照基于 SGLang origin/main commit c122d343a(2026-04-21)。#13789 尝试支持 Kimi-K2-Thinking DeepEP 加 int4/Marlin,因 fused_marlin_moe 非法内存访问而未合并,不应视为主线支持。其余价格、性能数字等未提供。