SuperAPI AI 工具集

kernel-organization

编程与开发

查看项目

更新于 10-16 09:59

技能介绍

用途:为 SGLang 项目提供内核(kernel)代码组织的统一规范,适用于新增、移动、拆分或评审 kernel API、注册表元数据、kernel 测试、基准测试及模型专属实现。使用前应先阅读 python/sglang/kernels/README.md 与 test/README.md,RFC #29630 确立命名空间,后续迁移 #32148、#40922 明确逻辑分组并移除旧的 jit 文件名前缀。

主要能力与规则:可调用内核 API 放在 sglang.kernels.ops.<group> 下,运行时与集成测试从该命名空间及其子模块导入;sgl_kernel wheel 保留自身公共 API 与打包测试。按计算而非模型或 GPU 分组,如 GEMM/GEMV 归 gemm、专家路由归 moe、注意力索引选择归 attention、采样归 sampling、归一化归 layernorm;量化 GEMM 仍属 GEMM,纯量化归 quantization。逻辑组内允许模型专属文件/子包与调优数据,但不得在 ops/ 下直接添加模型包或实现文件;新增逻辑组需同步更新 ops._GROUPS、文档与测试。融合算子按完整契约分类,不因拆分 norm、RoPE 或量化而拆成多次启动;共享 CUDA 构建/运行时基础设施留在 kernels/jit,进程组、通信状态、模型分发与缓冲区归属留在 srt。

注册与测试:在所属组的 init.py 添加惰性 KernelSpec 元数据,或对可互换后端使用现有 BaseFusedOp 注册;组导入不得导入 GPU 实现或编译内核。op id 用 <group>.<name>,目标用 module:callable,保留既有后端分发并用 CapabilityRequirement 描述实际设备/架构限制。数值测试放 test/registered/kernels/ops/<group>/,CI 微基准放 test/registered/kernels/benchmark/<group>/,清单/选择器测试放 test/registered/unit/kernels/,运行时单测放 test/registered/unit/<subsystem>/,非 CI 冒烟脚本放 test/manual/kernels/。

限制与验证:迁移前需搜索所有运行时、测试、基准、文档、patch 字符串与惰性注册引用,检查相对导入与包再导出,不保留转发垫片;调优文件随加载它的 GEMM 保留;保持模块单例状态。迁移提交与语义变更分离,用 mechanical-refactor-verify 复现移动,对比前后测试清单与 CI 注册覆盖。运行命名空间/分发 CPU 测试、注册测试校验钩子、pre-commit 及相关 GPU 测试,并明确说明实际运行的 GPU 检查;导入/AST 检查不能证明数值或性能一致。不得仅凭组内模型名、缺少 jit 前缀、使用运行时工具或未继承 BaseFusedOp 就判定违规。