用途:面向昇腾 NPU 推理场景,提供 SuperKernel 算子二进制融合技术的完整适配流程,用于优化推理性能。
主要能力:覆盖四步流程——分析模型结构(识别 Attention、MoE、FFN 等模块)、确定 Scope 融合范围(仅 Attention、仅 MoE、全 Decoder 层、自动分析或自定义)、编写代码(修改 config.yaml 与 modeling_*.py)、性能测试验证。产出优化后代码与 superkernel_optimization_report.md 报告。
使用方式:前置条件必须满足 exe_mode: "ge_graph"、Atlas A3 硬件、PyTorch 框架;模型须区分 Prefill 与 Decode 阶段。配置中设置 enable_superkernel: True,并在模型 decode 方法中用 superkernel_scope 上下文管理器标记融合范围,例如 label 可取 decode_layers、attention_only、moe_only。验证阶段先禁用 SuperKernel 建立基线,再启用对比,通过 bash infer.sh 运行测试。
限制:仅 Decode 阶段生效,Prefill 因输入长度动态变化而自动禁用;不支持 eager 模式与 aclgraph 模式;需手动标记 Scope;不支持含 Tiling 下沉算子等场景。首次尝试建议仅选 Attention 模块以降风险。具体性能提升幅度、价格等信息资料未提供。