SuperAPI AI 工具集

external-cannbot-model-model-infer-graph-mode

智能体与模型

查看项目

更新于 10-15 17:19

技能介绍

用途:本技能面向昇腾 NPU 上基于 PyTorch 的模型推理图模式适配,目标是通过 torch.compile 将模型适配到图模式以加速推理性能。触发场景包括 npugraph_ex 或 GE 图模式适配、torch.compile 在昇腾 NPU 上的使用、图中断(Graph Break)修复、aclgraph 图编译问题。

主要能力:提供 npugraph_ex 与 GE(Ascend IR)两种图模式的适配指南,覆盖方案设计、图中断修复、FA 参数配置和验证测试。工作流程分为方案设计、方案确认、实施开发、验证测试四步,测试涵盖编译验证、功能验证、性能验证与测试报告。

使用方式:前置条件为模型在 NPU 上运行且已导入 torch_npu。npugraph_ex 通过 torch.compile(model, backend="npugraph_ex", ...) 启用,需 PyTorch 2.6.0+;GE 模式通过 torchair.get_npu_backend() 获取后端后编译,有 TP/EP 并行时需调用 patch_for_hcom()。用户未指定模式时默认采用 npugraph_ex。LLM 需区分阶段:Prefill 保持 eager,仅对 Decode 应用图模式。

限制:图模式仅适用于 Decode 阶段,Prefill 输入长度动态变化不适合图模式;aot_eager、inductor、cudagraphs 等后端在 NPU 不可用;npugraph_ex 为试验特性,暂不支持商用,且不支持随机数算子和动态控制流,forward 中不可使用 .item()。TorchAir FA 接口仅支持 GE 图模式。

其他:遇到精度问题可调用 model-infer-precision-debug 技能,FA 接口细节可通过 subagent 调用 /model-infer-fusion 技能查询。收费、价格等信息暂未提供。