SuperAPI AI 工具集

external-cannbot-model-model-infer-precision-debug

测试与质量

查看项目

更新于 10-15 17:19

技能介绍

用途:诊断昇腾 NPU 上基于 PyTorch 的模型推理精度问题,当前主要覆盖 KVCache 与 FlashAttention(FA)相关精度问题,其他推理精度问题后续补充;不覆盖 crash、hang、OOM、算子约束违反等运行时错误。

主要能力:按“症状分类→快速验证→分模块定位→逐层对比→陷阱修复”分层排查。提供症状分类表(重复 token、首 token 正确后续偏移、Prefill 正确 Decode 偏差、NaN/Inf、逐层累积偏差、多 batch 部分错误、量化偏差放大等),快速验证清单(dtype/device 一致性、block_table dtype、sparse_mode、scale、kv_len、input_layout、atten_mask 等),二分法定位 Prefill/Decode,逐层 8 个关键位置对比,以及常见陷阱修复表与精度调试报告模板。附录给出 FA 入参配置:atten_mask 与 sparse_mode 联合校验、FA v1/v2 参数名映射、input_layout 与 shape 匹配、actual_seq_lengths 构造、inner_precise、MLA rope 约束。

使用方式:由 Agent 实际执行测试,流程为收集信息、快速诊断、分模块定位、精细定位(按需)、修复与验证、输出报告;完整校验工具见 references/fa_debug_utils.md,可在 FA 调用前插入 debug_fa_all_params() 一键检查。

限制:仅覆盖 KVCache/FA 相关精度问题;不处理运行时错误;资料未提供安装命令、价格、平台与效果数据,暂未提供。