用途:在模型 forward 过程中打点,捕获各层中间 tensor,用于 GPU/NPU 精度对比调试。支持 vLLM、SGLang 推理框架。
主要能力:按 tag 捕获模型级别与各层中间张量(如 input_ids、hs.in、final_hs、logits、attn.in、attn.out、hs.out、mlp.output 等),输出含 layer、device、shape、dtype、l1_norm 的 [TD_CMP] 日志;提供注入、对比、验证、日志分析与回滚脚本。
使用方式:vLLM 需设置 TORCHDYNAMO_DISABLE=1(必须,否则日志无输出)与 TENSOR_DUMP_ENABLE=1,并可设 ASCEND_RT_VISIBLE_DEVICES;SGLang 需设 TENSOR_DUMP_ENABLE=1。通用可选变量:TENSOR_DUMP_DEVICE(默认 npu:0)、TENSOR_DUMP_LAYERS、TENSOR_DUMP_TAGS。流程为分析模型、注入代码、自检验证、启动服务;注入后必须自检,检查语法(python -m py_compile)、tag 数量与必须 tag、layer_idx 定义。示例命令:export TORCHDYNAMO_DISABLE=1; export TENSOR_DUMP_ENABLE=1; vllm serve /path/to/model --tensor-parallel-size 8。
适用场景:DeepSeek、Qwen、LLaMA 等 vLLM 场景,MiMo-v2、Step3.5、Qwen3.5 等 SGLang 场景的精度问题定位与逐层对比。
限制:自动注入可能因模式匹配失败遗漏 tag,仍需按自检表验证;日志无输出常因未设 TORCHDYNAMO_DISABLE=1;MLP/Attention/DecoderLayer 需定义 layer_idx 否则无法定位层。