用途:msModelSlim 是面向华为昇腾 AI 处理器的模型压缩工具,用于大语言模型、MoE 模型和多模态模型的量化与压缩,降低显存占用并适配昇腾推理。
主要能力:支持 W8A8、W8A16、W4A8、W8A8C8(含 KV Cache 量化)、W8A8S、W16A16S 等量化类型;提供 V1 一键量化(通过 --config_path 指定 lab_practice/ 下配置文件,形如 lab_practice/<model_series>/<model>-<quant_type>-v1.yaml)与 V0 传统脚本量化;支持多设备分布式量化(--device npu:0,1,2,3);内置 SmoothQuant、QuaRot、AutoRound、GPTQ、SSZ、PDMIX、FA3 等离群抑制与量化算法;提供敏感层分析与自动调优(msmodelslim analyze、Standing High 二分搜索)。
覆盖模型:Qwen3、Qwen2.5、Qwen2、DeepSeek-V3、LLaMA、GLM、InternLM2、Kimi、HunYuan 等 LLM;Qwen3-MoE、DeepSeek MoE;Qwen-VL、InternVL2、LLaVA、GLM-4.1V 等视觉语言模型及 FLUX、SD3、HunyuanVideo 等生成模型。
使用方式:先安装依赖(Python 3.8+、CANN 8.2.RC1+、PyTorch Ascend),执行 git clone https://gitcode.com/Ascend/msmodelslim.git 后运行 bash install.sh;量化命令如 msmodelslim quant --model_path /path/to/model --save_path /path/to/output --device npu --model_type Qwen2.5-7B-Instruct --config_path /path/to/msmodelslim/lab_practice/qwen2.5/qwen2.5-7b-w8a8-v1.yaml --trust_remote_code True。量化后可通过 vLLM-Ascend(--quantization ascend)或 MindIE 部署,也可用 example/common/ms_to_vllm.py 转换格式。
限制:需昇腾 NPU 与匹配的 CANN、torch_npu 环境;BF16 模型遇 AclNN_Parameter_Error(EZ1001) 多与 Docker 镜像兼容性有关,需换镜像或重装 torch_npu 并确保 CANN 8.3.RC1+;不支持模型需按 model_adapter.py 模板编写适配器;不要源码目录内运行命令以避免模块路径冲突。具体价格与更多平台细节暂未提供。