SuperAPI AI 工具集

ptq

通用与其它

查看项目

更新于 10-16 07:24

技能介绍

用途:从预训练模型生成量化检查点(post-training quantization)。使用前应先阅读 examples/hf_ptq/README.md 获取支持矩阵、CLI 参数与精度指引;多候选配方探索用 quant-recipe-search,本技能负责每个已选配方的 PTQ 运行。

主要能力:支持 NVFP4、FP8、INT8、INT4 等量化格式;可用模型专属配方或按 GPU 选择格式——Blackwell(B100/B200/GB200)用 nvfp4,Hopper(H100/H200)及更早用 fp8 或 int4_awq,通过 --qformat 指定。支持 HF 模型、VLM(自动抽取语言模型)、以及未列出模型的自行处理路径。

使用方式:步骤为环境准备、确认模型是否受支持、检查模型专属依赖(如 trust_remote_code 引入的 mamba-ssm)、选择量化格式、运行 PTQ(4A 手动、4B 启动器、4C 未列出模型)、校验输出。手动运行示例:

pip install --no-build-isolation "nvidia-modelopt[hf]" pip install -r examples/hf_ptq/requirements.txt

python examples/hf_ptq/hf_ptq.py --pyt_ckpt_path <model> --qformat <format> --calib_size 512 --export_path <output>

校准数据:文本 LLM 建议 --dataset nemotron-post-training-v3;VLM 加 --calib_with_images;受限环境可用 --dataset cnn_dailymail 作后备。启动器路径:cd tools/launcher 后以 uv run launch.py --yaml <config.yaml> 运行(SLURM 或本地 Docker)。

限制与注意:受支持模型直接全量校准,未列出模型先做 --calib_size 4 冒烟测试;NVFP4 可在 Hopper 校准但推理需 Blackwell;VLM 通用配方会误匹配视觉塔,需用模型专属配方或加 visual/vision_tower 排除;量化前需先调用 mto.enable_huggingface_checkpointing();部署或评测提交前必须完成校验门(输出大小与比特数、量化覆盖、元数据一致性、下游交接与 serving 就绪)。具体价格、性能数据与完整清单资料未提供。