SuperAPI AI 工具集

compileiq-booster-pack

编程与开发

查看项目

更新于 10-16 07:24

技能介绍

用途:在运行完整 CompileIQ 搜索之前,先试用 NVIDIA 已针对特定工作负载族验证过的 ACF 候选(Booster Pack)。这些 ACF 不保证加速,必须视为工作负载特定项并在自己的基准上验证。

主要能力:提供 Booster Pack 的下载、逐个 ACF 注入、正确性验证与可复现性记录流程。当前可用包包括 booster-pack-helion.zip(针对 Helion FP8 量化、因果深度卷积、Gated DeltaNet 前向验证,在 FlashInfer BatchDecodeWithPagedKVCacheWrapper 上显示过收益)和 booster-pack-debug.zip(诊断用 ACF,非提速)。

使用方式:先做强制预检 O0/O3 金丝雀,确认 ACF 真正到达 PTXAS 且未被框架缓存吞掉;失败则先修复缓存(Triton 设 TRITON_ALWAYS_COMPILE=1 与独立 TRITON_CACHE_DIR,Helion 设 HELION_SKIP_CACHE=1,FlashInfer 确认无 flashinfer_cubin/flashinfer_jit_cache,nvcc 清理构建目录)。随后从 GitHub Releases 下载 booster-packs-* 标签下的包与 booster-pack-catalog.json,读取每个包的 manifest,每次只应用一个 ACF,按目标选择注入方式(ptxas、nvcc、Triton、Helion、FlashInfer),并对照已知正确参考验证正确性、多形状测试、设置超时、多次性能试验,最后在 booster-pack-log.csv 记录可复现性清单。可用 scripts/apply_one_acf.sh 辅助,并支持 --self-test 自检。

适用场景:工作负载与某个 Booster Pack 的目标工作负载、编译器、GPU 和验证上下文接近时优先试用;否则转 compileiq-run-search 做完整搜索。

限制:Booster Pack 不是搜索空间输入,不能喂给 PtxasSearchSpace 或 NvccSearchSpace;包名不是硬边界;必须能证明发生了重新编译;目前没有运行时下载 API;基线、正确性检查、编译器路径或基准设置未就绪时应先修复再应用任何 ACF。