SuperAPI AI 工具集

compileiq-search-space

通用与其它

查看项目

更新于 10-16 09:46

技能介绍

用途:在 CompileIQ 中为新项目挑选 search_space= 参数,或将某个发布版本固定用于论文/生产部署,也适用于气隙或企业防火墙主机,以及测试手头的单个 .bin 文件。

主要能力:CompileIQ 以发布版二进制 blob 提供编译器搜索空间,由 compileiq.search_spaces.compilers 中的 provider 按需拉取。三类 provider:PtxasSearchSpace(默认自动拉取最新 PTXAS 13.3 default 变体;可指定 version、variant、tag 固定版本;variant="att" 面向注意力类负载,即 FlashAttention、GQA、MHA、MLA、FlashInfer Batch Decode 等)、NvccSearchSpace(version="13.3",全流水线调优,含前端与后端)、LocalSearchSpaceBin(传入本地 .bin 路径,跳过 manifest 与网络)。用法:从 compileiq.search_spaces.compilers 导入后用 Search(objective_function=..., search_space=ss, search_config=...) 传入。可用变体:ptxas 13.3 的 default 与 att,nvcc 13.3 的 default。

离线使用:先在联网主机 gh release download search-spaces-latest -R NVIDIA/CompileIQ -D /shared/ciq-search-spaces,移到气隙主机后设置 CIQ_SEARCH_SPACES_DIR。其他环境变量:CIQ_SEARCH_SPACES_REPO(默认 NVIDIA/CompileIQ)、CIQ_SS_TAG_PREFIX(默认 search-spaces-)。缓存位于 ~/.cache/compileiq/<tag>/<sha256_prefix>_<filename>,按 sha256 校验,损坏会重新下载。

自定义搜索空间:非编译器调优可直接传 dict 或 dict 列表,原语来自 compileiq.search_spaces.base:choice、range、literal(带 knockout_prob)、log_sampling;也可用列表混合用户空间与编译器空间,此时目标函数收到同长度列表。

限制:att 指 attention,不是 attribute。Provider 与 Booster Pack 不同,不要把 Booster Pack 的 .acf 传给 PtxasSearchSpace。LocalSearchSpaceBin 只校验文件存在,不校验 .bin 内容,格式错误会在下游解析时失败。其余细节暂未提供。