用途:为 Hugging Face kernels 生态开发针对 x86 CPU(Intel Xeon 及兼容处理器)的优化 C++ 内核,使用 AVX2/AVX512 内联函数,通过 kernel-builder 编译并分发。适用于编写 SIMD 内核、为通用实现添加 AVX512、实现量化 GEMM(INT4/NF4/FP4/FP8/MXFP4)、CPU 版 Flash Attention,以及构建 backend = "cpu" 的内核。
主要能力:提供运行时派发模式(cpu_features.hpp,AVX512→ATen 回退,rmsnorm 另有 AVX2 层)、build.toml 多目标编译、torch_binding.cpp 注册、brgemm(经 oneDNN,Xeon 上派发 AMX)与小 M 场景 tinygemm 的 GEMM 加速方案,以及大量参考文档(SIMD、量化 GEMM、内存、线程、dtype、优化分级等)。
使用方式:由智能体自主循环执行。先读 scripts/config.yaml(max_trials、early_stop_speedup、perf_stat_enabled、build_command 等)。Phase 1 按 Tier 0 通用回退、Tier 1 AVX2(可选)、Tier 2 AVX512 逐层实现并验证正确性;Phase 2 用 trial_manager.py 做分支式性能探索。关键命令:python scripts/analyze_op.py --op "rms_norm" --shapes "1024x4096,2048x8192";python scripts/trial_manager.py init my_rmsnorm baseline.py;kernel-builder build --release && pip install dist/*.whl --force-reinstall;python scripts/benchmark_cpu.py baseline.py --kernel-package my_kernel --op my_kernel.rms_norm;python scripts/cpu_profiler.py --kernel-package my_kernel --op my_kernel.rms_norm;python scripts/trial_manager.py finalize my_rmsnorm output/。基准测试需绑定单 NUMA 节点:numactl --cpunodebind=0 --membind=0。
限制与规则:只允许修改 .cpp/.hpp、torch_binding.cpp 和 build.toml,不得自建基准或测试脚本,不得写自定义计时代码;工具失败须停止并报告;每个 SIMD 层级须独立翻译单元并配独立编译标志,不得混用不同 ISA;须处理向量宽度不整除的边界情况;必须跑满 max_trials,唯一合法提前停止是 speedup 超过 early_stop_speedup。具体硬件支持范围、性能数据与收费信息暂未提供。