SuperAPI AI 工具集

cuda-kernels

通用与其它

查看项目

更新于 10-16 06:43

技能介绍

用途:在 candle 框架中为 qwen3-tts-rs 项目开发、调试和优化自定义 CUDA kernel,触发词包括 cuda kernel、custom kernel、fused op、ptx、kernel launch、nsys、ncu、profiling、roofline、occupancy、register pressure 等。

主要能力:提供 candle 自定义算子模式,包括 CustomOp1(单输入张量)、CustomOp2(双输入张量)和 InplaceOp1(原地修改,无额外分配);PTX 内核嵌入方式,将 kernels/ 下的 .cu 文件编译为 PTX 后用 include_str! 引入,并通过 get_or_load_func、LaunchConfig 和 func.launch 启动;编译命令为 nvcc -ptx -arch=sm_80 -o kernels/my_kernel.ptx kernels/my_kernel.cu,也可在 build.rs 中自动编译。

使用方式:所有 CUDA 编译与测试在 Docker(NGC PyTorch 基础镜像)中进行,可用 ./scripts/test-kernel.sh fused_rmsnorm 做单 kernel 测试,make profile-chrome MODEL_DIR=test_data/models/1.7B-CustomVoice 做端到端基准,./scripts/count-kernels.sh 统计每帧 kernel 启动次数。单元测试使用合成张量、无需模型权重,可用 cargo test --lib -- fused_silu_mul 运行。优化遵循每轮只改一处:基线→剖析→分类→优化→验证→对比→循环,回退则撤销。

适用场景:编写与融合 CUDA 算子、调试 GPU 代码、减少 kernel 启动次数。项目说明 CUDA 计算 dtype 为 BF16、CPU 为 F32,decoder 与 speaker encoder 始终为 F32;每帧共 33 层(28 talker + 5 code predictor),目标是把每帧约 700 次 kernel 启动降至约 545 次。

限制:profiling span 由 #[cfg(feature = "profiling")] 控制,GPU 同步审计用 make audit-gpu-syncs,内核规划见 docs/CUSTOM_CUDA_KERNELS_PLAN.md;CPU 回退对仅 CUDA 算子可标注为 todo!。更完整的 nsys、ncu、SASS 检查与瓶颈分类参考见 REFERENCE.md。