SuperAPI AI 工具集

flash-attention

通用与其它

查看项目

更新于 10-16 02:32

技能介绍

用途:加速长序列 Transformer 的训练与推理,降低注意力计算的显存占用。官方资料称可带来 2-4 倍加速和 10-20 倍显存降低,原理是 IO 感知的分块与重计算。

主要能力:PyTorch 2.2+ 原生支持,可直接用 F.scaled_dot_product_attention 自动启用;flash-attn 库提供更多特性,如多查询注意力、滑动窗口注意力;H100 上另有 FlashAttention-3(FA3)支持 FP16/BF16 前向与反向、FP8 仅前向。

使用方式:PyTorch 原生路径需 torch>=2.2,用 F.scaled_dot_product_attention(q,k,v) 替换手写注意力,可用 sdpa_kernel(SDPBackend.FLASH_ATTENTION) 强制后端。flash-attn 库安装:pip install flash-attn --no-build-isolation,输入形状为 [batch, seqlen, nheads, headdim],调用 flash_attn_func(q,k,v,dropout_p=0.0,causal=True)。FA3 不在 pip 包内,需从源码 hopper/ 目录编译,使用 flash_attn_interface 模块,FP8 需转 float8_e4m3fn。

适用场景:序列长度超过 512 token 的训练、长上下文(>2K token)推理、显存受限导致 OOM 的情况。序列小于 256 token 时收益有限,不建议使用。

限制:需要 NVIDIA Ampere 及以上 GPU(Turing 支持,Volta V100 不支持),不支持 CPU 推理;CUDA 12.0+(最低 11.8);仅支持 float16/bfloat16,不支持 float32;pip 包 flash-attn 2.8.x 仅含 FlashAttention-2,不含 FA3 与 FP8 H100 内核。安装报错可加 --no-build-isolation 或先装 CUDA 工具链。精度差异在 float16 下应小于 1e-3。其他细节暂未提供。