Flash Attention 优化

Orchestra-Research/AI-Research-SKILLs/10-optimization/flash-attention

12.1k 0TeX研究
平台通用(跨宿主)

用 Flash Attention 优化 transformer 注意力,2-4× 加速、10-20× 省内存。训练/跑长序列(>512 token)transformer、注意力遇 GPU 内存问题、或需更快推理时使用。支持 PyTorch 原生 SDPA、flash-attn 库、H100 FP8、滑动窗口注意力。

全部 skill