Flash Attention 优化
Orchestra-Research/AI-Research-SKILLs/10-optimization/flash-attention
平台通用(跨宿主)
用 Flash Attention 优化 transformer 注意力,2-4× 加速、10-20× 省内存。训练/跑长序列(>512 token)transformer、注意力遇 GPU 内存问题、或需更快推理时使用。支持 PyTorch 原生 SDPA、flash-attn 库、H100 FP8、滑动窗口注意力。