全部 skill

用 NVIDIA Megatron-Core 高级并行策略训练大模型（2B-462B 参数）。训练 >1B 参数模型、需最大 GPU 效率（H100 上 47% MFU）、或需张量/流水线/序列/上下文/专家并行时使用。Nemotron、LLaMA、DeepSeek 用的生产框架。

用 Flash Attention 优化 transformer 注意力，2-4× 加速、10-20× 省内存。训练/跑长序列（>512 token）transformer、注意力遇 GPU 内存问题、或需更快推理时使用。支持 PyTorch 原生 SDPA、flash-attn 库、H100 FP8、滑动窗口注意力。