全部 skill

用 NVIDIA Megatron-Core 高级并行策略训练大模型（2B-462B 参数）。训练 >1B 参数模型、需最大 GPU 效率（H100 上 47% MFU）、或需张量/流水线/序列/上下文/专家并行时使用。Nemotron、LLaMA、DeepSeek 用的生产框架。

DeepSpeed 分布式训练专家指引——ZeRO 优化阶段、流水线并行、FP16/BF16/FP8、1-bit Adam、稀疏注意力。