Megatron LLM 训练

用 NVIDIA Megatron-Core 高级并行策略训练大模型（2B-462B 参数）。训练 >1B 参数模型、需最大 GPU 效率（H100 上 47% MFU）、或需张量/流水线/序列/上下文/专家并行时使用。Nemotron、LLaMA、DeepSeek 用的生产框架。