全部 skill

用 torchtitan 提供 PyTorch 原生分布式 LLM 预训练，带 4D 并行（FSDP2、TP、PP、CP）。从 8 到 512+ GPU 规模预训练 Llama 3.1、DeepSeek V3 或自定义模型，用 Float8、torch.compile、分布式检查点时使用。