全部 skill

用 PyTorch 四维并行在大规模集群上预训练大模型。

用 torchtitan 提供 PyTorch 原生分布式 LLM 预训练，带 4D 并行（FSDP2、TP、PP、CP）。从 8 到 512+ GPU 规模预训练 Llama 3.1、DeepSeek V3 或自定义模型，用 Float8、torch.compile、分布式检查点时使用。

用 torchforge（Meta 把基础设施与算法分离的库）做 PyTorch 原生 agentic RL 指引。想要干净 RL 抽象、易算法实验、或用 Monarch 与 TorchTitan 可扩展训练时使用。