全部 skill

用 PyTorch 四维并行在大规模集群上预训练大模型。

Fully sharded data-parallel training for large models.EN

用 torchtitan 提供 PyTorch 原生分布式 LLM 预训练，带 4D 并行（FSDP2、TP、PP、CP）。从 8 到 512+ GPU 规模预训练 Llama 3.1、DeepSeek V3 或自定义模型，用 Float8、torch.compile、分布式检查点时使用。

给训练脚本加 PyTorch FSDP2（fully_shard），含正确初始化、分片、混合精度/卸载配置、分布式检查点。模型超单卡内存、或需基于 DTensor 的 DeviceMesh 分片时使用。