Orchestra-Research/AI-Research-SKILLs/08-distributed-training/pytorch-fsdp2
给训练脚本加 PyTorch FSDP2(fully_shard),含正确初始化、分片、混合精度/卸载配置、分布式检查点。模型超单卡内存、或需基于 DTensor 的 DeviceMesh 分片时使用。
全部 skill