PyTorch FSDP2

Orchestra-Research/AI-Research-SKILLs/08-distributed-training/pytorch-fsdp2

12.1k 0TeX数据分析
平台通用(跨宿主)

给训练脚本加 PyTorch FSDP2(fully_shard),含正确初始化、分片、混合精度/卸载配置、分布式检查点。模型超单卡内存、或需基于 DTensor 的 DeviceMesh 分片时使用。

全部 skill