全部 skill

Fully sharded data-parallel training for large models.EN

给训练脚本加 PyTorch FSDP2（fully_shard），含正确初始化、分片、混合精度/卸载配置、分布式检查点。模型超单卡内存、或需基于 DTensor 的 DeviceMesh 分片时使用。

最简单的分布式训练 API。4 行给任意 PyTorch 脚本加分布式支持。DeepSpeed/FSDP/Megatron/DDP 统一 API。自动设备放置、混合精度（FP16/BF16/FP8）。交互式配置、单启动命令。HuggingFace 生态标准。

DeepSpeed 分布式训练专家指引——ZeRO 优化阶段、流水线并行、FP16/BF16/FP8、1-bit Adam、稀疏注意力。