Orchestra-Research/AI-Research-SKILLs/08-distributed-training/deepspeed
DeepSpeed 分布式训练专家指引——ZeRO 优化阶段、流水线并行、FP16/BF16/FP8、1-bit Adam、稀疏注意力。
全部 skill