全部 skill

用尽可能少的改动，让 PyTorch 训练跑在多张 GPU 上。

用 Lightning 写出干净的训练循环，自带分布式支持。

带 Trainer 类、自动分布式训练（DDP/FSDP/DeepSpeed）、回调系统、极少样板的高层 PyTorch 框架。同代码从笔记本扩到超算。想要带内置最佳实践的干净训练循环时使用。

最简单的分布式训练 API。4 行给任意 PyTorch 脚本加分布式支持。DeepSpeed/FSDP/Megatron/DDP 统一 API。自动设备放置、混合精度（FP16/BF16/FP8）。交互式配置、单启动命令。HuggingFace 生态标准。

用 DeepSpeed 或 HuggingFace 训练专家混合（MoE）模型。有限算力训练大规模模型（比稠密省 5× 成本）、实现 Mixtral 8x7B 或 DeepSeek-V3 类稀疏架构、或扩容量而不按比例增算力时使用。覆盖 MoE 架构、路由机制、负载均衡、专家并行、推理优化。

DeepSpeed 分布式训练专家指引——ZeRO 优化阶段、流水线并行、FP16/BF16/FP8、1-bit Adam、稀疏注意力。