全部 skill

用尽可能少的改动，让 PyTorch 训练跑在多张 GPU 上。

用 Lightning 写出干净的训练循环，自带分布式支持。

用 PyTorch 四维并行在大规模集群上预训练大模型。

Fully sharded data-parallel training for large models.EN

用 torchtitan 提供 PyTorch 原生分布式 LLM 预训练，带 4D 并行（FSDP2、TP、PP、CP）。从 8 到 512+ GPU 规模预训练 Llama 3.1、DeepSeek V3 或自定义模型，用 Float8、torch.compile、分布式检查点时使用。

用 verl（Volcano Engine RL）训练 LLM 强化学习指引。需实现 RLHF、GRPO、PPO 或其他 RL 算法做大规模 LLM 后训练、且需灵活基础设施后端时使用。

带 Ray+vLLM 加速的高性能 RLHF 框架。用于大模型的 PPO、GRPO、RLOO、DPO 训练（7B-70B+）。基于 Ray、vLLM、ZeRO-3。比 DeepSpeedChat 快 2×，分布式架构、GPU 资源共享。

跨集群的分布式训练编排。把 PyTorch/TensorFlow/HuggingFace 从笔记本扩到数千节点。内置 Ray Tune 超参调优、容错、弹性扩展。多机训练大模型、或跑分布式超参扫描时使用。

带 Trainer 类、自动分布式训练（DDP/FSDP/DeepSpeed）、回调系统、极少样板的高层 PyTorch 框架。同代码从笔记本扩到超算。想要带内置最佳实践的干净训练循环时使用。

给训练脚本加 PyTorch FSDP2（fully_shard），含正确初始化、分片、混合精度/卸载配置、分布式检查点。模型超单卡内存、或需基于 DTensor 的 DeviceMesh 分片时使用。

用 NVIDIA Megatron-Core 高级并行策略训练大模型（2B-462B 参数）。训练 >1B 参数模型、需最大 GPU 效率（H100 上 47% MFU）、或需张量/流水线/序列/上下文/专家并行时使用。Nemotron、LLaMA、DeepSeek 用的生产框架。

最简单的分布式训练 API。4 行给任意 PyTorch 脚本加分布式支持。DeepSpeed/FSDP/Megatron/DDP 统一 API。自动设备放置、混合精度（FP16/BF16/FP8）。交互式配置、单启动命令。HuggingFace 生态标准。

DeepSpeed 分布式训练专家指引——ZeRO 优化阶段、流水线并行、FP16/BF16/FP8、1-bit Adam、稀疏注意力。