全部 skill

用 PyTorch 四维并行在大规模集群上预训练大模型。

Unsloth: 2-5x faster LoRA/QLoRA fine-tuning, less VRAM.EN

Unsloth 快速微调专家指引——训练快 2-5×、内存省 50-80%、LoRA/QLoRA 优化。

用 Lightning AI 的 LitGPT 实现并训练 LLM，含 20+ 预训练架构（Llama、Gemma、Phi、Qwen、Mistral）。需干净模型实现、架构教学理解、或 LoRA/QLoRA 生产微调时使用。单文件实现、无抽象层。

用 torchtitan 提供 PyTorch 原生分布式 LLM 预训练，带 4D 并行（FSDP2、TP、PP、CP）。从 8 到 512+ GPU 规模预训练 Llama 3.1、DeepSeek V3 或自定义模型，用 Float8、torch.compile、分布式检查点时使用。