全部 skill

用 PyTorch 四维并行在大规模集群上预训练大模型。

状态空间模型，复杂度 O(n) 对 Transformer 的 O(n²)。推理快 5×、百万 token 序列、无 KV cache。带硬件感知的选择性 SSM。Mamba-1（d_state=16）与 Mamba-2（d_state=128，多头）。HuggingFace 上 130M-2.8B 模型。

~300 行的教学 GPT 实现。在 OpenWebText 复现 GPT-2（124M）。干净可改代码学 transformer。Andrej Karpathy 出品。适合从零理解 GPT 架构。可在 Shakespeare（CPU）或 OpenWebText（多 GPU）训练。

RNN+Transformer 混合，推理 O(n)。线性时间、无限上下文、无 KV cache。像 GPT 训练（并行）、像 RNN 推理（顺序）。Linux Foundation AI 项目。用于 Windows、Office、NeMo 生产。RWKV-7（2025-03）。模型至 14B 参数。

用 Lightning AI 的 LitGPT 实现并训练 LLM，含 20+ 预训练架构（Llama、Gemma、Phi、Qwen、Mistral）。需干净模型实现、架构教学理解、或 LoRA/QLoRA 生产微调时使用。单文件实现、无抽象层。

用 torchtitan 提供 PyTorch 原生分布式 LLM 预训练，带 4D 并行（FSDP2、TP、PP、CP）。从 8 到 512+ GPU 规模预训练 Llama 3.1、DeepSeek V3 或自定义模型，用 Float8、torch.compile、分布式检查点时使用。