全部 skill

加速长序列 Transformer 的训练与推理。

High-throughput LLM inference on NVIDIA GPUs.EN

用 NVIDIA TensorRT 优化 LLM 推理达最大吞吐与最低延迟。在 NVIDIA GPU（A100/H100）生产部署、需比 PyTorch 快 10-100× 的推理、或用量化（FP8/INT4）、在途批处理、多 GPU 扩展服务模型时使用。

用 miles（slime 的生产就绪 fork）做企业级 RL 训练指引。用 FP8/INT4 训练大 MoE 模型、需训练-推理对齐、或需推测性 RL 达最大吞吐时使用。

用 Flash Attention 优化 transformer 注意力，2-4× 加速、10-20× 省内存。训练/跑长序列（>512 token）transformer、注意力遇 GPU 内存问题、或需更快推理时使用。支持 PyTorch 原生 SDPA、flash-attn 库、H100 FP8、滑动窗口注意力。

DeepSpeed 分布式训练专家指引——ZeRO 优化阶段、流水线并行、FP16/BF16/FP8、1-bit Adam、稀疏注意力。