共 2 个 skill · 数据来自 GitHub 与精选合集,每日更新
Orchestra-Research/AI-Research-SKILLs/08-distributed-training/megatron-core
用 NVIDIA Megatron-Core 高级并行策略训练大模型(2B-462B 参数)。训练 >1B 参数模型、需最大 GPU 效率(H100 上 47% MFU)、或需张量/流水线/序列/上下文/专家并行时使用。Nemotron、LLaMA、DeepSeek 用的生产框架。
Orchestra-Research/AI-Research-SKILLs/12-inference-serving/vllm
用 vLLM 的 PagedAttention 与连续批处理高吞吐服务 LLM。部署生产 LLM API、优化推理延迟/吞吐、或在有限 GPU 内存服务模型时使用。支持 OpenAI 兼容端点、量化(GPTQ/AWQ/FP8)、张量并行。