MoE 训练
Orchestra-Research/AI-Research-SKILLs/19-emerging-techniques/moe-training
平台通用（跨宿主）
用 DeepSpeed 或 HuggingFace 训练专家混合（MoE）模型。有限算力训练大规模模型（比稠密省 5× 成本）、实现 Mixtral 8x7B 或 DeepSeek-V3 类稀疏架构、或扩容量而不按比例增算力时使用。覆盖 MoE 架构、路由机制、负载均衡、专家并行、推理优化。
Orchestra-Research/AI-Research-SKILLs/19-emerging-techniques/moe-training
用 DeepSpeed 或 HuggingFace 训练专家混合（MoE）模型。有限算力训练大规模模型（比稠密省 5× 成本）、实现 Mixtral 8x7B 或 DeepSeek-V3 类稀疏架构、或扩容量而不按比例增算力时使用。覆盖 MoE 架构、路由机制、负载均衡、专家并行、推理优化。