全部 skill

Reference-free preference alignment, simpler than DPO.EN

LLM 对齐的简单偏好优化。无参考的 DPO 替代，性能更好（AlpacaEval 2.0 +6.4 分）。无需参考模型，比 DPO 更高效。想比 DPO/PPO 更简单更快的偏好对齐训练时使用。

用 DeepSpeed 或 HuggingFace 训练专家混合（MoE）模型。有限算力训练大规模模型（比稠密省 5× 成本）、实现 Mixtral 8x7B 或 DeepSeek-V3 类稀疏架构、或扩容量而不按比例增算力时使用。覆盖 MoE 架构、路由机制、负载均衡、专家并行、推理优化。