全部 skill

LLM 对齐的简单偏好优化。无参考的 DPO 替代，性能更好（AlpacaEval 2.0 +6.4 分）。无需参考模型，比 DPO 更高效。想比 DPO/PPO 更简单更快的偏好对齐训练时使用。