TRL 微调

用 TRL 的强化学习微调 LLM——SFT 做指令微调、DPO 做偏好对齐、PPO/GRPO 做奖励优化、以及奖励模型训练。需 RLHF、用偏好对齐模型、或从人类反馈训练时使用。与 HuggingFace Transformers 配合。