全部 skill

基于 Megatron 与 SGLang 做大模型的强化学习后训练。

TRL：做 SFT、DPO、GRPO、RLOO 等奖励建模与强化学习微调。

Reference-free preference alignment, simpler than DPO.EN

LLM 对齐的简单偏好优化。无参考的 DPO 替代，性能更好（AlpacaEval 2.0 +6.4 分）。无需参考模型，比 DPO 更高效。想比 DPO/PPO 更简单更快的偏好对齐训练时使用。

用 verl（Volcano Engine RL）训练 LLM 强化学习指引。需实现 RLHF、GRPO、PPO 或其他 RL 算法做大规模 LLM 后训练、且需灵活基础设施后端时使用。

用 TRL 的强化学习微调 LLM——SFT 做指令微调、DPO 做偏好对齐、PPO/GRPO 做奖励优化、以及奖励模型训练。需 RLHF、用偏好对齐模型、或从人类反馈训练时使用。与 HuggingFace Transformers 配合。

用 slime（Megatron+SGLang 框架）做 LLM 后训练 RL 指引。训练 GLM 模型、实现自定义数据生成工作流、或需 Megatron-LM 紧耦合做 RL 扩展时使用。

带 Ray+vLLM 加速的高性能 RLHF 框架。用于大模型的 PPO、GRPO、RLOO、DPO 训练（7B-70B+）。基于 Ray、vLLM、ZeRO-3。比 DeepSpeedChat 快 2×，分布式架构、GPU 资源共享。

用 TRL 做 GRPO/RL 微调、面向推理与任务特定模型训练的专家指引。

训练后 4-bit 量化，精度损失极小。在消费 GPU 部署大模型（70B、405B）、需 4× 内存缩减且困惑度降 <2%、或比 FP16 更快推理（3-4×）时使用。与 transformers、PEFT 集成做 QLoRA 微调。