全部 skill

基于 Megatron 与 SGLang 做大模型的强化学习后训练。

TRL：做 SFT、DPO、GRPO、RLOO 等奖励建模与强化学习微调。

用 Unsloth Core 在单张消费级 GPU 上微调与后训练 LLM：VRAM 估算、LoRA/QLoRA、GRPO/DPO、chat 模板正确性与 GGUF 导出。

Axolotl 微调 LLM 专家指引——YAML 配置、100+ 模型、LoRA/QLoRA、DPO/KTO/ORPO/GRPO、多模态支持。

用 verl（Volcano Engine RL）训练 LLM 强化学习指引。需实现 RLHF、GRPO、PPO 或其他 RL 算法做大规模 LLM 后训练、且需灵活基础设施后端时使用。

用 TRL 的强化学习微调 LLM——SFT 做指令微调、DPO 做偏好对齐、PPO/GRPO 做奖励优化、以及奖励模型训练。需 RLHF、用偏好对齐模型、或从人类反馈训练时使用。与 HuggingFace Transformers 配合。

用 torchforge（Meta 把基础设施与算法分离的库）做 PyTorch 原生 agentic RL 指引。想要干净 RL 抽象、易算法实验、或用 Monarch 与 TorchTitan 可扩展训练时使用。

用 slime（Megatron+SGLang 框架）做 LLM 后训练 RL 指引。训练 GLM 模型、实现自定义数据生成工作流、或需 Megatron-LM 紧耦合做 RL 扩展时使用。

带 Ray+vLLM 加速的高性能 RLHF 框架。用于大模型的 PPO、GRPO、RLOO、DPO 训练（7B-70B+）。基于 Ray、vLLM、ZeRO-3。比 DeepSpeedChat 快 2×，分布式架构、GPU 资源共享。

用 TRL 做 GRPO/RL 微调、面向推理与任务特定模型训练的专家指引。