全部 skill

在有限显存下用 LoRA 微调大模型。

TRL：做 SFT、DPO、GRPO、RLOO 等奖励建模与强化学习微调。

Axolotl: YAML LLM fine-tuning (LoRA, DPO, GRPO).EN

Unsloth: 2-5x faster LoRA/QLoRA fine-tuning, less VRAM.EN

用 Unsloth Core 在单张消费级 GPU 上微调与后训练 LLM：VRAM 估算、LoRA/QLoRA、GRPO/DPO、chat 模板正确性与 GGUF 导出。

Unsloth 快速微调专家指引——训练快 2-5×、内存省 50-80%、LoRA/QLoRA 优化。

LLaMA-Factory 微调 LLM 专家指引——WebUI 无代码、100+ 模型、2/3/4/5/6/8-bit QLoRA、多模态支持。

Axolotl 微调 LLM 专家指引——YAML 配置、100+ 模型、LoRA/QLoRA、DPO/KTO/ORPO/GRPO、多模态支持。

用 Lightning AI 的 LitGPT 实现并训练 LLM，含 20+ 预训练架构（Llama、Gemma、Phi、Qwen、Mistral）。需干净模型实现、架构教学理解、或 LoRA/QLoRA 生产微调时使用。单文件实现、无抽象层。

用 LoRA、QLoRA 与 25+ 方法做 LLM 参数高效微调。GPU 内存有限微调大模型（7B-70B）、需训练 <1% 参数且精度损失最小、或做多适配器服务时使用。HuggingFace 官方库，与 transformers 生态集成。

用 TRL 的强化学习微调 LLM——SFT 做指令微调、DPO 做偏好对齐、PPO/GRPO 做奖励优化、以及奖励模型训练。需 RLHF、用偏好对齐模型、或从人类反馈训练时使用。与 HuggingFace Transformers 配合。

用 JAX 或 PyTorch 后端微调并服务 Physical Intelligence OpenPI 模型（pi0、pi0-fast、pi0.5），跨 ALOHA、DROID、LIBERO 环境做机器人策略推理。把 pi0 模型适配自定义数据集、JAX 检查点转 PyTorch、跑策略推理服务器、或调试 norm 统计与 GPU 内存问题使用。

微调评估 OpenVLA-OFT 与 OpenVLA-OFT+ 策略做机器人动作生成，含连续动作头、LoRA 适配、LIBERO 仿真与 ALOHA 真实环境的 FiLM 条件。复现 OpenVLA-OFT 论文结果、训练自定义 VLA 动作头（L1 或扩散）、为 ALOHA 部署服务端-客户端推理、或调试归一化/LoRA 合并/跨 GPU 问题使用。