全部 skill

在有限显存下用 LoRA 微调大模型。

用 LoRA、QLoRA 与 25+ 方法做 LLM 参数高效微调。GPU 内存有限微调大模型（7B-70B）、需训练 <1% 参数且精度损失最小、或做多适配器服务时使用。HuggingFace 官方库，与 transformers 生态集成。

激活感知的 4-bit 权重量化，3× 加速且精度损失极小。在有限 GPU 内存部署大模型（7B-70B）、需比 GPTQ 更快推理且更好保精度、或用于指令微调与多模态模型时使用。MLSys 2024 最佳论文。

把 LLM 量化为 8-bit 或 4-bit，省 50-75% 内存且精度损失极小。GPU 内存有限、需装更大模型、或想更快推理时使用。支持 INT8、NF4、FP4 格式、QLoRA 训练、8-bit 优化器。与 HuggingFace Transformers 配合。

训练后 4-bit 量化，精度损失极小。在消费 GPU 部署大模型（70B、405B）、需 4× 内存缩减且困惑度降 <2%、或比 FP16 更快推理（3-4×）时使用。与 transformers、PEFT 集成做 QLoRA 微调。