PEFT 参数高效微调

Orchestra-Research/AI-Research-SKILLs/03-fine-tuning/peft

12.1k 0TeX研究
平台通用(跨宿主)

用 LoRA、QLoRA 与 25+ 方法做 LLM 参数高效微调。GPU 内存有限微调大模型(7B-70B)、需训练 <1% 参数且精度损失最小、或做多适配器服务时使用。HuggingFace 官方库,与 transformers 生态集成。

全部 skill