bitsandbytes 量化

把 LLM 量化为 8-bit 或 4-bit，省 50-75% 内存且精度损失极小。GPU 内存有限、需装更大模型、或想更快推理时使用。支持 INT8、NF4、FP4 格式、QLoRA 训练、8-bit 优化器。与 HuggingFace Transformers 配合。