GPTQ 量化

训练后 4-bit 量化，精度损失极小。在消费 GPU 部署大模型（70B、405B）、需 4× 内存缩减且困惑度降 <2%、或比 FP16 更快推理（3-4×）时使用。与 transformers、PEFT 集成做 QLoRA 微调。