共 1 个 skill · 数据来自 GitHub 与精选合集,每日更新
Orchestra-Research/AI-Research-SKILLs/10-optimization/awq
激活感知的 4-bit 权重量化,3× 加速且精度损失极小。在有限 GPU 内存部署大模型(7B-70B)、需比 GPTQ 更快推理且更好保精度、或用于指令微调与多模态模型时使用。MLSys 2024 最佳论文。