全部 skill

激活感知的 4-bit 权重量化，3× 加速且精度损失极小。在有限 GPU 内存部署大模型（7B-70B）、需比 GPTQ 更快推理且更好保精度、或用于指令微调与多模态模型时使用。MLSys 2024 最佳论文。

训练后 4-bit 量化，精度损失极小。在消费 GPU 部署大模型（70B、405B）、需 4× 内存缩减且困惑度降 <2%、或比 FP16 更快推理（3-4×）时使用。与 transformers、PEFT 集成做 QLoRA 微调。

带 RadixAttention 前缀缓存的 LLM 快速结构化生成与服务。用于 JSON/regex 输出、约束解码、带工具调用的 agentic 工作流、或需比 vLLM 快 5× 且前缀共享的推理时。驱动 xAI、AMD、NVIDIA、LinkedIn 的 300,000+ GPU。

用 Wanda、SparseGPT 等剪枝技术减小 LLM 体积、加速推理。免重训压缩模型、达 50% 稀疏且精度损失极小、或在硬件加速器更快推理时使用。覆盖非结构化/结构化剪枝、N:M 稀疏、幅度剪枝、一次性方法。

用推测解码、Medusa 多头、前瞻解码技术加速 LLM 推理。优化推理速度（1.5-3.6× 加速）、降实时应用延迟、或在有限算力部署模型时使用。覆盖草稿模型、树状注意力、Jacobi 迭代、并行 token 生成、生产部署策略。