全部 skill

llama.cpp 本地 GGUF 推理，并从 HuggingFace Hub 发现模型。

vLLM：高吞吐的大模型推理服务，兼容 OpenAI API，支持量化。

在 CPU、Apple Silicon、消费 GPU 上跑 LLM 推理，无需 NVIDIA 硬件。用于边缘部署、M1/M2/M3 Mac、AMD/Intel GPU、或 CUDA 不可用时。支持 GGUF 量化（1.5-8 bit）减内存、比 PyTorch CPU 快 4-10×。

激活感知的 4-bit 权重量化，3× 加速且精度损失极小。在有限 GPU 内存部署大模型（7B-70B）、需比 GPTQ 更快推理且更好保精度、或用于指令微调与多模态模型时使用。MLSys 2024 最佳论文。

把 LLM 量化为 8-bit 或 4-bit，省 50-75% 内存且精度损失极小。GPU 内存有限、需装更大模型、或想更快推理时使用。支持 INT8、NF4、FP4 格式、QLoRA 训练、8-bit 优化器。与 HuggingFace Transformers 配合。

高效 CPU/GPU 推理的 GGUF 格式与 llama.cpp 量化。在消费硬件、Apple Silicon、或需 2-8 bit 灵活量化且无 GPU 要求时部署模型时使用。

训练后 4-bit 量化，精度损失极小。在消费 GPU 部署大模型（70B、405B）、需 4× 内存缩减且困惑度降 <2%、或比 FP16 更快推理（3-4×）时使用。与 transformers、PEFT 集成做 QLoRA 微调。

无需校准数据的 LLM 半二次量化。把模型量化到 4/3/2-bit 且无校准数据集、用于快速量化工作流、或用 vLLM/HuggingFace Transformers 部署时使用。

用 vLLM 的 PagedAttention 与连续批处理高吞吐服务 LLM。部署生产 LLM API、优化推理延迟/吞吐、或在有限 GPU 内存服务模型时使用。支持 OpenAI 兼容端点、量化（GPTQ/AWQ/FP8）、张量并行。