全部 skill

高效 CPU/GPU 推理的 GGUF 格式与 llama.cpp 量化。在消费硬件、Apple Silicon、或需 2-8 bit 灵活量化且无 GPU 要求时部署模型时使用。

无需校准数据的 LLM 半二次量化。把模型量化到 4/3/2-bit 且无校准数据集、用于快速量化工作流、或用 vLLM/HuggingFace Transformers 部署时使用。

用师生模型的知识蒸馏压缩大模型。部署保性能的小模型、把 GPT-4 能力迁到开源模型、或降推理成本时使用。覆盖温度缩放、软目标、反向 KLD、logit 蒸馏、MiniLLM 训练策略。

用 Wanda、SparseGPT 等剪枝技术减小 LLM 体积、加速推理。免重训压缩模型、达 50% 稀疏且精度损失极小、或在硬件加速器更快推理时使用。覆盖非结构化/结构化剪枝、N:M 稀疏、幅度剪枝、一次性方法。