全部 skill

用师生模型的知识蒸馏压缩大模型。部署保性能的小模型、把 GPT-4 能力迁到开源模型、或降推理成本时使用。覆盖温度缩放、软目标、反向 KLD、logit 蒸馏、MiniLLM 训练策略。

用 RoPE、YaRN、ALiBi、位置插值技术扩展 transformer 上下文窗口。处理长文档（32k-128k+ token）、把预训练模型扩展到原上下文限制外、或实现高效位置编码时使用。覆盖旋转嵌入、注意力偏置、插值法、LLM 外推策略。

用 mergekit 合并多个微调模型组合能力而免重训。混合领域专长（数学+编码+聊天）创建专用模型、单模型性能之上的提升、或快速实验模型变体时使用。覆盖 SLERP、TIES-Merging、DARE、Task Arithmetic、线性合并、生产部署策略。

用 Wanda、SparseGPT 等剪枝技术减小 LLM 体积、加速推理。免重训压缩模型、达 50% 稀疏且精度损失极小、或在硬件加速器更快推理时使用。覆盖非结构化/结构化剪枝、N:M 稀疏、幅度剪枝、一次性方法。

用 DeepSpeed 或 HuggingFace 训练专家混合（MoE）模型。有限算力训练大规模模型（比稠密省 5× 成本）、实现 Mixtral 8x7B 或 DeepSeek-V3 类稀疏架构、或扩容量而不按比例增算力时使用。覆盖 MoE 架构、路由机制、负载均衡、专家并行、推理优化。

用推测解码、Medusa 多头、前瞻解码技术加速 LLM 推理。优化推理速度（1.5-3.6× 加速）、降实时应用延迟、或在有限算力部署模型时使用。覆盖草稿模型、树状注意力、Jacobi 迭代、并行 token 生成、生产部署策略。