Orchestra-Research/AI-Research-SKILLs/19-emerging-techniques/knowledge-distillation
用师生模型的知识蒸馏压缩大模型。部署保性能的小模型、把 GPT-4 能力迁到开源模型、或降推理成本时使用。覆盖温度缩放、软目标、反向 KLD、logit 蒸馏、MiniLLM 训练策略。
全部 skill