Knowledge Distillation

知识蒸馏（Knowledge Distillation，KD）是一种机器学习技术，主要用于将大型复杂模型（教师模型）的知识迁移到小型轻量化模型（学生模型）中，以实现模型压缩和性能优化。 核心概念 教师...