Distillation — 模型蒸馏

事实

把大模型能力压缩迁移到较小模型中的训练方法。

人话

模型蒸馏像考前学霸给同桌划重点：不背整本书，只学最会考的解法。

它常把大模型能力压进小模型，适合低成本部署和本地运行。

相关概念

• 基础模型
• 微调
• 本地大模型

Foundation-model
Distillation 将 Foundation-model 的能力压缩到小模型中。

Fine-tuning
Fine-tuning 后的专项能力，可通过 Distillation 保留下来。

Local-LLM
Distillation 降低了 Local-LLM 对本地硬件的要求。