Transfer Learning — 迁移学习

事实

把已有模型学到的能力迁到新任务上的方法。

人话

迁移学习像厨师换摊卖煎饼：火候、手感、刀工都还在，不用从生火学起，换个配方就能很快出餐。

它常以预训练模型为底座，用少量新数据完成分类、识图和行业微调。

相关概念

• 预训练
• 微调
• 基础模型
• Bidirectional Encoder Representations from Transformers（双向编码器表征）

Pretraining
迁移学习通常先承接预训练得到的通用能力。

Fine-tuning
微调是把已有能力迁到新任务的常见做法。

Foundation-model
基础模型越强，迁移到下游任务通常越省数据。

BERT
BERT 让预训练加迁移学习成为 NLP 主流。