Continual Learning — 持续学习

事实

让模型连续学习新任务且尽量不遗忘旧知识。

人话

持续学习像武馆师傅加练新招：会了咏春，也不能把太极还给师父。

用于长期助手、机器人、推荐系统，边更新边少遗忘。

相关概念

• 在线学习
• 迁移学习
• 微调
• 多任务学习

Online Learning
在线学习强调数据不断到来时持续更新模型。

Transfer Learning
迁移学习把旧任务经验迁到新任务，持续学习更重防遗忘。

Fine-tuning
微调可让模型学新数据，但也可能冲掉旧能力。

Multitask Learning
多任务学习多是一起学，持续学习强调按顺序学。