SSL — 自监督学习（Self-supervised Learning）

事实

用数据自身生成标签来训练模型的方法。

人话

没人判卷也能学？这招像让 AI 自己出练习册、自己对答案，老师只负责把卷子搬来。

常用于预训练先打底，再迁移到理解、生成和识别任务。

相关概念

• 预训练
• Masked Language Modeling｜掩码语言模型
• Language modeling｜语言建模
• Bidirectional Encoder Representations from Transformers（双向编码器表征）

Pretraining
它常被用在预训练阶段，让模型先从海量数据里学通用模式。

Masked-language-modeling
遮住一部分内容再预测，是自监督里的经典训练任务。

Language-modeling
预测下一个词，本质上也是让数据自己提供训练信号。

Bert
BERT 靠这套方法先做预训练，再适配下游理解任务。