MLM — Masked Language Modeling｜掩码语言模型

事实

一种通过预测被遮住词语来学习语言表示的训练方法。

人话

最经典的玩法，就是把句子里几块瓷砖先抠走，让模型照着前后文把坑一点点补平。

常用于语言模型预训练，尤其适合理解类任务。

相关概念

• Bidirectional Encoder Representations from Transformers（双向编码器表征）
• 预训练
• 自监督学习（Self-supervised Learning）
• Language modeling｜语言建模

Bert
BERT 因这种训练方式而出名，擅长理解上下文。

Pretraining
它常出现在预训练阶段，用海量文本先打底。

Self-supervised-learning
它靠文本自己造题，本质上属于自监督学习。

Language-modeling
它是语言建模的一种变体，不走纯顺序预测路线。