LM — Language modeling｜语言建模

事实

让模型学习并预测语言序列规律的任务。

人话

语言建模像输入法的老熟人，你刚打“今晚吃”，它已经开始猜烧烤还是火锅。

它是预训练的基本练习，支撑补全、翻译和聊天。

相关概念

• 预训练
• 词元
• 大语言模型
• Transformer 架构

Pretraining
语言建模是预训练阶段最核心的学习任务之一。

Token
语言建模通常根据前文逐个预测下一个 Token。

LLM
LLM 的续写、问答和聊天能力建立在语言建模上。

Transformer
Transformer 是现代语言建模最常见的实现架构。