用前 n-1 个词预测下一个词的统计语言模型。
n-gram像输入法顺嘴接话:只瞄前几个词,就敢猜你下一句是“收到”。
早年撑起手机联想和语音识别,长上下文容易迷糊。
Language Modeling它是语言建模早期最经典的统计方法。
Autoregressive Model它按从左到右的顺序预测下一个词元。
Token词元是它统计 n 连串和预测的基本单位。
Perplexity困惑度常用来评估它猜下个词准不准。