AI Rookies

Byte-Level Language Model — 字节级语言模型

事实

直接以字节序列建模文本的语言模型。

人话

它读文字不先认词,像修表师逐齿检齿轮:外文、表情和错字,都从最细单位读起。

免去分词器,适合多语言和脏文本;但序列更长、计算更慢。

相关概念

Tokenizer
它直接读取字节,不依赖 Tokenizer 先把文本切分。

Token
它以字节替代 Token;通用性更强,但序列通常更长。

Language Modeling
它通过预测后续字节,完成语言建模任务。