直接以字节序列建模文本的语言模型。
它读文字不先认词,像修表师逐齿检齿轮:外文、表情和错字,都从最细单位读起。
免去分词器,适合多语言和脏文本;但序列更长、计算更慢。
Tokenizer它直接读取字节,不依赖 Tokenizer 先把文本切分。
Token它以字节替代 Token;通用性更强,但序列通常更长。
Language Modeling它通过预测后续字节,完成语言建模任务。