Sequence Modeling — 序列建模

事实

学习序列中前后依赖关系的建模方法。

像追连续剧，不能只看这一集谁在吵，还得记得前面埋了啥线，后面反转才看得懂。

它建模前后顺序关系，常用于文本、语音和时间序列。

Token
它把 token 视作有先后关系的连续序列。

Transformer
Transformer 是现代序列建模的关键实现方式。

Language Modeling
语言建模是序列建模最常见的落地任务。

Seq2Seq
Seq2Seq 把序列建模扩展到序列到序列生成。