Recurrent Transformer — 循环 Transformer

事实

通过复用前段状态延续上下文的 Transformer 架构。

人话

它像追更时夹书签：翻到下一章，前情要点还夹着，不用每次从第一章重看。

它能延续更长上下文，用于长文阅读和语言建模。

相关概念

• Transformer 架构
• Recurrent Neural Network，循环神经网络
• 上下文窗口

Transformer
它在 Transformer 的注意力机制上加入跨段状态传递。

RNN
它借鉴 RNN 的循环思路，让前段信息传给后段。

Context-window
它通过复用前段状态，延续固定窗口外的上下文。