RoPE — 旋转位置编码（Rotary Positional Embedding）

事实

在注意力中用旋转向量表示位置的编码方法。

人话

RoPE 像给文字装表盘：每个词转到不同角度，远近关系一眼读出。

用于注意力层，让模型处理顺序和长文本更稳。

相关概念

• 位置编码
• Self-Attention｜自注意力
• Transformer 架构
• 上下文窗口

Positional Encoding
RoPE 是位置编码的一种，把顺序写进向量角度。

Self-Attention
它让注意力计算能感知词与词的相对距离。

Transformer
很多 Transformer 用它替代传统位置编码。

Context-window
它常被用于改善长上下文位置外推。