Attention — 注意力机制

事实

让模型在处理信息时动态关注更相关部分的机制。

人话

注意力机制像刷家庭群：不逐条较真，先盯住谁在说正事、谁在发红包。

它让模型抓住上下文重点，用于翻译、问答和长文本理解。

相关概念

• Transformer 架构
• 上下文窗口
• 大语言模型

Transformer
Transformer 依靠 Attention 判断哪些信息更重要。

Context-window
Context-window 越长，Attention 越需要筛选关键线索。

LLM
LLM 通过 Attention 建立远距离文本之间的联系。