Bahdanau Attention — Bahdanau Attention（Bahdanau 注意力）

事实

一种在生成时动态对齐输入位置的注意力机制。

人话

它像开卷考试答题，写到哪题就翻哪页，不用整本硬背，现用现找最对口那段。

常见于翻译等序列生成，让输出时动态对齐输入重点。

相关概念

• 注意力机制
• 序列到序列模型
• Self-Attention｜自注意力
• Transformer 架构

Attention
它是经典注意力机制的早期代表形式。

Seq2Seq
它为 Seq2Seq 补上输入输出的动态对齐能力。

Self-Attention
Self-Attention 把这种选重点思路扩展到序列内部。

Transformer
Transformer 延续并放大了注意力这条路线。