BPTT — 时间反向传播（Backpropagation Through Time）

事实

把序列模型在时间维展开后做反向传播的训练方法。

人话

吵架吵崩了，不能只怪最后一句嘴快，前面每次拱火都得倒回去算，这才知道锅从哪来。

常用于训练文本、语音等序列模型，把后面的误差一路追到前面。

相关概念

• Backpropagation（反向传播）
• 序列建模
• 长短期记忆网络
• Automatic Differentiation｜自动微分

Backpropagation
它是反向传播在序列与时间展开场景下的延伸。

Sequence Modeling
序列建模常用它把后面的误差传回前面步骤。

LSTM
LSTM 这类循环网络通常靠它完成训练。

Autodiff
现代框架常借助自动求导实现这套求梯度过程。