Layer Normalization — 层归一化

事实

按单个样本的特征维度做标准化的方法。

人话

层归一化像做菜时每道菜单独调味：咸淡只盯眼前这盘，隔壁桌点的是麻辣还是清蒸都不影响你。

常用在 Transformer 里稳住训练，让深层网络更好学。

相关概念

• 批量归一化
• Transformer 架构
• 优化

Batch Normalization
两者都在稳训练，但它不依赖 batch 统计量。

Transformer
Transformer 广泛使用它来稳定层间激活分布。

Optimization
它能让优化过程更平稳，减少训练发飘。