Batch Normalization — 批量归一化

事实

在训练中按批次标准化激活值的技术。

人话

批量归一化像工厂出货前统一校准：先把整批零件拉到同一基准线，后面组装时才不会东歪西扭。

常用于训练深层网络，帮助收敛更稳更快。

相关概念

• 层归一化
• 梯度下降
• 卷积神经网络
• 残差网络

Layer Normalization
两者都在稳训练，但一个看批次，一个看单样本。

Gradient Descent
它能缓和训练波动，让梯度下降更容易收敛。

CNN
它曾广泛用于卷积网络，加速并稳定训练过程。

ResNet
ResNet 这类深层网络里，经常能看到它的身影。