Weight Initialization — 权重初始化

事实

为模型参数设置训练前初始数值的方法。

人话

权重初始化像和面先兑水：太干太稀都难救，开局对了才好揉。

影响训练速度和稳定性，常见于深度网络从零训练。

相关概念

• 参数
• 梯度下降
• Backpropagation（反向传播）
• 神经网络

Parameter
权重初始化在训练前为参数设定起始数值。

Gradient Descent
它给梯度下降一个出发点，影响收敛路径。

Backpropagation
合适初值能让反向传播的梯度更稳定。

Neural Network
神经网络训练前需要先初始化权重。