Gradient Descent — 梯度下降

事实

沿损失函数下降方向更新参数的优化方法。

人话

像蒙眼拧水龙头试水温：先摸出偏烫偏凉，再朝更舒服那边一点点回调。

常用于训练模型降误差；步子太大易过头，太小又会变慢。

相关概念

• Backpropagation（反向传播）
• 随机梯度下降
• 自适应矩估计优化器
• 参数

Backpropagation
反向传播负责算梯度，它负责按梯度更新参数。

SGD
SGD 是梯度下降的随机小批量版本，更常见。

Adam
Adam 在它基础上改进步长与更新方式。

Parameter
梯度下降的目标，就是把参数往更优方向调。