Optimization — 优化

事实

让模型参数朝更优目标不断调整的过程。

人话

像煎饼摊师傅调面糊火候：稀一点焦了，厚一点夹生，得一遍遍试到那张皮最对劲。

它贯穿模型训练，负责把参数一步步调到更好的位置。

相关概念

• 梯度下降
• 随机梯度下降
• 自适应矩估计优化器
• Backpropagation（反向传播）

Gradient Descent
梯度下降是优化最经典、最基础的实现方式。

SGD
SGD 是优化的常见做法，用小批量数据更新参数。

Adam
Adam 是常用优化器，收敛通常比基础方法更快。

Backpropagation
反向传播先算出梯度，优化再据此更新参数。