AdaGrad — 自适应梯度算法

事实

按历史梯度为每个参数自调学习率的优化算法。

人话

AdaGrad像课堂点名：常举手的少叫，沉默同学多给镜头。

适合稀疏特征训练；但步长会衰减，后期易学慢。

相关概念

• 梯度下降
• 随机梯度下降
• Root Mean Square Propagation，均方根传播
• 自适应矩估计优化器

Gradient Descent
AdaGrad 仍沿梯度方向走，只是每个参数步长不同。

SGD
SGD 常用统一步长，AdaGrad 改成逐参数调节。

RMSProp
RMSProp 用滑动平均缓解 AdaGrad 步长衰减过快。

Adam
Adam 继承自适应步长思想，并加入动量估计。