RMSProp — Root Mean Square Propagation，均方根传播

事实

用梯度平方均值自适应调整学习率的优化器。

人话

RMSProp像山路骑车变速：坡越陡档越轻，平路再放开踩。

用于神经网络训练，按参数调步长，减少陡坡震荡。

相关概念

• 随机梯度下降
• 自适应梯度算法
• 自适应矩估计优化器

SGD
RMSProp 在梯度下降基础上，为每个参数调学习率。

AdaGrad
RMSProp 用滑动平均，缓解 AdaGrad 步子越走越小。

Adam
Adam 把 RMSProp 的自适应步长与动量结合。