Autodiff — Automatic Differentiation｜自动微分

事实

一种高效自动计算导数的方法。

人话

像短视频剪完后，软件顺手给你标出哪一刀卡顿、往前挪几帧更顺，省得你一格格回看。

它负责高效算梯度，是训练神经网络的基础，结果会交给优化器更新参数。

相关概念

• Backpropagation（反向传播）
• 参数
• 随机梯度下降
• 应用框架

Backpropagation
反向传播把误差往回传，靠它高效算各层导数。

Parameter
它算出的梯度，决定每个参数该怎么调整。

SGD
SGD 要先拿到梯度，才能更新参数。

Framework
现代深度学习框架通常内置了它。