NTK — 神经切线核

事实

描述宽神经网络训练动态的核函数。

人话

NTK 像提前铺好的铁轨：火车再怎么使劲跑，路线在发车前就定死了。

用来分析超宽网络，连接深度学习和核方法。

相关概念

• 核方法
• 神经网络
• 过度参数化
• 梯度下降

Kernel Method
NTK 把超宽神经网络训练连接到核回归。

Neural-network
它刻画神经网络在初始化附近的训练动态。

Overparameterization
网络足够宽时，NTK 近似更容易成立。

Gradient Descent
它描述梯度下降如何改变模型输出。