ReLU — 修正线性单元

事实

一种把负数截成零的神经网络激活函数。

人话

ReLU 跟门禁似的：负分情绪直接刷不进去，正向信号才准进楼继续干活。

常放在神经网络中间层，帮模型更快训练；在 CNN 这类结构里尤其常见。

相关概念

• 神经网络
• 多层感知机（Multilayer Perceptron）
• 卷积神经网络
• Backpropagation（反向传播）

Neural-network
它常作为神经网络里的激活开关。

MLP
MLP 往往在层与层之间用它增强表达力。

CNN
CNN 大量使用它来提升训练效率。

Backpropagation
训练时，梯度需要通过它向前层回传。