文章目录

  • ReLU
  • Leaky ReLU
  • PReLU
  • ELU
  • Softplus


ReLU

ReLU（Rectified Linear Unit，修正线性单元），也叫Rectifier 函数，它的定义如下：

ReLU 如何读 relu读音_PReLU

Relu可以实现单侧抑制（即把一部分神经元置0），能够稀疏模型， Sigmoid 型活tanh激活函数会导致一个非稀疏的神经网络，而Relu大约 50% 的神经元会处于激活状态，具有很好的稀疏性。

ReLU 如何读 relu读音_ReLU_02

Relu函数右侧线性部分梯度始终为1，具有 宽兴奋边界的特性 （即兴奋程度可以非常高），不会发生神经网络的梯度消失问题， 能够加速梯度下降的收敛速度。而tanh和sigmoid在离0点近的时候梯度大，在远离0点的时候梯度小，容易出现梯度消失。

在生物神经网络中， 同时处于兴奋状态的神经元非常稀疏． 人脑中在同一时刻大概只有 1% ∼ 4% 的神经元处于活跃状态

Relu的缺点：ReLU 函数不是在0周围， 相当于给后一层的神经网络引入偏置偏移，会影响梯度下降的效率。另外，在训练时， 如果参数在一次不恰当的更新后， 某个 ReLU 神经元输出为0，那么这个神经元自身参数的梯度永远都会是0，在以后的训练过程中永远不能被激活， 这种现象称为死亡 ReLU 问题 （Dying ReLU Problem）

ReLU 神经元指采用 ReLU 作为激活函数的神经元。

Leaky ReLU

Leaky ReLU（带泄露的 ReLU ）在输入 ReLU 如何读 relu读音_ReLU_03 时， 保持一个很小的梯度 ReLU 如何读 relu读音_Leaky ReLU_04． 这样当神经元输出值为负数也能有一个非零的梯度可以更新参数， 避免永远不能被激活，Leaky ReLU定义如下：

ReLU 如何读 relu读音_ELU_05


其中 ReLU 如何读 relu读音_Leaky ReLU_04 是一个很小的常数， 比如 0.01． 当 ReLU 如何读 relu读音_Leaky ReLU_04 < 1 时， Leaky ReLU 也可以写为

ReLU 如何读 relu读音_ReLU 如何读_08


ReLU 如何读 relu读音_ReLU_09的图像如下所示：

ReLU 如何读 relu读音_ReLU 如何读_10

PReLU

PReLU（Parametric ReLU， PReLU，即带参数的 ReLU）引入一个可学习的参数， 不同神经元可以有不同的参数。 对于第 𝑖 个神经元，ReLU 的定义为：

ReLU 如何读 relu读音_Leaky ReLU_11


ReLU 如何读 relu读音_PReLU_12是ReLU 如何读 relu读音_PReLU_13时的梯度， 如果ReLU 如何读 relu读音_PReLU_12 = 0， 那么PReLU 就退化为 ReLU． 如果 ReLU 如何读 relu读音_PReLU_12

ELU

ELU（Exponential Linear Unit， 指数线性单元）定义为：

ReLU 如何读 relu读音_Leaky ReLU_16


其中 ReLU 如何读 relu读音_Leaky ReLU_04 ≥ 0 是一个超参数，图像如下所示：

ReLU 如何读 relu读音_Leaky ReLU_18

Softplus

Softplus 函数 可以看作 Relu 函数的平滑版本，其定义为

ReLU 如何读 relu读音_ELU_19


Softplus 函数其导数刚好是 Logistic 函数。 Softplus 函数虽然也具有单侧抑制、 宽兴奋边界的特性， 却没有稀疏激活性，不会稀疏模型。 图像如下：

ReLU 如何读 relu读音_ReLU 如何读_20

这几个函数的图像如下：

ReLU 如何读 relu读音_Leaky ReLU_21