神经网络隐藏层有多少层神经网络隐含层

转载

imking 2023-08-07 15:38:57

文章标签 神经网络隐藏层有多少层神经网络机器学习算法人工智能 文章分类 神经网络人工智能

一、多层前馈神经网络

要解决非线性可分问题，需考虑使用多层功能神经元。

输入层和输出层之间的一层神经元，被称为隐层或隐含层（hidden layer）。

隐含层和输出层神经元都是拥有激活函数的功能神经元。

更一般的，常见的神经网络如下图所示的层级结构：

神经网络隐藏层有多少层神经网络隐含层_算法

图1 多层前馈神经网络结构示意图

每层神经元与下一层神经元全互连，神经元之间不存在同层连接，也不存在跨层连接。这样的神经网络结构通常称为“多层前馈神经网络”（multi-layer feedforward neural networks），其中输入层神经元接受外界输入，隐层和输出层神经元对信号进行加工，最终结果由输出层神经元输出。

（换句话说，输入层神经元仅接受输入，不进行函数处理。）

（a）图通常称为“两层神经网络”，为避免歧义，将其命名为单隐层网络（只需包含隐层，即可称为多层网络）。

神经网络的学习过程，就是根据训练数据来调整神经元之间的“连接权”以及每个功能神经元的阈值，换言之，神经网络学到的东西，蕴含在连接权和阈值中。

二、标准误差逆传播算法（标准BP算法）

BP算法亦称为“反向传播算法”。

通常说的“BP网络”一般是指BP算法训练的多层前馈神经网络。

下面讲解什么是BP算法？

BP算法的基本思想是：

（1）正向传播FP(求损失)：在这个过程中，我们根据样本的输入，给定的初始化权重值W和偏置项的值b，计算最终输出值以及输出值与实际值之间的损失值。如果损失值不在给定的范围内则进行反向传播的过程，否则停止W,b的更新。

（2）反向传播BP(回传误差)：将输出以某种形式通过隐层向输入层逐层反传，并将误差分摊给各层的所有单元，从而获得各层单元的误差信号。此误差信号即作为修正各单元权值的依据。

以三层感知机结构为例，说明BP算法的一般计算方法

给定训练集

$D=\{ (x_1,y_1),(x_2,y_2),...,(x_m,y_m)\}, x_i \in \mathbb{R}^d,y_i \in \mathbb{R}^l$

即输入示例由d个属性描述，输出l维实值向量。

为了便于讨论，给出下图：

神经网络隐藏层有多少层神经网络隐含层_人工智能_03

上图给出了一个拥有d个输入神经元，l个输出神经元、q个隐层神经元的多层前馈神经网络。

输出层第j个神经元的阈值用

$\theta_j$

表示，隐层第h个神经元的阈值用

$\gamma_h$

表示。输入层第i个神经元与隐层第h个神经元之间的连接权用

$v_{ih}$

表示。隐层第h个神经元与输出层第j个神经元之间的连接权用

$w_{hj}$

表示。记隐层第h个神经元接收到的输入为

$\alpha_h = \sum_{i=1}^{d} v_{ih}x_i$

输出层第j个神经元接收到的输入为

$\beta_j = \sum_{h=1}^{q} w_{hj} b_h$

,其中

$b_{h}$

为隐层第h个神经元的输出。

假设隐层和输出层都是用sigmoid函数。

对训练例

神经网络隐藏层有多少层神经网络隐含层_神经网络隐藏层有多少层_11

，假定神经网络的输出为

$\hat{y}_k=(\hat{y_1}^k,\hat{y_2}^k,...,\hat{y_l}^k)$

,即

$\hat{y_j}^k=f(\beta_j-\theta_j)$

则网络在

神经网络隐藏层有多少层神经网络隐含层_神经网络隐藏层有多少层_11

上的均方误差为：

$E_k=\frac{1}{2}\sum_{j=1}^{l}(\hat{y_j}^k-y_j^k)^2$

网络中需要确定的参数为：输入层到隐层的

$d \times q$

个权值，隐层到输出层的

$q \times l$

个权值，q个隐层神经元的阈值，l个输出层神经元的阈值。一共是

$(d+l+1) \times q +l$

个参数。

BP是一个迭代学习算法，在迭代的每一轮中采用广义的感知机学习规则对参数进行更新估计。

以隐层到输出层的连接权

$w_{hj}$

为例来进行推导。

BP算法基于梯度下降策略，以目标的负梯度方向对参数进行调整，给定学习率η，有：

$\bigtriangleup w_{hj} = - \eta \frac{\partial E_k}{\partial w_{hj}}$

注意到

$w_{hj}$

先影响到第j个输出层神经元的输入值

$\beta_j$

，再影响到其输出值

$\hat{y}_j^k$

，然后影响到

神经网络隐藏层有多少层神经网络隐含层_神经网络_24

根据链式法则有：

$\frac{\partial E_k}{\partial w_{hj}} = \frac{\partial E_k}{\partial \hat{y}_j^k} \cdot \frac{\partial \hat{y}_j^k}{\partial \beta_j} \cdot \frac{\partial \beta_j}{\partial w_{hj}}$

因为

$\beta_j = \sum_{h=1}^{q} w_{hj} b_h$

，所以：

$\frac{\partial \beta_j}{\partial w_{hj}} = b_h$

Sigmoid函数有一个很好的性质为：

$f^{'}(x) =f(x)(1-f(x))$

因为：

$\hat{y_j}^k=f(\beta_j-\theta_j)$

，所以

$\frac{\partial \hat{y}_j^k}{\partial \beta_j} = f^{'}(\beta_j-\theta_j)$

因为：

$E_k=\frac{1}{2}\sum_{j=1}^{l}(\hat{y_j}^k-y_j^k)^2$

，所以

$\frac{\partial E_k}{\partial \hat{y}_j^k} = \hat{y}_j^k-y_j^k$

,故：

$g_j = - \frac{\partial E_k}{\partial \hat{y}_j^k} \cdot \frac{\partial \hat{y}_j^k}{\partial \beta_j} \\=-(\hat{y}_j^k-y_j^k) f^{'}(\beta_j-\theta_j) \\=-(\hat{y}_j^k-y_j^k)\hat{y}_j^k(1-\hat{y}_j^k) \\=\hat{y}_j^k(1-\hat{y}_j^k)(y_j^k-\hat{y}_j^k)$

(输出层神经元的梯度项)所以，

$\bigtriangleup w_{hj} = \eta g_j b_h$

类似地，注意到

$\theta_j$

首先影响到输出值

$\hat{y}_j^k$

，再影响到

神经网络隐藏层有多少层神经网络隐含层_神经网络_24

，所以有：

$\bigtriangleup \theta_j = - \eta \frac{\partial E_k}{\partial \theta_j} \\ = -\eta (\frac{\partial E_k}{\partial \hat{y}_j^k} \cdot \frac{\partial \hat{y}_j^k}{\partial \theta_j}) \\= - \eta(-(\hat{y}_j^k-y_j^k) \hat{y}_j^k(1-\hat{y}_j^k)) \\=-\eta \hat{y}_j^k (1-\hat{y}_j^k)(y_j^k-\hat{y}_j^k) \\=-\eta g_j$

类似地，隐层神经元的梯度项

神经网络隐藏层有多少层神经网络隐含层_神经网络隐藏层有多少层_39

的求解为：首先注意到

$v_{ih}$

首先影响到第h个隐层神经元的输入值

$\alpha_h$

,在影响到隐层神经元的输出值

神经网络隐藏层有多少层神经网络隐含层_神经网络_42

,最后影响到

神经网络隐藏层有多少层神经网络隐含层_神经网络_24

,所以有：

$\bigtriangleup v_{ih} = -\eta \frac{\partial E_k}{\partial v_{ih}} \\= -\eta(\frac{\partial E_k}{\partial b_h} \cdot \frac{\partial b_{h}}{\partial \alpha_h} \cdot \frac{\partial \alpha_h}{\partial v_{ih}})$

其中，由于

神经网络隐藏层有多少层神经网络隐含层_神经网络_42

是隐层神经元的输出，则

神经网络隐藏层有多少层神经网络隐含层_人工智能_46

,那么

神经网络隐藏层有多少层神经网络隐含层_机器学习_47

（隐层神经元的梯度项）所以，

$\bigtriangleup v_{ih} = - \eta \frac{\partial E_{k}}{\partial v_{ih}} \\= \eta e_h \cdot \frac{\partial \alpha_h}{\partial v_{ih}} \\=\eta e_h x_i$

类似地，注意到

$\gamma_h$

首先影响到输出值

神经网络隐藏层有多少层神经网络隐含层_神经网络_42

，再影响到

神经网络隐藏层有多少层神经网络隐含层_神经网络_24

，所以有：

$\bigtriangleup \gamma_h = - \eta \frac{\partial E_k}{\partial \gamma_h} \\= - \eta (\frac{\partial E_k}{\partial b_h} \cdot \frac{\partial b_h}{\partial \gamma_h}) \\=-\eta \cdot \frac{\partial E_k}{\partial b_h} \cdot (-f^{'}(\alpha_h-\gamma_h)) \\=-\eta \cdot (\sum_{j=1}^{l} \frac{\partial E_k}{\partial \beta_j} \cdot \frac{\partial \beta_j}{\partial b_h}) \cdot (-f^{'}(\alpha_h-\gamma_h)) \\= \eta \sum_{j=1}^{l} \frac{\partial E_k}{\partial \beta_j} \cdot \frac{\partial \beta_j}{\partial b_h}f^{'}(\alpha_h-\gamma_h) \\=-\eta e_h$