BP神经网络典型结构:

bp神经网络 权值矩阵 bp神经网络的权值修正_BP算法


bp神经网络 权值矩阵 bp神经网络的权值修正_神经网络_02


(1)信号的前向传播过程:隐含层第i个节点的输入neti:

bp神经网络 权值矩阵 bp神经网络的权值修正_bp神经网络 权值矩阵_03


隐含层第i个节点的输出yi:

bp神经网络 权值矩阵 bp神经网络的权值修正_权值修正_04


输出层第k个节点的输入netk,k=1:

bp神经网络 权值矩阵 bp神经网络的权值修正_权值修正_05


输出层第k个节点的输出ok ,k=1:

bp神经网络 权值矩阵 bp神经网络的权值修正_权值修正_06


(2)误差的反向传播过程:误差的反向传播,即首先由输出层开始逐层计算各层神经元的输出误差,然后根据误差梯度下降法来调节各层的权值和阈值,使修改后的网络的最终输出能接近期望值。 Tk为预期输出

对于每一个样本p的二次型误差准则函数为Ep:

bp神经网络 权值矩阵 bp神经网络的权值修正_神经网络_07


系统对P个训练样本的总误差准则函数为:

bp神经网络 权值矩阵 bp神经网络的权值修正_神经网络_08


(3)权值和阈值修正:

根据误差梯度下降法依次修正输出层权值的修正量Δwki:

bp神经网络 权值矩阵 bp神经网络的权值修正_神经网络_09


输出层阈值的修正量Δak:

bp神经网络 权值矩阵 bp神经网络的权值修正_bp神经网络 权值矩阵_10


隐含层权值的修正量Δwij:

bp神经网络 权值矩阵 bp神经网络的权值修正_神经网络_11


隐含层阈值的修正量Δθi:

bp神经网络 权值矩阵 bp神经网络的权值修正_bp神经网络 权值矩阵_12

输出层权值调整公式:

bp神经网络 权值矩阵 bp神经网络的权值修正_反向传播_13


输出层阈值调整公式:

bp神经网络 权值矩阵 bp神经网络的权值修正_反向传播_14


隐含层权值调整公式:

bp神经网络 权值矩阵 bp神经网络的权值修正_反向传播_15


隐含层阈值调整公式:

bp神经网络 权值矩阵 bp神经网络的权值修正_反向传播_16


又因为一下式子成立:

bp神经网络 权值矩阵 bp神经网络的权值修正_反向传播_17

所以最后得到以下公式:

bp神经网络 权值矩阵 bp神经网络的权值修正_反向传播_18


生成新的权值:

bp神经网络 权值矩阵 bp神经网络的权值修正_神经网络_19


然后进入下一步的循环,

计算误差,直到误差满足要求为止,然后程序结束

bp神经网络 权值矩阵 bp神经网络的权值修正_反向传播_20


bp神经网络 权值矩阵 bp神经网络的权值修正_BP算法_21


*计划做一个具体的实验,并将实验的过程及结果放于–BP算法的反向传播和权值修正实验(2)–中