BP神经网络典型结构:
(1)信号的前向传播过程:隐含层第i个节点的输入neti:
隐含层第i个节点的输出yi:
输出层第k个节点的输入netk,k=1:
输出层第k个节点的输出ok ,k=1:
(2)误差的反向传播过程:误差的反向传播,即首先由输出层开始逐层计算各层神经元的输出误差,然后根据误差梯度下降法来调节各层的权值和阈值,使修改后的网络的最终输出能接近期望值。 Tk为预期输出
对于每一个样本p的二次型误差准则函数为Ep:
系统对P个训练样本的总误差准则函数为:
(3)权值和阈值修正:
根据误差梯度下降法依次修正输出层权值的修正量Δwki:
输出层阈值的修正量Δak:
隐含层权值的修正量Δwij:
隐含层阈值的修正量Δθi:
输出层权值调整公式:
输出层阈值调整公式:
隐含层权值调整公式:
隐含层阈值调整公式:
又因为一下式子成立:
所以最后得到以下公式:
生成新的权值:
然后进入下一步的循环,
计算误差,直到误差满足要求为止,然后程序结束
*计划做一个具体的实验,并将实验的过程及结果放于–BP算法的反向传播和权值修正实验(2)–中