【Deep Learning笔记】前馈神经网络和BP算法

文章目录

• 1 前馈神经网络
• 2 反向传播算法
• 3 收敛和局部极值
• 4 神经网络杂谈

1 前馈神经网络

右图是左图的一个单个神经元。

所有权重的集合就可以是模型参数，知道参数之后，模型就可可以直接使用。
假设C是误差（评估函数），在A和B之间做调整（梯度下降法），让C达到最小。
梯度——》求导。
、
记忆化搜索。

1.1 网络训练一些定义

2 反向传播算法

2.1 前言

2.2 符号约定

2.3 反向传播算法的推导

从输出层开始：

随机初始化网络，输入样本，前向计算，反向计算，算出三层网络输出层和隐藏层的误差，最后更新梯度权重。

2.4 总结过程

3 收敛和局部极值

4 神经网络杂谈

随机梯度下降算法（Stochastic gradient descent，SGD）在神经网络模型训练中，是一种很常见的优化算法。这种算法是基于梯度下降算法产生的，所以要理解随机梯度下降算法，必须要对梯度下降算法有一个全面的理解。