人工神经网络实现鸢尾花分类(一)
人工神经网络实现鸢尾花分类(二)
人工神经网络实现鸢尾花分类(五)
目录
具体实现过程：
定义特征和标签
介绍MP模型
用神经网络实现鸢尾花分类：搭建网络
用神经网络实现鸢尾花分类：喂入数据
用神经网络实现鸢尾花分类：前向传播
用神经网络实现鸢尾花分类：损失函数
用神经网络实现鸢尾花分类：梯度下降
用神经网络实现鸢尾花分类：反向传播
下期讲解Tensorflow中张量和相关函数
具体实现过程：
定义特征和标签
我们看一下具体的实现过程，用神经网络实现鸢尾花的分类，输入数据是1行4列的数据，通过一个神经网络，输出是每一个种类的可能性大小，这个神经网络里的每一个具有计算功能的粉色小球，就是一个神经元
介绍MP模型
1943年，英国 物理学家麦卡洛克 和 数学家皮茨 这两个人就给出了神经元的计算模型，称之为MP模型，MP模型是每一个输入特征乘以线上的权重，求和，再通过一个非线性函数输出。
为了求解简单我们暂时去掉非线性函数，把MP模型简化为这个样子，就是所有的输入x乘以各自线上的权重w，求和，加上偏置项b，输入y。
可以写成这样一个式子，y = x*w+b
输出y是一行三列的 x是输入特征 一行四列的
w是权重 是四行三列的 b是3个偏置项（可以自定义参数的）
针对我们鸢尾花的例子，x是输入特征，w是权重，b是三个偏置项，y就是三种鸢尾花各自的可能性大小。
用神经网络实现鸢尾花分类：搭建网络
输入是四个特征，所以这里是四个输入节点，输出是三种鸢尾花各自可能性大小，所以这里是三个输出节点
中间连线有4行3列，一共12个线上的权重w，每个神经元还有一个偏置项b，于是我们就搭建出了这样一个神经网络结构
左右都有连接关系我们称之为全连接网络
有了网络结构，线上的权重w和偏置b会被随机初始化为一些随机数，
用神经网络实现鸢尾花分类：喂入数据
喂入一组数据 5.8 4.0 1.2 0.2和他们对应的标签 标签: 0狗尾草鸢尾
用神经网络实现鸢尾花分类：前向传播
神经网络执行前向传播，x*w+b代入数据，计算出y，这个过程就叫做前向传播
用神经网络实现鸢尾花分类：损失函数
我们通过输出y可以看出，数据最大的也就是可能性最高的是1 ， 而不是标签0 （喂入数据特征对应的是标签0）
这是因为最初的参数W和B都是随机产生的，现在输出的结果就是蒙的，
我们用损失函数定义预测值 y 和标准答案也就是标签 y' 的差距，损失函数可以定量的判断当前这组参数W和B的优劣，
从而让我们得到最优的W和B的值，因为损失函数表达的是预测值与标准答案之间的差距，
当损失函数最小值，参数W和B就会出现最优值。
损失函数的定义有很多种方法，均方误差就是一种常用的损失函数，它计算每个前向传播输出y和标准答案 y' 的差，求平方，在求和，再除以n取平均值。
表征了网络前向传播推理（结果）和标准答案之间的差距
用神经网络实现鸢尾花分类：梯度下降
我们的目的是要寻找一组参数W和B使得损失函数最小
损失函数的梯度：表示损失函数对各参数求偏导后的向量，损失函数梯度下降方向是函数减小方向
梯度下降就是沿着损失函数梯度下降的方向，寻找损失函数的最小值，得到最优参数的方法
学习率（learning rate，lr）：当学习率设置的过小时，收敛过程将变得十 分缓慢。而当学习率设置的过大时，梯度可能会在最小值附近来回震荡， 甚至可能无法收敛。
这个公式给出了梯度下降法更新参数的计算，其中 lr 是学习率，是梯度下降的速度，是一个超参数，如果学习率设置过小，参数更新会很慢，如果学习率设置过大，参数更新会跳过最小值，这个公式很重要 需要记住
用神经网络实现鸢尾花分类：反向传播
反向传播：从后向前，逐层求损失函数对每层神经元参数 的偏导数，迭代更新所有参数。
我们用这个公式体会一下反向传播参数更新的过程，假设损失函数是 W+1 的平方，损失函数对参数w的偏导是 2W+2 ， 参数w在初始化的时候被随机初始化为 5 ， 学习率是个超参数 我们设置为 0.2 ；
我们画出损失函数 W+1 的平方图像，优化参数W就是要找到某个w，使损失函数的梯度减少，从图上我们可以直观的看到，损失函数最小点应该在这个位置，也就是-1 ， 损失函数loss的值最小，
我们优化参数的目的就是为了找到损失函数loss值最小
