【Deep Learning笔记】感知机模型和学习策略

文章目录

• 1 单个神经元如何工作
• 2 感知机
• 3 感知机模型解决逻辑运算问题
• 4 感知机的训练
• 5 Sigmoid神经元

1 单个神经元如何工作

固有偏置单元（bias unit）。

2 感知机

加了偏置项代码跑出的效果会更好。
根据激活函数公式，信号大于0输出1，否则-1（or 0）.

3 感知机模型解决逻辑运算问题

尝试解决 and，or，not，xnor（异或非门）。

bias-（-1，-2）均可。



异或转换：

3.1 XNOR的第一个实现

x1 and x2 直接带入and网络即可。

3.2 第二个

4 感知机的训练

t为预期值。
每一步走的尽量小一些，学习速度会慢，但是得到的权值结果会更优一些。
当学习率过大则可能导致模型不收敛.
PS：
梯度是微积分中一个很重要的概念

在单变量函数中，梯度其实就是函数的微分，代表着函数在某个给定点的切线的斜率；

在多变量函数中，梯度就是一个向量，向量有方向，梯度的方向就指出了函数在给定点的上升最快的方向；

5 Sigmoid神经元

连续函数可以求导。
激活函数种类颇多，对于小白来讲可以自己探索一下。