概念
感知器(Perceptron)是神经网络中的一个概念,在1958年由Frank Rosenblatt第一次引入。
单层感知器可以用来区分线性可分的数据,并且一定可以在有限的迭代次数中收敛。
感知器的学习规则规定,学习信号等于神经元期望输出(教师信号)与实际输出之差(r表示误差):
r=dj−oj
r
=
d
j
−
o
j
式中,
dj
d
j
为期望的输出,
oj=f(WTjX)
o
j
=
f
(
W
j
T
X
)
。感知器采用了符号函数作为转移函数,表达式为:
f(WTjX)=sgn(WTjX)={1,0,WTjX≥0WTj<0
f
(
W
j
T
X
)
=
s
g
n
(
W
j
T
X
)
=
{
1
,
W
j
T
X
≥
0
0
,
W
j
T
<
0
W W 代表矩阵, ww代表一个值。
因此,权值调整公式为:
ΔWj=η[dj−sgn(WTjX)]X
Δ
W
j
=
η
[
d
j
−
s
g
n
(
W
j
T
X
)
]
X
Δwij=η[dj−sgn(WTjX)]xii=0,1,...,n
Δ
w
i
j
=
η
[
d
j
−
s
g
n
(
W
j
T
X
)
]
x
i
i
=
0
,
1
,
.
.
.
,
n
- η η 表示学习率,( 0<η≤1 0 < η ≤ 1 )
- 两次迭代之间的权值变化已经很小
- 设定最大迭代次数,当迭代超过最大次数就停止。
式中,当实际输出与期望值相同时 , 权重不需要调整。在有误差存在的情况下,由于 dj d j 和 sgn(WTjX)∈1,1 s g n ( W j T X ) ∈ 1 , 1 ,权值调整公式可简化为:
ΔWj=±2ηX
Δ
W
j
=
±
2
η
X
感知器学习规则只适用于二进制神经元,初始权值可取任意值。
感知器学习规则代表一种有监督学习。由于感知器理论是研究其它神经网络的基础,该规则对于神经网络的有监督学习具有极为重要的意义。
人体神经网络
单层感知器 模拟人体神经网络:
单层感知器(Single Layer Perceptron)是最简单的神经网络。它包含输入层和输出层,而输入层和输出层是直接相连的。
单层感知器示例:
把偏置当做特殊可能权值:
这时把x0固定为1,取消权值,以减化运算。