概念

感知器(Perceptron)是神经网络中的一个概念,在1958年由Frank Rosenblatt第一次引入。
单层感知器可以用来区分线性可分的数据,并且一定可以在有限的迭代次数中收敛。
感知器的学习规则规定,学习信号等于神经元期望输出(教师信号)与实际输出之差(r表示误差):

r=dj−oj r = d j − o j


式中,

dj d j 为期望的输出, oj=f(WTjX) o j = f ( W j T X ) 。感知器采用了符号函数作为转移函数,表达式为:


f(WTjX)=sgn(WTjX)={1,0,WTjX≥0WTj<0 f ( W j T X ) = s g n ( W j T X ) = { 1 , W j T X ≥ 0 0 , W j T < 0


W W 代表矩阵, ww代表一个值。


因此,权值调整公式为:


ΔWj=η[dj−sgn(WTjX)]X Δ W j = η [ d j − s g n ( W j T X ) ] X


Δwij=η[dj−sgn(WTjX)]xii=0,1,...,n Δ w i j = η [ d j − s g n ( W j T X ) ] x i i = 0 , 1 , . . . , n

  • η η 表示学习率,( 0<η≤1 0 < η ≤ 1 )
  • 两次迭代之间的权值变化已经很小
  • 设定最大迭代次数,当迭代超过最大次数就停止。

式中,当实际输出与期望值相同时 , 权重不需要调整。在有误差存在的情况下,由于 dj d j 和 sgn(WTjX)∈1,1 s g n ( W j T X ) ∈ 1 , 1 ,权值调整公式可简化为:

ΔWj=±2ηX Δ W j = ± 2 η X

感知器学习规则只适用于二进制神经元,初始权值可取任意值。
感知器学习规则代表一种有监督学习。由于感知器理论是研究其它神经网络的基础,该规则对于神经网络的有监督学习具有极为重要的意义。
人体神经网络
深度学习入门——单层感知器_单层感知器

单层感知器 模拟人体神经网络:
单层感知器(Single Layer Perceptron)是最简单的神经网络。它包含输入层和输出层,而输入层和输出层是直接相连的。
深度学习入门——单层感知器_神经网络_02

单层感知器示例:
深度学习入门——单层感知器_单层感知器_03

把偏置当做特殊可能权值:
深度学习入门——单层感知器_权值_04
这时把x0固定为1,取消权值,以减化运算。