受到人脑神经系统的启发，早期的神经科学家构造了一种模仿人脑神经系统的数学模型，称为人工神经网络。简称神经网络。在机器学习领域，神经网络是指由很多人工神经元构成的网络结构模型，这些人工神经元之间的连接强度是可学习的参数。

一、人脑神经网络

典型的神经元结构大致分为细胞体和细胞突起：

  • 细胞体中的神经细胞膜上有各种受体和离子通道，胞膜的受体可与响应的化学物质神经递质结合，引起离子通透性及膜内外电位差发生改变，产生相应的生理活动：兴奋或抑制
  • 细胞突起是由细胞体延伸出来的细长部分，又可分为树突和轴突
  • 树突可以接受刺激并将兴奋传入细胞体，每个神经元可以有一或多个树突
  • 轴突可以把自身的兴奋状态从胞体传送到另一个神经元或其他组织，每个神经元只有一个轴突
    神经元靠突触进行互联，形成了神经网络。

1949年，加拿大心理学家Donald Hebb在《The Organization of Behavior》一书中提出：当神经元A的一个轴突和神经元B很近，足以对它产生影响，并且持续地、重复地参与了对神经元B的兴奋，那么在这两个神经元或其中之一会发生某种生长过程或新陈代谢变化，以致神经元A作为能使神经元B兴奋的细胞之一，它的效能加强了。这个机制称为赫布理论.

二、人工神经网络

人工神经网络是为模拟人脑神经网络而设计的一种计算模型，由多个节点（人工神经元）互相连接而成，不同节点之间的连接被赋予了不同的权重，每个权重代表了一个节点对另一个节点的的影响大小，每个节点代表一种特定函数，来自其他结点的信息经过其相应的权重综合计算，输入到一个激活函数中并得到一个新的活性值（兴奋或抑制）。
人工神经元网络是由大量神经元通过极其丰富和完善的连接而构成的自适应非线性动态系统。

早期的神经网络模型并不具备学习能力，首个可学习的人工神经网络是赫布网络,感知器是最早具有机器学习思想的神经网络。

三、神经网络的发展历史

  • 模型提出：1943-1969 MP模型、基于Hebbian法则的B型图灵机、感知器
  • 冰河期： 1969-1983 对感知器的质疑。但依然有重要模型与算法诞生：反向传播算法，新知机
  • 反向传播算法引起的复兴：1983-1995 基于联想记忆的Hopfield网络、玻尔兹曼机、分布式并行处理的连接主义模型
  • 流行度降低：1995-2006 支持向量机和线性分类器流行度逐渐超过神经网络
  • 深度学习的崛起： 2006-至今