神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。
神经网络中最基本的成分是神经元（neuron）模型。即上述定义中的“简单单元”。
在生物神经网络中，每个神经元与其他申请元相连，当它“兴奋”时，就会向相连的神经元发送化学物质，从而改变这些神经元内的电位；如果某神经元的电位超过一个“阈值”，那么它就会被激活，即“兴奋”起来，向其他神经元发送化学物质。
1943年，McCulloch and Pitts将上述情形抽象为下图所示的简单模型，这就是一直沿用至今的“M-P神经元模型”。
图1 M-P神经元模型
在这个神经元模型中，神经元接收到来自n个其他神经元传递过来的输入信号，这些输入信号通过带权重的连接进行传递，神经元接收到的总输入值将与神经元的阈值进行比较，然后通过“激活函数”处理以产生神经元的输出。
激活函数有以下两种，其中（a）图的跃阶函数是理想中的激活函数，它将输入值映射为输出值“0”或“1”，显然“1”对应神经元兴奋，“0”对应神经元抑制。然而跃阶函数具有不连续、不光滑等不太好的性质。
实际常用sigmoid函数作为激活函数，如（b）图所示。它把可能在较大范围内变化的输入值挤压到（0，1）输出值范围内，因此也称为“挤压函数”。
把许多个这样的神经元按一定的层次结构连接起来，就得到了神经网络。
事实上，我们可以先不考虑神经网络是否真的模拟了生物神经网络，只需将一个神经网络视为包含了许多参数的数学模型，这个模型是若干个函数。
有效的神经网络学习算法大多以数学证明为支持。
本文章为转载内容，我们尊重原作者对文章享有的著作权。如有内容错误或侵权问题，欢迎原作者联系我们进行内容更正或删除文章。
