elman网络
与前馈神经网络不通,“递归神经网络”允许网络中出现环形结构,从而可让一些神经元的输出反馈回来作为输入信号。这样的结构与信息反馈过程,使得网络在t时刻的输出状态不仅与t时刻的输入有关,还与t-1时刻的网络状态有关,从而能处理与时间有关的动态变化。
Elman网络是最常用的递归神经网络之一,其结构如图所示,结构与多层前馈网络很相似,但隐层神经网络的输出被反馈回来,与下一时刻输入神经元提供的信号一起,作为隐层神经元在下一时刻的输入。隐层神经元通常采用Sigmoid激活函数,而网络的训练则常通过推广的BP算法进行。
ART网络
竞争型学习是神经网络中一种常用的无监督学习策略,在使用该策略时,网络的输出神经元互相竞争,每一时刻仅有一个竞争获胜的神经元被激活,其他神经元的状态被抑制,这种机制亦称为“胜者通吃”原则。ART(自适应谐振理论)网络是竞争型学习的重要代表。该网络由比较层,识别层,识别阈值和重置模块构成。
SOM网络
SOM(自组织映射)网络是一种竞争学习型的无监督神经网络,它能够将高维输入数据映射到低维空间(通常为二维),同时保持输入数据在高维空间的拓扑结构,即将高维空间中相似的样本点映射到网络输出层中的邻近神经元。SOM网络中的输出层神经元以矩阵方式排列在二维空间中,每个神经元都拥有一个权向量,网络在接收输入向量后,将会确定输出层获胜神经元,它决定了该输入向量在低维空间中的位置。SOM的训练目标就是为每个输出层神经元找到合适的权向量,以达到保持拓扑结构的目的。
SOM的训练过程简单:在接收到一个训练样本后,每个输出层神经元会计算该样本与自身携带的权向量之间的距离,距离最近的神经元成为竞争获胜者,成为最佳匹配单元。然后,最佳匹配单元及其邻近神经元的权向量将被调整,以是的这些权向量与当前输入样本的距离缩小,这个过程不断迭代,直至收敛。