前言
在前面我们谈到Kohonen的CAM理论，是源于对冯诺依曼工作小组的Estrin的寻址内存的模型扩展而来的。
而Kohonen的这个CAM理论影响超级大， 不仅仅影响了Neocognitron福岛， 还影响了另外个人， 这个人对后来神经网络恢复元气作用巨大。 他就是物理学家Hopfield。他提出了Hopfield模型， 而SRN或者Elman网络几乎就是对Hopfield网络的一个变形。
一图抵千言
Elman Network是Hopfield网络的变形
SRN其实就是给Hopfield网络加了一个输入层和输出层，把整个Hopfield网络变成了隐藏层。 这种变化其实也可以说是受到MLP三层模型的影响。
Hopfiled网络有没有其它知名变形
Hopfield网络是如何炼成的？
Hopfield网络的横空出世得益于三大方面， 首先，受到了Kohonen的CAM的启发， 着眼于相关性的方向的神经网络。 其次， 采用了另外一个物理生物学家Little定义的能量函数。 并且Little还根据李雅普诺夫的不动点理论， 证明了收敛性。
再次，就是吸收了物理学家Widow的ADALINE模型的学习机制。 这样， 有了三合一， Hopfield网络理论就诞生了。
Hopfield网络的影响
其实后来有个叫Grossberg的神经科学家， 对Hopfield的工作和福岛的工作进行了深刻讨论， 提出了记忆模型 和 ART模型自回声网络。类似记忆模型的工作对后来RNN的变种LSTM的影响很大。 Grossberg本人对Sigmoid函数的鼓吹， 也对后来BP算法的流行有深刻影响。
SRN的三大学习算法
除了SRN网络结构的完善， 学习能力也不能落下， 三大学习算法BPTT，EKF和RTRL训练，也多在受到Hopfield网络模型成功影响力下， 发明出来了。 而后来深度学习里面LSTM的发明，也是一个硕士对这三个算法的深入理解， 总结缺点后的突破。 以后深度学习的部分会讲到。
其实BPTT就是最早发明BP的那个Werbos发明的。 而RTRL也和以后再发明应用BP算法， 并且引起轰动的Rumelhart有关系。 而Rumelhart是连接主义的代表人物， 以后也会谈谈他。
小结
这样， 透过Hopfield网络的成功和变形， SRN横空出世， 伴随着神经网络记忆学习理论的总结， 和三大学习算法的出现。 RNN的前生就这么铺垫好了。
相关话题：