神经网络从被人忽悠到忽悠人(六)

引子

在求解神经网络权值过程中，有一个点是经常被人们遗忘的，神经网络的误差是收敛，也就是说渐渐的稳定到一个值里，这种过程类似于热力原理。符合一定的自然规律，是符合规律一个过程。如果把这个特性和神经网络结合，会产生什么效果呢？

Hopfield网络

对于求权值的方法，之前的神经网络大部分采用的都是误差方式。这种方式比较直观明了，但求解的过程没有那么的方便。1982年，Hopfield才用了能量函数，开创了一种新的神经网络的思路。
如果两个热力学系统中的每一个都与第三个热力学系统处于热平衡(温度相同),则它们彼此也必定处于热平衡.
根据热力学的原理，Hopfield总结了一类网络。
Hopfield网络：一类反馈动力学系统，从任意初始状态开始，网络经过有限次状态更新后，都将到达该稳定状态。

从图中可以看到，所有状态的转移都会，转移到两个状态 010和111下，这两个状态我们称为稳定状态。
以前我们把样本拿过来训练，但在能量神经网络，样本的结果可以把它当作一种稳定状态，通过稳定状态，反向的来求出权重。
求权重的主要方法是内积法。

这种以样本作为稳定结果的网络，就可以认为他有一定的记忆功能了。
例如：
稳定的结果有：

如果你的输入出现：

根据能量网络，他会自己恢复到稳定的状态，就是

像这样能量网络具有恢复的功能，也就是能有记忆的特性了。

Boltzmann机

20世纪80年代，Ackley，Hinton等人受到了Hopfield的启发，以模拟退火思想为基础，提出了Boltzmann机。
将Boltzmann机视为一动力系统，可以证明能量函数的极小值对应系统的稳定平衡点，由于能量函数有界，当网络温度T以某种方式逐渐下降到某一特定值时，系统必趋于稳定状态。
逐渐的降温过程，系统会达到稳定的状态。Boltzmann机是学习过程中是机器学习很重要的一种方式，是深度学习里基础。

受限Boltzmann机

2006年，Hinton等人提出了一种深度信念网络（Deep Belief Nets），这个算法成为了其后至今深度学习算法的主要框架，也就是我们现在所说的深度学习。
当前RBM 为基本构成模块的 DBN 模型被认为是最有效的深度学习算法之一。
受限Boltzmann网络结构具有这样的特点：可视层的每一个神经元与隐藏层的每一个神经元相互连接；可视层神经元之间，隐藏层神经元之间没有连线，这为我们后面的训练提供了一个很好的假设性条件：同一层的各神经元之间是相互独立的。
受限Boltzmann网络，主要的推导方式用到了条件概率，Hinton提出的快速计算方法，即对比散度，也比较流行。
受限Boltzmann网络在应用上，基本上都是一种编码和解码的过程。编码过程就是利用已经知道得输入输出确定权重，解码就是放过来求值。
编码过程：

解码过程：

最后

人工智能，只是处在了很早的阶段，机器能够更好地理解这个世界，人们能够更多的跟机器互动，还需要一个比较长的过程。互联网的一个过程是：文本，图片，视频。现在的搜索引擎，只解决了文本的搜索，而这样过程除了计算机技术的发展，还有一个很重要的就是我们祖辈留下来的语言，又特定的词汇，能够表达万千的世界。人工智能的发展一个大的方向是图片的识别，如何让图片自己说话，是一个很了不起的过程。而如今的技术，仅仅只能够认出一只猫，但是这是很好的开端了。
神经网络的发展日新月异，人工智能是未来一个很重要的方向，我们紧跟时代的步伐。