深度学习和机器学习中的玻尔兹曼机

不怎么理解,只是照抄而已。能理解到哪里,就到哪里的了。

预备知识:sigmod函数是神经网络常用的激活函数,贝叶斯定理条件概率。二分图是图论一个特殊模型。

     MCMC方法,蒙特卡罗方法。
     任意分布下采样,马尔可夫链蒙特卡罗方法。
     马尔可夫链。
     正则分布:
  受限玻尔兹曼机(Restricted Boltzmann Machine, RBM)是可用随机神经网络解释的概率图模型,由Smolensky于1986年在玻尔兹曼机基础上提出,网络中神经元是随机神经元,输出只有两种状态(未激活、激活)。Hinton 于2006年提出了以RBM为基本构成模块的DBN(Deep belief Network)模型。
  深度学习是一种学习复杂层次概率模型方法,深神经网络由许多受限玻尔兹曼机堆栈构成。BM起源于统计物理学是基于能量函数建模方法。Hinton提出BM学习机,BM神经元状态引入了统计概率和模拟退火算法(Simulated annealing)是全局最优搜索算法。
首个BM学习由Smolensky提出,由一个可见神经元层和一个隐神经元层组成。BM由Hinton和Sejnowski提出随机递归神经网络,Hopfield随机网络。样本分布遵循玻尔兹曼分布命名为BM。协同过滤算法有代表性是基于有向图模型的矩阵分解法和基于无向图模型受限玻尔兹曼机。

发表评论