深度学习受限玻尔兹曼机ppt课件.pptx

深度学习受限玻尔兹曼机ppt课件.pptx

ID:58494176

大小:975.39 KB

页数:18页

时间:2020-10-21

深度学习受限玻尔兹曼机ppt课件.pptx_第1页
深度学习受限玻尔兹曼机ppt课件.pptx_第2页
深度学习受限玻尔兹曼机ppt课件.pptx_第3页
深度学习受限玻尔兹曼机ppt课件.pptx_第4页
深度学习受限玻尔兹曼机ppt课件.pptx_第5页
资源描述:

《深度学习受限玻尔兹曼机ppt课件.pptx》由会员上传分享,免费在线阅读,更多相关内容在教育资源-天天文库

1、RestrictedBoltzmannMachine数媒学院-许鹏BoltzmannMachine—Review—ModelBoltzmannMachine—Review—AlgorithmpositivephaseAmoreefficientwayofcollectingthestatisticsnegativephaseRestrictedBoltzmannMachine前面介绍过玻尔兹曼机虽然有着良好的数学和物理原理,它把无向图和统计力学结合起来,最后能达到一种目的,就是让整个网络做动态演变,最终能

2、生成一个概率分布来近似给定样本数据的概率分布,对于机器学习来说,这是一个生成模型。但是缺点就是它的学习算法效率太差,即使很多学者做了很多研究改进,但是还是不足以具有广泛应用的价值。直到RBM的出现,它对玻尔兹曼机模型做了一些结构上的改变,使得学习算法的效率大大提升,但是仍然具有很多玻尔兹曼机良好的性质,这算是玻尔兹曼机的一次复兴。visibleunitshiddenunits所谓受限玻尔兹曼机,其实就是BM的某些连接受到限制,使得学习算法更加简单,这里的限制就是可见层和隐藏层的层内没有连接。我们知道玻尔兹

3、曼机训练之所以复杂,是因为网络到达平稳分布的时间很久,而受限玻尔兹曼机当可见单元赋予训练样本时,隐藏单元只需要一步计算就可以达到热平衡状态这大大提升了算法效率,不过当整个网络不受训练数据限制的时候,怎么达到平稳分布还是一个比较棘手的问题。RBM-Model虽然RBM只是BM的层内连接受到了限制,但是在讨论RBM的学习算法和应用场景之前,还是先为RBM做一个模型定义,用比较严谨的数学方式把它表达出来。1.仍然把RBM看成一个能量模型,则可见单元和隐藏单元的总能量为:2.我们要使得这个模型的能量减少到一个稳定

4、状态,就需要更新神经元状态,那么首先要计算某个神经元开启和关闭时的能量差:3.所以某个神经元开启或者关闭的概率为:logisticfunctionBoltzmannMachineRBM-Model4.经过上述式子的更新方式,最终RBM会达到一个平稳分布,这个分布函数为:5.因为RBM同一层内没有连接,所以可见单元和隐藏单元的条件概率分布可以连乘:6.现在我们已经有了RBM的模型,接下来就是学习算法,首先要找到损失函数,这里我们采用对数最大似然函数做损失函数。先只考虑单个样本v的对数最大似然。RBM-Alg

5、orithmRBM-Algorithm上式右端两项分别对应两个期望:RBM-Algorithm刚才我们对这两项有了一个直观的认识,知道他们是关于两个分布的期望,现在来讨论具体怎么计算:RBM-Algorithm结合上面四个式子,最终可以推导出对数似然函数对于各参数的偏导数RBM-AlgorithmRBM-Algorithm现在我们的公式推导就算全部完成了,并且得到了对数似然函数对于各个参数的偏导数,那我们再具体看一下这个偏导数到底能不能直接计算出来。RBM-Algorithm下面我们用图形象化的展示一下现

6、在用于训练RBM的算法:t=0t=1t=2……t=infinity2002-Hinton-TrainingProductsofExpertsbyMinimizingContrastiveDivergenceRBM-ContrastiveDivergence一直以来我们不论是BM训练算法的正负阶段还是RBM训练算法的负阶段,都有一个从平稳分布采样的问题,最大的原因就是必须经过很多步的状态转移才能采集到符合目标分布的样本。Hinton教授2002年提出来contrastivedivergence算法,算法的思

7、想是既然我们的目标是让RBM拟合训练样本的分布,那么可否考虑让采样过程的状态以训练样本为起点那,这样也许某些状态只需要经过很少次数的状态转移就可以抵达平稳分布了。CD算法目前已经成为了训练RBM的标准算法。t=0t=1t=2……t=infinity2002-Hinton-TrainingProductsofExpertsbyMinimizingContrastiveDivergenceRBM-ContrastiveDivergenceRBM-ContrastiveDivergence这里给出一个CD-k算

8、法的完整描述(注意这里是mini-batch方式):RBM-ContrastiveDivergenceContinuous-RBM传统的受限玻尔兹曼机都是用于对二值离散变量的分布建模的,而现实中很多都是连续变量,这时候就衍生出了连续受限玻尔兹曼机。outputsofvisibleunits

当前文档最多预览五页,下载文档查看全文

此文档下载收益归作者所有

当前文档最多预览五页,下载文档查看全文
温馨提示:
1. 部分包含数学公式或PPT动画的文件,查看预览时可能会显示错乱或异常,文件下载后无此问题,请放心下载。
2. 本文档由用户上传,版权归属用户,天天文库负责整理代发布。如果您对本文档版权有争议请及时联系客服。
3. 下载前请仔细阅读文档内容,确认文档内容符合您的需求后进行下载,若出现内容与标题不符可向本站投诉处理。
4. 下载文档时可能由于网络波动等原因无法下载或下载错误,付费完成后未能成功下载的用户请联系客服处理。