玻尔兹曼机研究进展

《玻尔兹曼机研究进展》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、万方数据计算机研究与发展DOI：10．7544／issnloOo一1239·2014·20121044J。ur兰!!竺!竺!竺旦!!!!墨!!!!竺!!!!里!：!!竺旦竺!!!：：塑』坚兰兰二坚兰：!!!兰玻尔兹曼机研究进展刘建伟刘媛罗雄麟(中国石油大学自动化研究所北京102249)(1iujw@cup．edu．cn)ResearchandDevelopmentonBoltzmannMachineLiuJianwei，I。iuYuan，andLuoXionglin(RP5enrf^I起5￡jf“fPD厂A“fo埘n￡io聍，C^inⅡLhiuPr5i￡y

2、o厂PP￡roZP“m，BPiJi行g102249)AbstractBeinganewresearchareaofmachinelearning，deeplearningisgoodatsolVingsomecomplexproblems．Asarepresentativeofdeeplearning，Boltzmannmachineisbeingwidelystudied．InviewofthetheoreticalsignificanceandpracticalvalueofBoltzmannmachine，theresearchanddeveloDm

3、entonBoltzmannmachinearereviewedsystematically．Firstly，someconceptsaboutBoltzmannmachinearesummarized，whichincludeconfigurationofB01tzmannmachineasasinglelaverfeedbacknetworkandclassificationofBoltzmannmachineaccordingtothetopologicalstructure，includinggeneralBoltzmannmachine，semi

4、—restrictedBoltzmannmachineandrestrictedBoltzmannmachine．Secondly，thelearningprocedureofBoltzmannmachineisreviewedindetail．Thirdly，severaltypicalalgorithmsofBoltzmannmachineareintroduced，suchasGibbssampling，paraUeltempering，variationalapproach，stochasticapproximationprocedure'andc

5、ontrastlVedlVergence·Fourthly，the1earningprocedureofdeepB01tzmannmachineisdescribed．Newresearchanddevelopmentonaspectsofalgorithms，modelsandpracticalapplicationofBoltzmannmachineinrecentyearsareexpoundedthen．Finally，theproblemstobesolvedarepointedout．KeywordsBoltzmannmachine；Visib

6、leunit；simulatedannealing；Gibbssampling；MarkoVhiddenunit；probabilitydistribution；expectedValue；chain摘要深度学习是机器学习中的新兴研究领域，能够很好地用于解决目标识别、语言理解等复杂问题．玻尔兹曼机作为深度学习的典型代表近年来受到了广泛研究．鉴于玻尔兹曼机的理论意义和实际应用价值，系统综述了玻尔兹曼机的研究进展，首先概述了玻尔兹曼机的相关概念，包括单层反馈网络的结构和拓扑结构分类，然后详细描述了玻尔兹曼机的学习过程和几种典型学习算法，接着对近几年玻尔兹曼机研

7、究的新进展进行了阐述，最后提出了玻尔兹曼机中有待进一步研究解决的问题．关键词玻尔兹曼机；可见单元；隐单元；概率分布；期望值；模拟退火；吉布斯采样；马尔可夫链中图法分类号TPl81最近深度学习(deeplearning)作为一种学习复杂层次概率模型的方法广泛流行。深神经网络，例如深信任网络(de印beliefnetwork，DBN)和深玻尔兹曼机(deepBoltzmannmachine，DBM)由多层神经元组成，已经应用于许多机器学习任务中，能够很好地解决一些复杂问题，在一定程度上提高了学习收稿日期：20121l一18；修回日期：20130506基金项目：

8、国家“九七三”重点基础研究计划基金项目(2012cB720500)