深度学习的相关 算法 研究.ppt

《深度学习的相关 算法 研究.ppt》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、深度学习方法的一些研究西安交通大学数学与统计学院张讲社西安交通大学统计系主要内容研究背景与意义基于率失真理论的深度信念网32利用稀疏响应增强反向传播算法的性能用等能量跳转的并行回火算法训练RBM415总结与展望1.1深度学习的背景及意义最多含单个将原始信号转换到特定问题空间特征的简单结构，只学习数据的单层表示。浅层学习的局限性在有限的样本和计算单元的情况下对复杂函数的表示能力有限缺乏发现数据中复杂结构的能力针对复杂分类问题其泛化能力受到一定限制Google的语音识别实验证明，面对大数据，浅层结构算法经常处于严重的欠拟合状态。传统的机

2、器学习方法浅层结构算法机器学习是使计算机具有人工智能的根本途径人类大脑的信息处理系统是一多层并行系统，它利用逐层的方式对数据进行特征提取，从低层到高层的特征表示越来越抽象。抽象层面越高，越能表现语义或者意图。人类的认知过程是以深度的方式呈现的，层次化地组织思想和概念：首先学习简单的概念，然后使用学习到的简单概念表示抽象层面更高的概念。生物依据面对复杂的感知数据，人类总能做出合理的判断人类大脑的结构和信息处理机制人类的认知过程面对浅层结构算法的局限性，并受大脑分层次处理信息和人类层次化完成认知过程的启发，学者们一直致力于深度架构的研究

3、1.1深度学习的背景及意义提取抽象水平较低的特征提取抽象水平较高的特征……1.1深度学习的背景及意义深度学习的概念起源于人工神经网络的研究基于数据处理群方法训练的网络模型1965年1979年卷积神经网络模型多层前向网最早的类多层感知器深度学习系统1986年多层前向网深度信念网2006年…………突破性的进展1.2深度学习的发展复兴完全依赖带标签数据实际问题中大部分数据是无标签的学习效率不高，特别对于大数据当网络中层数较多时，学习时间过长对初值敏感，经常陷入局部极值随着层数的增多，坏的局部极小点出现的概率增大BP方法的局限性**考虑预训

4、练模型，通过预训练模型选择权重的初始值用生成模型优化多层神经网络通过最大化模型似然来学习模型参数学习p(数据)而不是p(标签

5、数据)深度结构的新发展8深度学习成熟条件1——数据集的增大图6数据集与年份9深度学习成熟条件2——神经元之间的连接数增大（本质原因是计算机硬件技术的飞速发展）图7神经元连接与年份10深度学习成熟条件3——神经元个数的增加（本质原因是计算机硬件技术的飞速发展）图8神经元个数与年份11好算法的出现：2006年，GeoffreyHinton在Science上发表了一篇名为《ReducingwithDimension

6、alityofDatawithNeuralNetworks》的文章，从此，神经网络（主要是深度学习）便有焕发了新的青春。图9GeoffreyHinton与他的学生在Science上发表文章1.2深度学习的发展在学术界的研究现状及应用模型架构及训练方法应用子模型的选取与建立深度结构的整体训练语音和音频信号处理图像识别和检索自然语言处理和信息检索…………………………2010年，美国国防部DARPA计划首次资助斯坦福大学、纽约大学和NEC美国研究院开展深度学习研究2012年6月，GoogleBrain项目用16000个CPU搭建深度学习平

7、台，在语音、图像识别领域获得重要进展2012年12月，微软亚洲研究院在天津的一次活动中利用深度学习技术进行全自动同声传译，效果良好2013年1月，李彦宏宣布成立百度的第一个研究院InstituteofDeepLearning2013年4月，《麻省理工学院技术评论》将深度学习列为2013年十大突破性技术之首2013年6月微软对WindowsPhone平台的必应语音搜索进行了更新。语音识别和反馈的速度提高一倍，精确度提升15%2014年3月Facebook的Deepface项目使得人脸识别技术的识别率达到97.25%，准确率几乎可媲美人

8、类1.2深度学习的发展在工业界的发展互联网界巨头进入深度学习领域图15机器学习界的执牛耳者与互联网的大鳄的联姻18贪婪算法DBN预训练(Hintonetal.[2006],Bengioetal.[2007])1.3深度信念网贪婪算法Step1.用训练样本和一个隐层创建一个限制玻尔兹曼机(RBM)。训练此RBM得到参数;DBN预训练RBM(Hintonetal.[2006],Bengioetal.[2007])1.4深度信念网贪婪算法Step2.再堆积一个隐层，用先前RBM的隐层和此隐层构建一个新的RBM。固定，用从先前的RBM中抽取

9、样本,并作为新RBM的样本。训练新RBM得到参数;DBN预训练RBM(Hintonetal.[2006],Bengioetal.[2007])1.4深度信念网贪婪算法Step3.继续堆积隐层，并用类似的方法训练第三个RBM得到参数。D