深度学习基础分享课件.ppt

《深度学习基础分享课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、深度学习基础分享李睿琪目录CONTENT01

2、深度学习简介02

3、逐层学习03

4、梯度下降法04

5、自编码器05

6、限制玻尔兹曼机06

7、深度学习框架07

8、硬件需求01PARTONE深度学习简介深度学习简介深度学习中需要解决的问题(1)待训练的参数较多，需要大量的标记数据，容易导致过拟合(2)非凸优化导致局部极值问题(3)梯度弥散问题，隐藏层层数虽然多，但学习不到有效的信息解决以上问题的策略(1)无监督的逐层学习，应用未标记数据构造自编码器：FNN、RBM(2)减少待训练参数：CNN(卷积神经网络)入门课程：UFLDL，unsupervisedfeaturelearning&deeplearning

9、02PARTTWO逐层学习逐层学习逐层学习（预训练）原理图：03PARTTHREE梯度下降法梯度下降法以线性拟合函数回顾梯度下降法：训练参数输入样本集共计m个样本点，每个样本点有(n+1)维特征1、拟合函数2、目标函数：最小化误差平方和3、采用梯度下降法更新每个参数的值线性拟合函数中的梯度值为：+目标函数也可以添加正则化项求累加和体现了GD与SGD的区别04PARTFOUR自编码器自编码器Sigmoid激活函数训练参数层次间的递推关系目标函数：最小化重构误差自编码器网络参数的训练方法：梯度下降法反向传播算法(BackPropagation,BP)：用于计算参数的梯度05PARTFIVE限制

10、玻尔兹曼机限制玻尔兹曼机层次间的递推关系（本质上属于多元概率分布，网络结构为概率无向图模型）Sigmoid激活函数训练参数目标函数：最小化重构误差网络参数的训练方法：梯度下降法对比散度算法(ContrastiveDivergence,CD)：用于计算参数的梯度默认结点取值为0/1也可以推广到实数：可见部分结点值为实数变量补充说明无监督逐层学习得到深度网络的初始参数结合训练样本的标签值可以进行微调(fine-tuning)使得网络参数最优化引入训练样本的标签值做整个网络的参数微调06PARTSIX深度学习框架深度学习框架Caffe:C++(加州伯克利分校)Theano:Python(蒙特利尔

11、理工学院)----->Blocks,KerasTorch:Lua(Facebook)Deeplearning4j:Java(创业公司Skymind)DeepLearnToolbox:MATLAB07PARTSEVEN硬件需求硬件需求GPU：GTX680或者GTX960(价格优势)；GTX980(表现最佳)；GTXTitan(满足需要存储器的情况)；GTX970(不支持卷积网络)。CPU：每个GPU2个线程；全套40PCIe线路和合适的PCIe配件(和主板配套)；时钟频率>2GHz；快速缓冲储存区不做过多要求。内存：使用异步mini-batch分配；时钟频率和内存时序不做过多要求；要求至少像

12、GPU内存一样大的CPU内存。硬驱硬驱动/SSD：使用异步batch-file读取和压缩数据，主要针对图像或声音数据；如果不需要处理带有高输入维度的32比特浮点数据组，普通硬驱即可满足计算要求。PSU：GPU+CPU+(100-300）为所需的电源供应量；如果需要构建大的卷积网络，则需要配备能效级别高的电源；确保有足够PCIe接头（6+8pin），足以支持未来可能新增的GPU的运行。散热：如果运行单个GPU，需要在设置中设定「coolbits」flag；否则，更新BIOS和加快风扇转速就是最便宜最简单的办法。主板：选择PCIe3.0，配备与未来预计所需GPU数量一样多的槽口（一个GPU需要

13、两个槽口；每个系统最多4个GPU）。感谢您的聆听