卷积神经网络.doc

《卷积神经网络.doc》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、卷积神经网络（ConvolutionalNeuralNetworks，CNN）一、深度学习1.DeepLearning的基本思想假设一个系统S:n层（S1,…Sn），输入是I，输出是OI=>S1=>S2=>…..=>Sn=>O形象地表示为：如果输出O等于输入I，即输入I经过这个系统变化之后没有任何的信息损失（理论上是不可能的。），保持了不变，这意味着输入I经过每一层Si都没有任何的信息损失，即在任何一层Si，它都是原有信息（即输入I）的另外一种表示。信息论中有个“信息逐层丢失”的说法--信息处理不会增加信息，大部分处理

2、会丢失信息。DeepLearning中我们需要自动地学习特征，假设我们有一堆输入I（如一堆图像或者文本），假设我们设计了一个系统S（有n层），我们通过调整系统中参数，使得它的输出仍然是输入I，那么我们就可以自动地获取得到输入I的一系列层次特征，即S1，…,Sn。  对于深度学习来说，其思想就是堆叠多个层，这一层的输出作为下一层的输入。通过这种方式，来实现对输入信息进行分级表达。  另外放松这个限制，例如我们只要使得输入与输出的差别尽可能地小即可，这个放松会导致另外一类不同的DeepLearning方法。2.浅层学习和深

3、度学习当前多数分类、回归等学习方法为浅层结构算法，其局限性在于有限样本和计算单元情况下对复杂函数的表示能力有限，针对复杂分类问题其泛化能力受到一定制约。区别于传统的浅层学习，深度学习的不同在于：1）强调了模型结构的深度，通常有5层、6层，甚至10多层的隐层节点；2）明确突出了特征学习的重要性；通过逐层特征变换，将样本在原空间的特征表示变换到一个新特征空间，从而使分类或预测更加容易。与人工规则构造特征的方法相比，利用大数据来学习特征，更能够刻画数据的丰富内在信息。3.DeepLearning和NeuralNetworkD

4、eeplearning本身算是machinelearning的一个分支，简单可以理解为neuralnetwork的发展。由于容易过拟合，训练速度比较慢，且在层次比较少（小于等于3）的情况下效果并不比其它方法更优等缺点，所以中间有大约20多年的时间，神经网络被关注很少，但老先生Hinton，坚持了下来，最终（和其它人一起Bengio、Yann.lecun等）提出了了一个实际可行的deeplearning框架。相同之处：相似的分层结构，系统由包括输入层、隐层（多层）、输出层组成的多层网络，只有相邻层节点之间有连接，同一层以

5、及跨层节点之间相互无连接，每一层可以看作是一个logisticregression模型；这种分层结构，是比较接近人类大脑的结构的。不同之处：不同的训练机制传统神经网络中，采用的是backpropagation的方式进行，简单来讲就是采用迭代的算法来训练整个网络，随机设定初值，计算当前网络的输出，然后根据当前输出和label之间的差去改变前面各层的参数，直到收敛（整体是一个梯度下降法）。deeplearning整体上是一个逐层贪婪训练方法。1.Deeplearning的训练方法传统神经网络的训练方法为什么不能用在深度神经

6、网络？深度结构（涉及多个非线性处理单元层）的非凸目标代价函数中普遍存在的局部最小是训练困难的主要来源。存在的问题：（1）梯度越来越稀疏：从顶层越往下，误差校正信号越来越小；（2）收敛到局部最小值：尤其是从远离最优区域开始的时候（随机值初始化会导致这种情况的发生）；（3）一般，我们只能用有标签的数据来训练：但大部分的数据是没标签的，而大脑可以从没有标签的的数据中学习；DeepLearning:1.每次只训练网络中的一层，（将前k-1层固定，并将其输出作为输入，开始训练第K层）。每一层的训练可以是有监督的（例如，将每一步的

7、分类误差作为目标函数），但更通常使用无监督方法（例如自动编码器）。2.各层单独训练所得到的权重被用来初始化最终（或者说全部）的深度网络的权重3.最后对整个网络进行“微调”（即把所有层放在一起来优化有标签训练集上的训练误差）.1.Deeplearning的常见模型（方法）AutoEncoder自动编码器SparseCoding稀疏编码DeepBeliefNetworks深信度网络ConvolutionalNeuralNetworks卷积神经网络2.小结深度学习的实质，是通过构建具有很多隐层的机器学习模型和海量的训练数据，

8、来学习更有用的特征，从而最终提升分类或预测的准确性。因此，“深度模型”是手段，“特征学习”是目的。1.Deeplearning与其他机器学习算法如svm等相似，仍然可以把它当做一个分类器，仍然可以像使用一个黑盒子那样使用它。2.DeepLearning强大的地方就是可以利用网络中间某一层的输出当做是数据的另一种表达，从而可以将其认