卷积神经网络中减少训练样本时间方法探究.doc

《卷积神经网络中减少训练样本时间方法探究.doc》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、卷积神经网络中减少训练样本时间方法探摘要：深度学习在人工智能尤其是在图像处理，图像分类方面的应用越来越广泛。其中卷积神经网络在其中具有重要地位。本文的主要目的为探究通过调整在网络中卷积过程所使用的滤波器大小，在保证分类结果准确率可接受情况下，尽量减少样本的训练时间，并总结出一套较为通用的滤波器大小设置规则。在文章中通过对theano中基于lenet模型所构造的卷积神经网络的两层卷积层中的滤波器大小进行不同搭配的设置，测试数据集为广泛使用的mnist手写数字库以及cifar_10库，最后对比探究出

2、适用于这两个数据集的减少训练时间的设置规律关键词：卷积神经网络；深度学习；图像处理；训练时间中图分类号:TP18文献标识码A文章编号:1009-3044(2016)33-0167-04如今在机器学习领域中，深度学习方法已经占据了相当重要的地位，通过模仿人DX学习方式构造模型，在图像、文本、语音处理方面取得了显著成果口］。目前应用较为广泛的深度学习模型包含多层感知器模型（MLP）［2］,卷积神经网络模型和限制性玻尔兹曼机模型等［4］。多层感知器［2］网络结构的神经节点一般分层排列，主要由输入层，输

3、岀层和一些隐层组成，同层之间的神经元节点无连接,相邻的两层神经元进行全连接，前一层的神经元的输出作为后一层神经元的输入，但本身此种算法存在着一些问题，那就是它的学习速度非常慢，其中一个原因就是由于层与层之间进行全连接，所以它所需要训练的参数的规模是非常大的，所以对其进行改进，产生了卷积神经网络模型。卷积神经网络模型在图像识别方面的应用十分广泛［5,8,9］o从它的结构上来看,层与层之间的神经元节点采用局部连接模式，而并非MLP的全连接模型，这样就降低了需要训练的参数的规模。而在它卷积层中，它的每

4、一个滤波器作为卷积核重复作用于整个输入图像中，对其进行卷积，而得出的结果作为输入图像的特征图［6］,这样就提取出了图像的局部特征。而由于每一个卷积滤波器共享相同的参数，这样也就大大降低了训练参数的时间成本。而本文，以卷积神经网络为研究对象，在其模型的基础上通过对其结构中卷积核也就是滤波器的大小进行调整并结合卷积核个数调整和gpu加速等已有的训练提速方法，达到降低训练时间并且对识别结果并无太大影响的目的1卷积神经网纟卷积神经网络在MLP的基础上，已经对结构进行了优化,通过层与层之间的局部连接以及权

5、值共享等方式对要训练的参数的进行了大幅减低1.1局部连接BP神经网络中，神经元在本层中呈线性排列状态，层与层之间进行全连接，而在卷积神经网络中，为了减少每层之间的可训练参数数量，对连接方式进行了修改,相对于BP神经网络的全连接，卷积神经网络采取了局部连接的连接方式[7],也就是说按照某种关联因素，本层的神经元只会与上层的部分神经元进行连接2.2权值共享在CNN中，卷积层中的卷积核也就是滤波器，重复作用在输入图像上，对其进行卷积，最后的输出作为他的特征图，由于每个滤波器共享相同的参数，所以说他们的

6、权重矩阵以及偏置项是相同的我们从上图看岀，相同箭头连线的权值是共享的，这样在原有的局部连接的基础上我们又降低了每层需要训练的参数的数量2.3卷积过程特征图是通过滤波器按照特定的步长，对输入图像进行滤波，也就是说我们用一个线性的卷积核对输入图像进行卷积然后附加一个偏置项，最后对神经元进行激活。如果我们设第k层的特征图记为[hk],权重矩阵记为[Wk],偏置项记为[bk],那么卷积过程的公式如下所示（双曲函数tanh作为神经元的激活函数）：2.4最大池采样通过了局部连接与权值共享等减少连接参数的方式

7、卷积神经网络中还有另外一个重要的概念那就是最大池采样方法，它是一种非线性的采样方法。最大池采样法在对减少训练参数数量的作用体现在两个方面：1）它减小了来自m/层的计算复杂度2）池化的单元具有平移不变性，所以即使图像在滤波后有小的位移，经过池化的特征依然会保持不变3卷积神经网络整体构造以及减少训练时间的方法3.1使用GPU加速本次论文实验中，使用了theano库在python环境下实现卷积神经网络模型，在lenet手写数字识别模型上进行改进，由于theano库本身支持GPU加速，所以在训练速度上实

8、现了大幅度的提高3.2数据集的预处理本次实验使用的两个数据集是mnist手写数字库以及cifar_10库Mnist手写数字库具有60000张训练集以及10000张测试集，图片的像素都为28*28,而cifar_10库是一个用于普适物体识别的数据集，它由60000张32*32像素的RGB彩色图片构成，50000张图片组成训练集，10000张组成测试集。而对于cifar_10数据集来说，由于图片都是RGB的，所以我们在进行实验的时候，先把其转换为灰度图在进行存储。由于实验是在python环境下运行，