基于卷积神经网络的手写数字识别.ppt

《基于卷积神经网络的手写数字识别.ppt》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、基于卷积神经网络的手写数字识别卷积神经网络基于人工神经网络使用卷积核作为特征抽取器自动训练特征抽取器（即卷积核，即阈值参数）卷积核一次训练多次使用，可以在线学习（模型在训练好之后，在使用中继续训练）。局部感受野+权值共享+下采样使模型参数大幅减小。7卷积w13w12w11w23w22w21w33w32w3110-110-110-1ConvolvewithThresholdw13w12w11w23w22w21w33w32w31卷积其实是一个图像处理核卷积用于增强图像的某种特征，降低噪音8卷积features9卷积子采样利用图像局部相关性的原理，减少训练维数，同时保留了

2、有用信息降低图像分辨率增强网络对大小变化的适用性子采样为什么不把S2中的每个特征图连接到每个C3的特征图呢？原因有2点。第一，不完全的连接机制将连接的数量保持在合理的范围内。第二，也是最重要的，其破坏了网络的对称性。由于不同的特征图有不同的输入，所以迫使他们抽取不同的特征。训练过程训练算法与传统的BP算法差不多。主要包括4步，这4步被分为两个阶段：第一阶段，向前传播阶段：a）从样本集中取一个样本(X,Yp)，将X输入网络；b）计算相应的实际输出Op。在此阶段，信息从输入层经过逐级的变换，传送到输出层。这个过程也是网络在完成训练后正常运行时执行的过程。在此过程中，网络

3、执行的是计算（实际上就是输入与每层的权值矩阵相点乘，得到最后的输出结果）：Op=Fn（…（F2（F1（XpW（1））W（2））…）W（n））第二阶段，向后传播阶段a）算实际输出Op与相应的理想输出Yp的差；b）按极小化误差的方法反向传播调整权矩阵。15LeNet516LeNet5优点卷积神经网络较一般神经网络在图像处理方面有如下优点：a）输入图像和网络的拓扑结构能很好的吻合；b）特征提取和模式分类同时进行，并同时在训练中产生；c）权重共享可以减少网络的训练参数，使神经网络结构变得更简单，适应性更强。缺点实践中，具有类标号的数据较少，而不具有类标号的数据非常丰富，为每

4、个数据人工设置类标号是非常费时和枯燥的。然而，为了使得监督卷积神经网络通过训练具有较高的泛化能力，需要大量具有类标号的训练样本，这也是制约临督卷积神经网络在实践巾应用的主要因素。卷积神经网络的非监督深层网络含有较多的权值，当具有类标号的训练样本较少时，仅使用监督训练的方法不能充分训练深层网络。近年来，深层学习的研究表明，可以先使用没有类标号的训练样本逐层非脆督训练深层网络，而后，再使用少量具有类标号的训练样本监督训练深层网络，进行权值微调，这样在具有类标号的训练样本较少时，也能训练出泛化能力较高的深层网络。卷积神经网络的非监督训练算法主要有三种：预测稀疏分解PSD，

5、不变预测稀疏分解IPSD和卷积预测稀疏分解CPSD。