基于深度学习的手写数字集特征提取算法

《基于深度学习的手写数字集特征提取算法》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、硕士学位论文基于深度学习的手写数字集特征提取算法学科专业电路与系统学位类别科学学位□专业学位研究生姓名任沙导师姓名、职称杨家红教授论文编号湖南师范大学学位评定委员会办公室二零一六年五月分类号密级学校代码10542学号201302181422基于深度学习的手写数字集特征提取算法Afeatureextractionalgorithmforhandwrittendigitsbasedondeeplearning研究生姓名任沙指导教师姓名、职称杨家红教授学科专业电路与系统研究方向数字信号处理和模式识别湖南师范大学学位评定委员会办公室二○一六年五月基于深度

2、学习的手写数字集蒋征提取算法湖南师范大学学位论文原创性声明本人郑重声明：所星交的学位论文，是本人在导师的指导下，独立进行研究工作所取得的成果。除文中己经注明引用的内容外，本论文不含任何其他个人或集体已经发表或撰写过的作品成果。对本文的研究做出重要贡献的个人和集体，均已在文中Ｗ明确方式标明。本人完全意识到本声明的法律结果由本人承捏。＾厶学位论文作者签名：年月日湖南师范大学学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，研究生在校攻读学位期间论文工作的知识产权单位属湖南师范大学。

3、同意学校保留并向国家有关部口或机构送交论文的复印件和电予版，允许论文被查阅和借阅。本人授权湖南师范大学可将本学位论文的全部或部分内容编入有关数据库进行检索Ｌ，可乂采用影印、缩印或扫描等复制手段保存和汇编本学位论文。本学位论文属于１、保密□，在年解密后适用本授权书。＇２、不保密□〇＂＂（请在Ｌ乂上相唉内打Ｖ）苟Ｊ／／＾产％６Ｖ作者签名：作曰亂月曰，以导师签名；曰期；＞４年备月曰摘要深度学习是机器学习中一个新的研究方向,使其更接近机器学习最初的目标-人工智能，通过构造含有多层隐藏层的深层网络模型来

4、学习数据的本质特征用以提高识别和预测未知数据的准确率。手写数字特征提取是利用自动化设备识别手写体数字的重要技术，在银行，邮政等行业有着广泛的应用。本文利用深度学习算法对手写体数字集进行特征提取是一项理论结合实际的课题，具有一定的理论研究价值。本文的主要工作如下：1、提出一种基于稀疏自编码模型的手写数字集特征提取算法，将多个稀疏自编码器堆叠构造深层网络结构。利用堆叠稀疏自编码模型提取的手写数字集特征，使用softmax分类器进行数字识别。整个训练过程分为逐层贪婪预训练和反向传播及随机梯度下降参数微调两个阶段。将该模型对MNIST数据集在Matlab上

5、进行实验仿真，实验证明该模型，有效的提取了数据的本质特征，使识别准确率达到98.6%以上。2、提出一种根据最近两次迭代中误差的平方差值来动态确定学习速率的自适应学习速率方法，有效的解决了随机梯度下降法学习速率收敛慢的问题。3、在模型中引入Dropout随机退隐，将隐藏层的神经元输出按50%的概率随机清零，权重暂时不更新，将改进的模型在MNIST数据子集上进行实验,在测试集上引入Dropout后较没有引入Dropout识别准确率能够提高0.6%以上，有效的防止过拟合。关键词：深度学习，手写数字集，特征提取，随机梯度下降，DropoutIAbstrac

6、tDeeplearningisanewresearchdirectioninmachinelearningtoapproachtoitsoriginalgoal-artificialintelligence.Deephierarchicalnetworkmodelincludedmulti-hidden-layerisconstructedtostudytheessentialcharacteristicsandindicatelevelcharacteristicsofdatasamples,theaccuracyofidentification

7、andpredictionofunknowndatacanbeimprovedbythecharacteristics.Handwrittennumeralfeatureextractionisanimportanttechniqueforautomationequipmenttodistinguishhandwrittennumeral,whichhasaverywiderangeofapplicationsinindustriessuchasthebankandpostal.Inthispaper,depthlearningalgorithmw

8、asappliedtofeatureextractionofhandwrittennumeralset.Itisatheo