基于超参数自动优化的压缩神经网络模型研究

《基于超参数自动优化的压缩神经网络模型研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号密级UDC学校代码10500硕士学位论文（全日制学术学位）题目：基于超参数自动优化的压缩神经网络模型研究英文题目：ANovelCompressedNeuralNetworkModelBasedonAutomaticHyper-parametersOptimization学位申请人姓名：方钦申请学位学科专业：计算机软件与理论指导教师姓名：陈建峡二○一八年五月分类号密级UDC学校代码10500硕士学位论文题目英文题目研究生姓名（签名）指导教师姓名（签名）职称申请学位学科名称学科代码论文答辩日期学位授予日期学院负责人（签名）评阅人姓名评阅

2、人姓名年月日学位论文原创性声明和使用授权说明原创性声明本人郑重声明：所呈交的学位论文，是本人在导师指导下，独立进行研究工作所取得的研究成果。除文中已经标明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在文中以明确方式标明。本声明的法律结果由本人承担。学位论文作者签名：日期：年月日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权湖北工业大学可以将本学位论文

3、的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。学位论文作者签名：指导教师签名：日期：年月日日期：年月日湖北工业大学硕士学位论文摘要深度神经网络是目前是许多人工智能应用的基础，在语音识别和图像识别等诸多人工智能领域引发了突破。这些深度神经网络被部署到了从自动驾驶、癌症检测到复杂游戏等各种实际场景中。然而，现在深度神经网络的层级数量十分巨大，可以达到5层到1000多层，导致了其运行和存储所需的内存开销巨大。体积如此庞大的神经网络模型难以应用于移动端设备，无法适应如今移动设备的快速发展。因此，如

4、何对神经网络体积进行压缩成为了最近人工智能领域重要的研究方向。本文通过对神经网络压缩方法和超参数优化方法的研究，提出了HORD-HD压缩神经网络架构。首先本文介绍了卷积神经网络的基本构成和原理，解释了分类器、特征抽象、全连接网络、卷积网络的基本概念。然后对Hash量化、矢量量化、标量量化以及SVD分解等几种简单实用的压缩方法进行了研究，通过理论分析和实验对比，证明了Hash量化在同等压缩比率下较其他方法有更高的准确率。在实验阶段，实验结果表明Hash量化方法能够在精度损失不到1%的情况下，将一个五层的卷积神经网络的最后一个隐含层与输出层间

5、的连接权值矩阵压缩至1/8。并能够在损失8%精度的情况下将其压缩至1/16。其次，为了优化Hash量化方法的压缩性能，本文研究了贝叶斯全局优化方法和HORD(HyperparameterOptimizationviaRBFandDynamiccoordinateSearch)方法对神经网络的超参数进行自动优化的效果，通过理论分析和实验对比比较了HORD方法和几种贝叶斯全局优化方法的性能。实验研究表明，在一个四层的全连接网络和一个五层的卷积网络优化实验中，HORD方法花费较少的迭代次数就能取得与其他方法相同的优化效果，每次迭代花费的时间更短

6、，并且在最终的优化模型上HORD方法较贝叶斯全局优化方法分别取得了0.1%和2%的错误率提升。最后，本文分析了HORD方法对哈西量化的压缩过程进行优化的理论原理，给出了结合两种方法对神经网络进行压缩的步骤，设计了HORD-HD压缩模型并设计实验使用HORD-HD对神经网络进行压缩。实验结果表明，两种方法的结合设计的HORD-HD模型能够在损失3%精确度的情况下将一个四层的神经网络的中间两个隐含层连接权值矩阵压缩至1/16。上述结果表明，本文提出的HORD和哈西量化的结合方法HORD-HD，能够有效的完成对神经网络体积的压缩，为将体积庞大的

7、神经网络模型应用于移动端设备提供一种可行的方案。关键字：神经网络，神经网络压缩，超参数优化，全局优化，HashedNet,HORD。1湖北工业大学硕士学位论文AbstractDeepneuralnetworksarecurrentlythebasisofmanyartificialintelligenceapplicationsandhaveledtobreakthroughsinlotsofareasofartificialintelligencesuchasthespeechrecognitionandtheimagerecognit

8、ion.However,thenumberoflevelsofdeepneuralnetworksisverylargeandcanreacharound5to1000layers,resul