深度神经网络的参数压缩及前向加速

《深度神经网络的参数压缩及前向加速》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、硕士学位论文深度神经网络的参数压缩及前向加速作者姓名肖学锋学科专业物理电子学指导教师常天海副教授金连文教授所在学院电子与信息学院论文提交日期2018年4月CompressingandAcceleratingDeepNeuralNetworksADissertationSubmittedfortheDegreeofMasterCandidate：XiaoXuefengSupervisor：AProf.ChangTianhaiProf.JinLianwenSouthChinaUniversityofTechnologyGuangzhou,China分类号：TP3

2、91.4学校代号：10561学号：201520108188华南理工大学硕士学位论文深度神经网络的参数压缩及前向加速作者姓名：肖学锋指导教师姓名、职称：常天海副教授；金连文教授申请学位级别：工学硕士学科专业名称：物理电子学研究方向：机器学习与智能系统论文提交日期：2018年4月10日论文答辩日期：2018年5月30日学位授予单位：华南理工大学学位授予日期：年月日答辩委员会成员：主席：郑伟诗教授委员：梁添才教授级高级工程师；孙季丰教授；金连文教授；张鑫副教授摘要近年来，随着移动通信网络和互联网的不断发展，手机、平板电脑等智能便携设备逐渐普及，人们对相关智能化应用，

3、尤其有关计算机视觉和文字识别领域的相关应用的需求量越来越大。目前，基于深度神经网络的相关算法，其包括深度卷积神经网络和深度递归神经网络，在计算机视觉和文字识别等模式识别的相关领域，相比传统算法，精度有较大提升，但基于深度神经网络的算法，相比于各领域传统算法有更大运算量和参数存储量，使其有更长的计算时延和需要更大的内存空间，从而导致在移动设备难为大规模应用。基于上述深度神经网络的参数量和计算量较大的问题，本文在深度神经网络的加速算法、模型压缩算法，以及如何将两者有机的结合起来做出了相应的创新工作。其主要包括如下三个方面：（1）在对深度卷积神经网络的参数压缩及前向

4、加速上，提出了全局监督低秩分解算法，其有效地解决了对卷积层进行低秩分解时，精度损失较大的问题，同时使用输入数据的标签信息作为其收敛目标；提出了自适应剪枝算法，有效的缓解了传统剪枝算法，对网络各层剪枝阈值设置太大导致性能急剧下降，或阈值太小导致压缩倍数不足的问题，采用自适应动态增加的阈值，使网络各层冗余的连接逐渐被移除；提出了连接冗余度分析的概念，其可以在给定的精度损失阈值下，分析各层的连接度，从而指导网络各层砍连接的比例；随后，将全局监督低秩分解算法、自适应剪枝算法以及连接冗余度分析三者结合起来，应用在基于卷积神经网络的脱机手写汉字识别网络上，其可以减少初始网

5、络9倍的计算量和18倍的参数存储量，网络的精度仅仅下降0.21%，这个结果依旧可以超过，迄今为止在该数据集上识别精度最高的单个模型，而且网络的参数量和计算量均比其明显小。（2）在对深度递归神经网络的参数压缩及前向加速上，采用了SVD分解的方法，对LSTM层和全连接层的各个参数矩阵进行分解，从而减少网络整体的计算量；采用自适应剪枝算法，将采用各个参数矩阵中冗余的连接从中逐渐移除，以减少网络的参数存储量；将SVD算法和自适应剪枝算法结合起来，用于基于LSTM的联机手写汉字识别网络上，其最后将网络总体的参数量减少了约31倍，计算量减少了约13.6倍，但是网络的精度只

6、下降了0.5%。I（3）在对深度神经前向计算的工程实现上，对深度神经网络的有关图优化进行了相关的介绍，其中主要包括对激活函数层的融合，以及如何将对BN层和scale层，通过参数的预处理，将这两层的计算融入到上一层的计算当中，等效于忽略这两层的计算。随后，分别对深度卷积神经网络和深度递归神经网络的前向计算做了具体的分析，以及通过采用循环展开，利用BLAS库以及稀疏的矩阵乘法，将网络的前向时间逐渐优化，最终，采用单线程CPU，识别一张脱机手写中文字符仅需要9.7ms前向运行时间和2.3MB的参数存储空间，识别一个联机手写中文字符仅需要2.7ms前向运行时间和0.4

7、5MB的参数存储空间。关键词：深度卷积神经网络；深度递归神经网络；参数压缩；前向加速IIAbstractSmartportabledevicessuchasmobilephonesandtabletPCshavebecomeincreasinglypopularinrecentyears,becauseofthecontinuousdevelopmentofmobilecommunicationnet-worksandInternet.Peoplehaveahigherdemandforrelatedintelligentapplications,especi

8、allyrelatedapplicat