基于卷积神经网络的静态手势识别研究

《基于卷积神经网络的静态手势识别研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、工程硕士学位论文基于卷积神经网络的静态手势识别研究作者姓名朱翔宇工程领域集成电路工程校内指导教师姜小波副教授校外指导教师刘海华副总经理所在学院电子与信息学院论文提交日期2018年04月ResearchonStaticHandGestureRecognitionBasedonConvolutionalNeuralNetworkADissertationSubmittedfortheDegreeofMasterCandidate：ZhuXiangyuSupervisor：AssociateProf.JiangXiaoboDGM.LiuHaihuaSouthChinaUniversi

2、tyofTechnologyGuangzhou,China摘要随着智能化、自动化技术的极速发展，人类社会也隐式的对越来越方便的人机交互（HCI）方式提出了越来越高的要求。手势作为一种自人类历史开始就一直被使用的交流方式，是一种非常直观、有效的沟通手段，也是现代的人机交互设备中不可或缺的一环。对于以手势进行沟通与控制的人机交互界面，一个稳定、快速且有效的手势识别系统无疑是决定其易用性与体验感的决定性因素。计算机视觉的手势识别方法，主要涉及特征提取与分类两个部分，其中特征提取往往直接影响了整体系统的性能。但是，手工特征提取的环节往往非常依赖领域内专家的经验，有一定的不确定性，且特征

3、构造的过程成本高，特征选择开销大，巨大的工作量对效果提升的制约已经相当明显。近年来，深度卷积神经网络在计算机视觉研究领域中已经取得了突出的成绩，其强大的特征提取与模型泛化能力也越来越多地被认可。由于卷积神经网络本质上融合了特征提取与分类的过程，并能在几乎不需要人工干预的条件下自发地学习到合适的参数，非常适合快速构造不同的手势集的识别系统。本文将卷积神经网络应用于静态手势识别问题，主要的工作有：（1）受全卷积神经网络启发，提出了两种有效的用于静态手势识别的卷积神经网络模型。通过在ASL字母拼写等数据集下的测试与相关文献的对比，进一步表现了卷积神经网络在静态手势识别领域下的优势。（

4、2）为了进一步增加卷积神经网络模型的性能与稳定性，本文比较与分析了2种集成学习方法对静态手势识别系统构建的有效性。通过集成得到的模型比每个基础网络单独的性能都要好，同时由于基础网络结构简单、计算量少的特点，集成后的网络仍然可以满足手势识别系统对于实时性的需求。（3）开发了一个基于web的数据集采集管理系统来简化研究者采集手势数据的流程，并用它制作了一套含有14种手势的中小规模的手势数据集MCSHG（MotionControlStaticHandGesture）用于本文的研究测试。关键词：人机交互；深度学习；卷积神经网络；静态手势识别；静态手势数据集IAbstractWithth

5、eextremelyrapidprogressionofautomationandintellectualizationtechnologiesnowadays,humansocietyhasbeenconstantlydemandingbetterandbetterHuman-ComputerInteraction(HCI)interfacesimplicitly.Asacommunicationapproachwhichhavebeenusedwaybackinthebeginningofhumanhistory,handgesturehasthecharacteristi

6、cofbeingbothintuitiveandeffective,andasaconsequence,hasbecomeanindispensablecomponentinmodernHCIdevices.Itwouldbeobviousthatastable,efficientandeffectivehandgesturerecognitionsystemisthekeytoanycommunicationinterfacesbasedonhandgesturecontrol,whichalmostentirelydeterminestheusabilityandusere

7、xperienceofsaidinterface.Thetraditionalcomputervisionmethodofgesturerecognitionofteninvolvestwoparts:featureextractionandclassification,inwhichthefeatureextractionpartusuallyhasaninfluencedirectlyonthefinalperformance.Theeffectivenessofhand-crafted