基于kinect的实时手语识别技术研究

《基于kinect的实时手语识别技术研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、中图分类号：TP391论文编号：102871616-S063学科分类号：083500硕士学位论文基于Kinect的实时手语识别技术研究研究生姓名叶平学科、专业软件工程研究方向模式识别图像处理指导教师黄元元副教授南京航空航天大学研究生院计算机科学与技术学院二О一六年一月NanjingUniversityofAeronauticsandAstronauticsTheGraduateSchoolCollegeofComputerScienceandTechnologyTheResearchofReal-

2、TimeDynamicSignLanguageRecognitionBasedonKinectAThesisinSoftwareEngineeringbyYePingAdvisedbyProf.HuangYuanyuanSubmittedinPartialFulfillmentoftheRequirementsfortheDegreeofMasterofEngineeringJanuary,2016承诺书本人声明所呈交的硕±学位论文是本人在导师指导下进行的研究工作及取得的研究成果。除了文中

3、特别加标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得南京航空航天大学或其他教育机构的学位或证书而使用过的材料。本人授权南京航空航天大学可将学位论文的全部或部分内容编入有关数据库进行检索，可采用影印、缩印或扫描等复制手段保存、汇编学位论文。（保密的学位论文在解密后适用本承诺书）Ａｌ作者签名；ｆｆ＾（４．１．＾日期：南京航空航天大学硕士学位论文摘要手势识别是当前计算机视觉领域的热点问题之一。手语作为一种特殊的手势，是聋人与

4、聋人、聋人与健听人之间进行交流的“语言”。对手语进行自动识别，不仅可以创建聋人与健听人之间的无障碍交流平台，同时也可以提高计算机的感知能力，增加人机交互方式。本文使用体感摄像头Kinect，它可以返回深度信息，同时具备对人体骨骼进行识别定位的功能，本文正是利用Kinect这一特点，实现对动态手语的识别。动态手语可以利用手势轨迹曲线加关键手型的方式进行描述，但事实上大多数手语通过轨迹曲线的匹配即可完成识别。因此本文提出了一种对动态手语进行分级匹配的识别策略。一级匹配通过对轨迹曲线的相似性度量完成；若

5、通过一级匹配可以得到识别结果，那么识别过程可以结束，否则进入二级匹配，即再对手语的关键手型做识别。由此，首先引入卡尔曼滤波对Kinect检测到的手部位置进行校正，同时利用Kinect返回的深度信息并结合卡尔曼滤波提出了一种手部区域的精确分割算法；然后提出了一种曲线的归一化算法，用以消除不同手语者的动作、时间差异，同时还提出一种基于轨迹曲线密度的关键帧检测算法，并从关键帧中提取手型特征，完成对手语的特征描述；最后，在一级匹配中，结合关键帧信息，对DTW算法做了优化改进，使之更加适用于手势轨迹曲线的相

6、似性度量，二级匹配采用模板匹配的方式对关键手型的组合做识别。以上述算法为基础，使用C#为开发工具，本文设计完成了一个实时的动态手语识别系统，该系统可以实现对60个常用动态手语的识别，且可以面向非特定人群。关键词：动态手语识别，Kinect，卡尔曼滤波，关键帧提取，特征提取，动态时间规整i南京航空航天大学硕士学位论文ABSTRACTGesturerecognitionisoneofthehotissuesinthefieldofcomputervision.Signlanguageasaspecia

7、lgestureisthe"language"usedinthecommunicationbetweenthedeaf,thedeafandnormalpeople.Automaticsignlanguagerecognitioncannotonlycreateanexchangeplatformforthedeafandnormalpeople,butcanalsoimprovethesensingabilityofthecomputerandincreasehuman-computerinte

8、raction.ThispaperachievesthegoalofrecognizingdynamicsignlanguagebyusingKinect,asomatosensorycamerawhichcanreturndepthinformation,alongwiththeidentificationofthehumanskeletonposition.Dynamicsignlanguagecanbedescribedbytrajectorycurveandkey-hand