基于计算机视觉的手势跟踪与识别技术的研究

《基于计算机视觉的手势跟踪与识别技术的研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、基于计算机视觉的手势跟踪与识别技术的研究1绪论21．1手势识别研究的意义21．2手势识别国内外研究现状21.3基于视觉的手势跟踪与识别流程图32基于计算机视觉的手势识别基础理论32．1模式识别概述32．2基于计算机视觉的手势跟踪理论42．3基于计算机视觉的手势识别理论52．3．1神经网络算法52．3．2基于模板匹配的算法62．3．3统计分析算法72．3．4隐马尔可夫模型(HMM)72．4基于计算机视觉的手势跟踪与识别系统83手势图像预处理及特征提取83．1手势图像预处理83．1．1图像平滑93．1.2图像色彩空间转换103．1.3图像二值化113.

2、1.4图像形态学处理123．2手势图像特征提取134手势跟踪算法研究134．1Kalman跟踪算法134．2Camshift跟踪算法154．2．1颜色概率模型155基于计算机视觉的手势跟踪与识别算法实验165．2手势图像预处理及特征提取实验结果175．2．1手势图像获取及手势样本库的建立175．2.2手势图像的预处理195．2手势跟踪实验结果及分析205．3实时手势识别实验结果及分析215．3．1手势识别系统流程215.4手势跟踪与识别在人机交互中的应用216总结与展望237附录：247.1程序重要部分代码247.2手势识别的视频277.3国内外生

3、产手势识别软件的厂家281绪论1．1手势识别研究的意义在人机交互的发展过程中先后出现了基于文本方式的键盘、基于图形方式的鼠标等交互接，然而从某种程度上说，这些机械设备在人机交互方面是不方便和不和谐的。它把机器作为人机交互的中心，在人机交互时人需要去适应机器的输入输出设备，对机器没有主动控制的能力。随着计算机科学的快速发展，研究符合人类交流习惯的人机交互技术成为国内外关注的热点，这些研究包括人脸识别、面部表情识别、头部运动跟踪、眼睛识别、手势识别以及人体姿势识别等。总体来说，人机交互的研究已经从以计算机为中心转移到以人为中心，大大提高了人机交互的效率

4、。手势作为人类最自然的表达方式之一，在日常生活中得到了广泛的应用。手势生动、形象、直观，而且蕴涵着丰富的信息，是人与人沟通的重要媒介。目前基于手势的交互已经成为人机交互的重要内容。手势识别的应用前景十分广阔：(1)对于聋哑人而言，特别是文化程度比较低的聋哑人，使用手语和正常人交流更加方便和高效。手语是用手势表示意思的语言，对不熟悉手语的普通人来说，理解手语是非常困难的。如果有一套可以翻译手语的系统，则将大大方便聋哑人与正常人之间的交流；(2)利用手势对虚拟现实中的智能设备进行控制。比如在虚拟场景内利用手势实现虚拟钢琴的演奏，又如用机器人的虚拟手抓取

5、物体等；(3)研究人类对于视觉语言的理解规律，提高计算机对人类语言的理解能力；(4)手势交互是虚拟现实中多通道接口的重要组成部分之一。1．2手势识别国内外研究现状根据外围设备采集手势图像方式的不同可以把手势识别分为两种：基于数据手套的手势识别和基于视觉的手势识别。基于数据手套的手势识别是通过数据手套和位置跟踪来测量手势运动的轨迹和时序信息，其优点是系统的识别率高，缺点是输入设备昂贵，并且要求打手势的人穿戴复杂的数据手套，给人带来很多不便，因此这种方式不能成为未来发展的趋势。基于视觉的手势识别是计算机通过对摄像头拍摄的手势图像进行分析和处理提取出手的

6、位置及形状。这种方法在实现时无需购买昂贵的设备，仅需要廉价的摄像头和低端处理能力的PC机即可。并且在操作时更加自然、方便，符合以人为本和自由性的要求，是手势识别未来发展的趋势。但是这种方法的识别效率比基于数据手套的手势识别低，而且能够识别的手势种类受到很大的限制，是目前亟待解决的问题。国外很早就开始了对手势识别的研究工作。Huang创建的手语识别系统使用3D神经网络的方法识别了15个不同的手势。Stamert51等人使用隐马尔可夫模型(HMM)对输入视频序列中的美国手势中带有词性的40个词汇随机组成的句子进行了识别，其中HMM参数的估计采用的是EM

7、算法。系统对分离单词的识别和由5个单词组成的句子(句子的结构限定为代词+动词+名词+形容词+代词)的识别分别进行了测试，识别正确率达90％。Zhu[6]使用主成分分析方法创建统计结构，从而识别活跃对象的形状，即模型化系统和弹性对象的识别。Vogler和MetaxastTl开发的手语理解系统通过固定在人身上的物理传感器和一个能够对手臂进行精确定位的摄像机来获取手臂位置信息。系统采用独立的语言模型对包括53个单词的手语集进行了测试，识别率也达到90％。我国对手势识别的研究起步较晚，但近年来也取得了显著的成果。例如文献f81中使用神经网络方法和Hough

8、变换对中国手语中的20种手势进行识别。在文献[91q丁采用基于表观的手势模型，提取八个手势特征组成特征向量，采用二次分类(