基于机器视觉的嵌入式虚拟键盘研究

《基于机器视觉的嵌入式虚拟键盘研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、TheResearchofembeddedvirtualkeyboardbasedonmachinevisionADissertationSubmittedfortheDegreeofMasterCandidate：LiPengxiangSupervisor：Prof.XieWeiSouthChinaUniversityofTechnologyGuangzhou,China分类号：TP399学校代号：10561学号：201320112361华南理工大学硕士学位论文基于机器视觉的嵌入式虚拟键盘研究作者姓名：李鹏翔指导教师姓名、职称：谢巍教授申请学位级别：工学硕

2、士学科专业名称：控制理论与控制工程研究方向：嵌入式系统分析与应用论文提交日期：2016年4月26日论文答辩日期：2016年6月8日学位授予单位：华南理工大学学位授予日期：年月日答辩委员会成员：主席：钟震宇委员：陈立定，谢巍，刘永桂摘要随着虚拟现实技术的发展，人机交互的方式从传统的键盘、鼠标变为三维立体交互，虚拟键盘通过摄像头检测手指在三维空间内的运动来判断用户的输入，能够较好的切合虚拟现实应用场景的要求。目前的虚拟键盘主要采用红外摄像头加红外激光辅助定位的方案实现，这种方案虽然原理较为简单，但是容易受到环境光线中的红外线干扰，严重的情况下可能导致系统无法使用

3、。针对这个问题，本文设计并实现了一套基于机器视觉的嵌入式虚拟键盘系统，采用双目摄像头检测代替红外激光辅助定位方案。论文主要研究工作包括三个部分：1)虚拟键盘系统的框架设计。硬件方面，系统以ARM作为核心处理器。ARM对双目摄像头采集到的图像进行处理后，再将结果返回给电脑。软件方面，系统程序采用MVC结构模型，将程序的数据存取、交互界面和控制逻辑三者进行分离，分别封装在不同的模块中，降低了程序的耦合度。2)虚拟键盘系统所用算法的研究与改进。首先，提出了一种融合椭圆肤色模型和平均背景模型的改进前景分割算法，实现了对手部前景区域的提取。然后，通过结合Y坐标值判断，

4、对现有的基于K向量的单指尖检测算法中存在的不稳定性进行了改进，并提出了一种基于凸包检测和K向量的改进多指尖检测算法，该算法通过计算手部轮廓相近凸包顶点的K向量值来判断指尖点的位置坐标。最后，采用双目测距原理计算指尖点的深度信息，用于判断手指是否按下。3)虚拟键盘系统的实现。在Linux+Qt开发环境下，采用C++和OpenCV编程，通过多线程技术和V4L2框架实现了双目摄像头的同步采集，利用指尖的位置和深度信息完成了键盘按键的定位和指尖状态的识别，实现了基于机器视觉的嵌入式虚拟键盘的功能。实验结果表明本文设计的虚拟键盘系统能够实时检测用户手指的运动，并且能够

5、有效地减小环境光线的干扰，具有良好的准确度。关键词：机器视觉，虚拟键盘，前景分割，指尖检测IAbstractWiththedevelopmentofvirtualrealitytechnology,thewayofhuman-computerinteractionhasbeenchangedfromtraditionalkeyboardandmouseintothree-dimensionalinteraction.Virtualkeyboardcanmeettherequirementsofvirtualreality’sapplicationscenar

6、iosbecauseitdeterminestheuser’sinputthroughusingcamerastodetectthefingers’movementinthethreedimensionalspace.Theimplementationofcurrentvirtualkeyboardisusinginfraredcameraandinfraredlasertoassistlocation.Althoughtheprincipleofthisplanissimple,itissusceptibletotheinterferenceofenvir

7、onmentallights.Tosolvethisproblem,thispaperdesignsandimplementsanembeddedvirtualkeyboardsystembasedonmachinevision,usingbinocularcameradetectioninsteadoflocatingbyinfraredcameraandinfraredlaser.Themainresearchworkofthispaperincludesthreeparts:1)Theframeworkdesignofvirtualkeyboardsy

8、stem.Inhardwaredesign,thes