基于手势识别的人机交互综述

《基于手势识别的人机交互综述》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、.基于手势识别的人机交互综述摘要：近年来，得益于虚拟现实、人机界面技术、计算机视觉等领域的发展，基于手势识别的人机交互技术得到大力的推动。本文就基于手势识别的人机交互技术展开综述。首先概括手势交互的涉及领域，回顾其发展史和国内外研究现状。接着阐明它的基本界定和分类，并在此基础上分析其热点关键技术。然后实例讨论了几种类型手势交互的典型应用。最后给出了结论。关键词：虚拟现实；手势交互；计算机视觉；手势识别；特征跟踪1．引言人机交互技术通过输入、输出设备，以有效的方式实现交互主体与交互客体的对话。当前的

2、人机交互技术已经从过去交互主体适应交互客体，发展为交互客体不断地适应交互主体的习惯和以交互主体为中心的新阶段[1,2,3,4]。以用户为中心的，新型、自然的人机交互技术逐渐成为开发者和科研工作者的关注重点。这类交互方式要求输入与输出能够最大限度地符合交互主体的行为习惯，并能够在交互主体的脑中顺利构建交互环路。由于手势具有极强的信息表述功能，加之人手操作行为本身就是人与世界相互作用的主要方式，因此，基于手识别的人机交互技术相关研究有着重要的理论价值和应用价值。基于手势识别的人机交互技术涉及计算机科学

3、、认知心理学、行为学等诸多方面的知识。本文不能面面俱到，仅就手势交互的基本问题：手势语义的分类，以及当前发展概况、研究热点技术和典型系统应用等相关问题进行综述。2．研究现状目前，基于视觉的手势交互已被广泛的研究，由于手势本身的多义性及时空差异性，加之手形变的高维度及视觉问题本身的不适定性，基于视觉的手势识别一直是一项极富挑战性的究课题[5]。需要解决的核心问题是对手形的识别，对手势的跟踪等。传统的方法主要分为两大类：（1）基于模型（model-base）的方法；（2）基于表征(appearance

4、-based)的方法[6]。这些方法及其衍生算法极大程度地依赖于计算机科学中虚拟现实、机器视觉、模式识别、人机交互等多个领域的交流与合作。相关的国际会议：CHI、ICCV、CVPR、ICAT、IEEEVR为研究者提供了一个能充分交流的空间，并吸引了越来越多的研究人员共同参与合作。此外，学科之间的交流也吸引了心理学研究人员的共同参与。他们以从用户为中心出发，为基于手势交互研究和开发提出了宝贵意见[7]。纵观手势交互的发展历程，其研究重点也从早期简单的系统框架、低层特征提取[8]、手形模板匹配[8]等

5、问题转变到关节式物体跟踪[9,10,11]、跟踪性能评价[12]、操作型手势解析[14]等问题上。我国在基于手势识别的人机交互领域的研究近年来得到了长足的发展。研究机构集中在国内的研究所和高校的科研单位。目前国内手势交互的研究成果主要有：中国科学院软件研究所[15]的研究中，对二阶自回归过程动力学模型（Auto-RegressiveProcess,ARP）进行训练和学习，进而建立基于ARP的预测模型，实现了人手运动的鲁棒性跟踪，在出现跟踪丢失的情况下在后续序列中可以自动恢复正确跟踪。中国科学院自动

6、化研究所模式识别实验室提出一种基于区域的多连接体(手指)的三维运动跟踪算法[13]，....用多约束融合的方法以及手指的运动特性，建立多刚体的三维运动描述，通过三类基本约束条件，把跟踪问题归结为一个约束误差优化问题。清华大学的崔锦实博士，提出一种基于回归－优化方法的关节式物体的姿态估计方法[16]。该方法把回归分析与全局优化搜索相结合，保证了估计的精度和连续性；针对现有滤波器在高维非线性多峰跟踪问题上的困难，将粒子滤波器与全局搜索算法的演化粒子滤波器方法相结合，提高了高维跟踪的精确度。其他高校与科

7、研单位也做出了不少优秀的工作与关键的贡献。3.关键技术首先区分手势识别中的两个重要概念：手形(handposture)与手势(handgesture)[17]。手形，是以手的一个特定姿势表示一个语义。而狭义的手势，则是以手在时间轴上的连续位置构成的轨迹代表一个语义。简单来说，我们可以理解手势为一段时间轴上连续的手形。有的研究者也使用广义的手势涵盖这两个概念，即静态手势和动态手势，在这种理解下，手形也是一种特殊的手势。对静态的手形进行识别，与对连续的手势进行跟踪，是手势识别中的关键问题。3.1手势交

8、互的分类对手势的交互语义进行分类和界定，是手势交互的重要问题，是深入手势交互研究的基础工作，界定工作涉及人机界面、行为学、认知心理学等多个领域。对于手势交互语义的分类，Pavlocvic.等人发表在1997年PAMI的文献[18]有着指导意义。他们从行为学角度出发，将手的动作分为两类：无意识动作与手势；进而从认知心理学的角度，对实际生活中包含交互语义的手势再进行细分。首先，将手势分为通信型手势与操作型手势。通信型手势如手语，是一种天生的交互工具，具有强大的信息表述功能，借用到人机交