多模态人机交互综述(译文)

《多模态人机交互综述(译文)》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、专业资料AlejandroJaimes,NicuSebe,Multimodalhuman–computerinteraction:Asurvey,ComputerVisionandImageUnderstanding,2007.多模态人机交互综述摘要：本文总结了多模态人机交互(MMHCI,Multi-ModalHuman-ComputerInteraction)的主要方法，从计算机视觉角度给出了领域的全貌。我们尤其将重点放在身体、手势、视线和情感交互(人脸表情识别和语音中的情感)方面，讨论了用户和任务建模及多模态融合(multimodalfusion)，并指出了多模态人机交

2、互研究的挑战、热点课题和兴起的应用(highlightingchallenges,openissues,andemergingapplications)。1.引言多模态人机交互(MMHCI)位于包括计算机视觉、心理学、人工智能等多个研究领域的交叉点，我们研究MMHCI是要使得计算机技术对人类更具可用性(Usable)，这总是需要至少理解三个方面：与计算机交互的用户、系统(计算机技术及其可用性)和用户与系统间的交互。考虑这些方面，可以明显看出MMHCI是一个多学科课题，因为交互系统设计者应该具有一系列相关知识：心理学和认知科学来理解用户的感知、认知及问题求解能力(percep

3、tual,cognitive,andproblemsolvingskills)；社会学来理解更宽广的交互上下文；工效学(ergonomics)来理解用户的物理能力；图形设计来生成有效的界面展现；计算机科学和工程来建立必需的技术；等等。MMHCI的多学科特性促使我们对此进行总结。我们不是将重点只放在MMHCI的计算机视觉技术方面，而是给出了这个领域的全貌，从计算机视觉角度I讨论了MMHCI中的主要方法和课题。1.1.动机在人与人通信中本质上要解释语音和视觉信号的混合。很多领域的研究者认识到了这点，并在单一模态技术unimodaltechniques(语音和音频处理及计算机视觉

4、等)和硬件技术hardwaretechnologies(廉价的摄像机和其它类型传感器)的研究方面取得了进步，这使得MMHCI方面的研究已经有了重要进展。与传统HCI应用(单个用户面对计算机并利用鼠标或键盘与之交互)不同，在新的应用(如：智能家居[105]、远程协作、艺术等)中，交互并非总是显式指令(explicitcommands)，且经常包含多个用户。部分原因式在过去的几年中计算机处理器速度、记忆和存储能力得到了显著进步，并与很多使普适计算ubiquitouscomputing[185,67,66]成为现实的新颖输入和输出设备的有效性相匹配，设备包括电话(phones)、

5、嵌入式系统(embeddedsystems)、个人数字助理(PDA)、笔记本电脑(laptops)、屏幕墙(wallsizedisplays)，等等，大量计算具有不同计算能量和输入输出能力的设备可用意味着计算的未来将包含交互的新途径，一些方法包括手势(gestures)[136]、语音(speech)[143]、触觉(haptics)[9]、眨眼(eyeblinks)[58]和其它方法，例如：手套设备(Glovemounteddevices)[19]和and可抓握用户界面(graspableuserinterfaces)[48]及有形用户界面(TangibleUserint

6、erface)现在似乎趋向成熟(ripeforexploration)，具有触觉反馈、视线跟踪和眨眼检测[69]的点设备(Pointingdevices)现也已出现。然而，恰如在人与人通讯中一样，当以组合方式使用不同输入设备时，情感通讯(effectivecommunication)就会发生。学习分享专业资料多模态界面具有很多优点[34]：可以防止错误、为界面带来鲁棒性、帮助用户更简单地纠正错误或复原、为通信带来更宽的带宽、对不同的状况和环境增加可选的通信方法。在很多系统中，采用多模态接口消除易出错模态(errorpronemodalities)的模糊性是多模态应用的重要动

7、机之一，如Oviatt[123]所述，易出错技术可以相互补充，而不是给接口带来冗余和减少纠错的需要。然而，必须指出的是：多模态单独(multiplemodalitiesalone)并不为界面带来好处，多模态的使用可能是无效的(ineffective)，甚至是无益的(disadvantageous)，据此，Oviatt[124]已经提出了多模态接口的共同错误概念(commonmisconceptionsormyths)，其中大多数与采用语音作为输入模态相关。本文中，我们调研了我们认为是MMHCI本质的研究领域，概括了