多通道用户界面研究

《多通道用户界面研究》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、多通道用户界面研究普建涛汪国平董士海（北京大学计算机系图形研究室北京100871）摘要用户界面的研究旨在为用户提供一种高效的人机通讯方式。近年来随着计算机软、硬件的迅猛发展以及因特网的异军突起，传统的图形用户界面面临着新的挑战。多通道人机界面和智能网络界面的提出，更启发人们去寻求新一代用户界面范式来解决人机交互过程中的特殊问题。本文总结性地论述了多通道用户界面研究中所涉及到的关键性问题，介绍了相应的一些主要解决方法，指出了其中的不足，提出了自己的一些看法和构想，结合当前计算机新技术对下一代界面进行了讨论和展望。关键词多通道用户界面，人机交互，整合1引

2、言随着计算机在国民经济各个领域应用深度和广度的全面推进，它与我们日常生活的关系也越来越紧密，从而使研究更有效的人机交互方式成为必要。人机界面从命令行界面发展到当前的图形和多媒体用户界面的直接结果就是计算机拥有了更多的用户，用户需要记忆和训练的时间、强度都大幅度降低了，计算机呈现视觉、听觉信息的能力大大加强，提高了用户对信息表现形式的选择和控制能力以及接受信息的效率。与此同时，随着计算机表现形式的多样化和用户与计算机交互方式的多样化，传统的交互手段如键盘、鼠标的用途在缩减，用户界面不一定要和屏幕联系在一起，计算机已经变得“无所不在”了，这给计算机研究者

3、带来了新的课题，传统的人机界面形式面临着挑战。为了适应这种变化，就出现了多通道人机界面技术，它基于视线跟踪、语音识别、手势输入、感觉反馈等新的交互技术，允许用户利用本身的内在感觉和认知技能，使用多个交互通道，以并行、非精确方式与计算机系统进行交互，旨在提高人机交互的自然性和高效性。它代表了人机交互的一种新范式，与传统的图形用户界面相比较，能将互补的通道进行整合来获取增强的混合，通道之间可以相互补充，克服彼此的缺陷，或者是针对不同的应用采取不同的交互方式，具有更强大的表达能力、自然性、灵活性和便携性，人机交互方式向人与[1]人交互方式靠拢。本文首先论述

4、了多通道用户界面研究中所涉及到的主要研究内容和相应的解决方法，提出了自己的一些看法和构想，结合当前计算机技术发展的趋势对未来用户界面进行了讨论和展望。2多通道用户界面的主要研究内容多通道用户界面要允许用户使用多个交互通道以并行、非精确方式与计算机系统进行交互，但是，由于所有这些交互设备并没有被设计成以协作的方式进行工作，那么，如何使各种不同的设备以一种统一的方式服务于应用程序，以及如何使各种不同的设备一起工作，而且什么时候使用何种设备，最后还要从这些通道的输入信息流中获取用户要传达的交互意图，以计算机能够理解的形式交付计算机执行等诸多问题。这些问题也

5、就成为多通道用户界面研究的主要内容，下面将对这些内容进行具体论述。2．1认知心理学人与人之间最自然、最高效的交流是多个通道的配合使用，如语言、手势、眼神、身体姿势等信息。人可以有效地整合来自不同通道的信息，形成一致的语义信息。目前，认知心0理学已经对单个通道信息的传递和加工有了较为深入的理解，而且拥有大量关于语音识别、字词识别、手势识别以及触觉、动觉传递的信息等方面的研究。但对来自不同通道的信息是如何加工的、来自多个通道的信息是如何整合成一个一致的语义信息、多通道和背景信息的融合机理等问题还很少涉及。要让计算机很好的整合来自不同通道的信息，有赖于对人

6、的来自不同通道信息整合机理的认识。为了全面了解人的认知能力，需要对人类知识获取的过程、对大脑中存储知识的结构、对运用这些知识的操作、对支持这些结构和过程的计算环境以及对形成这些结构和过程的生理基础进行全面、深入的研究。因此，随着认知心理学对人的信息加工的局限性的了解，必然会从“人适应机器”过渡到“机器适应人”。2．2界面模型及描述方法用户界面模型和描述方法主要是帮助用户清晰准确地分析和表达界面功能及其变化，描述出用户与系统的交互过程，从而可方便地映射到设计实现。多通道用户界面基于多种交互通道，以用户使用的自然性和效率为宗旨，这些特点给多通道用户界面的

7、模型和描述方法提出了许多新的课题。传统的界面描述方法如状态转换图及其扩充方法、基于事件的描述、基于上下文无关文法、基于Petri网等描述方法在描述多通道界面方面都存在一定的困难。因此，针对多通道用户界面，出现了相应的一些用户界面模型和描述方法。如王坚教授提出了一种基于自然交[2]互方式的多通道用户界面模型VisualMan，主要是针对虚拟现实、科学计算可视化以及多媒体技术的发展，在分析传统用户界面概念模型的基础上提出来的，它与单通道用户界面相兼容，通过整合来自不同通道的自然方式输入来完成界面的操作。基于事件-目标的多通道用户结构模型（E-O模型）在兼

8、顾对话独立性原则和语义反馈要求的基础上，将人机交互活动归结为事件与目标的相互作用，其中目标是核心，即交互活动