多模态图像检索技术

《多模态图像检索技术》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、中国科学技术大学博士学位论文懋_多模态图像检索技术作者姓名学科专业导师姓名完成时间王洋信号与信息处理李厚强教授二。一三年五月UniversityofScienceandTechnologyofChinaAdissertationfordoctor’Sdegree囤幽Multi-ModalImageRetrievalAuthor’sN3Jnespeciality：Supervisor：Finishedtime：YangWangSignalandInformationProcessingProf．HouqiangLiMay,2013中国科学技术大学学位论文原创性声明本人声明所呈交的学位论文，

2、是本人在导师指导下进行研究工作所取得的成果。除己特别加以标注和致谢的地方外，论文中不包含任何他人已经发表或撰写过的研究成果。与我一同工作的同志对本研究所做的贡献均己在论文中作了明确的说明。作者签名：签字日期：幻I3．F．30中国科学技术大学学位论文授权使用声明作为申请学位的条件之一，学位论文著作权拥有者授权中国科学技术大学拥有学位论文的部分使用权，即：学校有权按有关规定向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅，可以将学位论文编入《中国学位论文全文数据库》等有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。本人提交的电子文档的内容和纸质论文

3、的内容相一致。保密的学位论文在解密后也遵守此规定。叮公开口保密(——年)作者签名：签字日期：王．：阜加哆S．30导师签名：签字日期：唾彦叛≯R殳；Q摘要随着互联网和移动网络的发展，人们可以随时随地接入互联网获取信息。而搜索是人们通过互联网获取信息的主要途径之一。传统的搜索方法使用文本的方式进行检索，通常得到的也是文本信息。而互联网上如图片、视频、声音等多媒体信息爆炸式地增长，远远超过了文字信息。为了达到检索多媒体内容的目的，传统的基于文字的信息检索只能通过检索多媒体内相关文本的方式，把相关文本对应的多媒体内容返回给用户，其并不能根据多媒体的内容来进行检索。而最近在基于内容检索技术上的突破

4、打破了这一局面。针对互联网上存在的大量重复的图片，人们通过一些图片特征进行匹配或索引，实现了以图搜图的目的。然而，这种方式仅限于搜索与查询图片相似的图片，而用户的检索意图往往是复杂多样的，单一的使用文本或图片检索无法满足用户复杂的检索意图。另一方面，手机、平板电脑等移动终端渐渐成为了人们接入互联网的主要途径。而这些移动设备本身提供了诸如语音、拍照、手势等大量交互方式。这些交互方式为我们丰富用户检索意图的表达提供了方便。目前手机上的检索仍然采用传统台式电脑的文本检索和网页方式，没有充分利用移动设备的优势。本文充分发掘移动设备的交互优势，结合文本与图片，创造性地提出了一种利用语音／文字输入，

5、结合视觉信息筛选的图像检索方式。本论文的研究内容主要集中在基于内容的图像检索方法，分别在检索的查询条件构建，特征的构建、组织，以及视频序列的索引结构上。本论文的主要工作和创新之处归纳为以下几点：(1)论文提出一种在移动终端上利用多模态输入方便构建查询条件的方式以及整个系统的实现方法。首先用户用语音输入来描述想要搜索的目标，系统利用视觉和文本对应关系，根据用户描述中所包含的的关键词，采用聚类算法为用户推荐一些图片素材，用户选择一系列符合用户意图的素材，并且通过调整素材的大小和位置构造出一幅拼图。系统根据用户的文字输入得到候选图片，再根据拼图的元素及元素间位置关系，对图片进行过滤，返回给用户

6、既满足文本查询条件，也满足视觉查询条件的图片结果。论文提出了有效的算法，根据视觉特征和位置关系对图片进行过滤。提出的算法最终使得整个系统成为可能。(2)论文提出了利用拼图中的多样例图片以及相对位置关系对海量图片进行索引和检索的算法。对于大规模海量图片，构造一个有空间位置关系的拼图进行检索，需要考虑组成拼图的各个视觉元素的存在性和相对位置关系。本文打破了以往只能根据绝对位置进行匹配、校验的方式，采用自然分割获取视觉单词，利用视觉单词确定每个目标的存在性以及位置，最后对每对目标的相对位置进行摘要校验，判断位置关系是否符合要求。通过对比试验，本文证明了相对位置校验相比绝对位置方法的优越性。此外

7、，本文还第一次提出将多样例图片搜索方法引入相似图片检索，将查询图片先粗分割成若干简单元素变成多样例图片，通过查找简单元素并进行相对位置校验，找到与之相似的图片。(3)论文还提出了对视频序列的高效视觉索引方法。为了把视觉索引方法引入视频，论文提出了一种利用局部特征匹配进行视频的划分方法，把视频分割成几段可以用共享特征描述的场景。不同于传统的使用关键帧来索引视频，文章提出了对于每个场景提取一个虚拟帧来描述其内容的方法。虚拟帧包含了少量场