基于内容的多媒体检索技术综述

《基于内容的多媒体检索技术综述》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、卢爱芹1,21.河北大学，河北保定0710022.河北软件职业技术学院，河北保定071000要本文通过分析基于内容的多媒体信息检索技术的特点，阐述了基于内容的多媒体信息检索的图像检索技术、视摘频检索技术以及其发展趋势。关键词多媒体信息检索技术；图像检索；视频检索中图分类号TP37文献标识码A文章编号1674-6708（2010）19-0077-021关于基于内容的多媒体信息检索技术所谓基于内容的信息检索，是对文本、图像、音频、视频等媒体对象进行内容语义的分析和特征的提取，并基于这些特征进行相似性匹配的信息检索技术。它与传统数据库基于关键词的检索方式相比，具有如下特点：1）突破了关键词检索

2、基于文本特征的局限，直接从媒体内容中提取特征线索，使检索更加接近媒体对象。2）提取特征的方法多种多样。3）人机交互式检索。通过人机交互的方式来捕捉和建立多媒体信息低层特征和高层语义之间的关联，即所谓相关反馈技术。其目的是在检索过程中根据用户的查询要求返回一组检索结果，用户可以对检索结果进行评价和标记，然后反馈给系统，系统根据这些反馈信息进行学习，再返回新的查询结果，从而使检索结果更接近用户的要求。4）相似性匹配检索。基于内容的检索是按照一定的匹配算法将需求特征与特征库中的特征元数据进行相似性匹配，满足一定相似性的一组初始结果按照相似度大小排列，提供给用户。这与关键词的精确匹配算法有明显不

3、同。5）逐步求精的检索过程。用户通过浏览初始结果，可以从中挑选相似结果，或者选择其中一个结果作为示例，进行特征的调整，并重新进行相似性匹配，经过多次循环后不断缩小查询范围，做到逐步求精，最终得到较为理想的查询结果。2基于内容的图像检索基于内容的图像检索技术是通过分析图像的内容，提取其颜色、形状、纹理等可视特征，建立特征索引，存储于特征库中；在检索时，用户只需把自己对图像的模糊印象描述出来，就可以通过多次的近似匹配，在大容量图像库中查询到所需图像。2.1基于颜色特征的检索基于颜色特征的检索算法中通常用颜色直方图来表示图像的颜色特征。直方图能较好地反映图像中各颜色的频率分布，横轴表示颜色等级

4、，纵轴表示在一个颜色等级上，具有该颜色的像素在整幅图像中所占的比例。直方图可以对整幅图像进行最大匹配度检索；2.2基于纹理特征的检索纹理是基于内容图像检索的一条主要线索，它包含了关于图像表面的结构安排和周围环境的关系。在基于图像纹理特征的实际检索中，一般采用示例查询方式。用户给出一个所需图像的示例，系统会按照示例搜索与之相似的图像，用户在这些相似图像集合中确定检索目标。2.3基于形状特征的检索形状是描述图像内容的本质特征，在实际检索中，形状特征的表达和匹配经常采用最为简便的方法，即用形状参数，如矩、图像，进行边缘提取，得到目标的轮廓线，针对轮廓线进行形状特征检索。2.4基于知识的图像检索

5、基于知识的图像检索也是基于内容检索的重要方法之一。图像本身是一定数量的颜色像素点的集合，人类能够识别出像素点集合的含义是人类以自身的知识赋予图像意义的过程。基于知识的图像检索系统为用户提供知识库，针对一个图像需求，搜索引擎依次调入每一幅图像的内容描述，结合知识库中的相关知识，以图像需求为目标进行推理，如果需求目标得到满足，则确定这幅图像符合检索要求。3基于内容的视频检索基于内容的视频信息检索是当前多媒体数据库发展的一个重要研究领域，它通过对非结构化的视频数据进行结构化分析和处理，这里，视频分割、代表帧和动态特征提取是基于内容的视频检索的关键技术。3.1基于代表帧的检索代表帧是用于描述一个

6、镜头的关键图像，它反映镜头的主要内容。代表帧的选取方法很多，比较经典的是帧平均法和直方图平均法，其特征的提取与一般静态图像一样，包括颜色特征、纹理特征和轮廓特征等。3.2基于动态特征的检索基于动态特征来搜索镜头是视频检索的进一步要求。检索时可以利用运动方向和幅度特征来检索运动的主体目标，还可以将动态特征与代表帧特征结合起来，检索出动态特征相似但静态特征不同的镜头。3.3视频浏览视频浏览是视频数据库的重要组成部分，当用户对所要检索的目标不十分明确时，往往需要对视频数据进行快速浏览以便寻找感兴趣的内容，目的是排除次要内容，以较少的图像尽可能全面地表达出所需视频数据的主要内容特征。4基于内容的

7、多媒体检索技术的发展趋势随着多媒体内容的增多和存储技术的提高，目前的技术开发还远远不够，有待于进行更深层次的研究和探索。基于内容的多媒体检索技术的发展趋势主要集中在以下几方面：1）综合的多特征检索技术多媒体具有各种视觉和听觉特征以及其他时间和空间关系，对于同一种特征，也有不同的表示方法，而如何有机地组织多种特征，并按照用户的查询要求合并各种特征的检索结果，将是一个值得研究的问题。2）高层概念和低层特征的关联人们在日常生活中习惯使用的