基于内容的视频检索技术

《基于内容的视频检索技术》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、基于内容的视频检索技术蔡晓东[摘要]随之信息技术不断的发展，视频信息越来越广泛的应用，本文介绍了实现基于内容的视频检索技术的一般过程、结构的构造视频检索的工作原理、关键帧提取技术、从视频流中构造场景或组的技术特征提取技术以及视频检索浏览等。[关键字]视频结构图像检测关键技术随着信息技术的快速发展和普及，视频形式的多媒体数据在不断的增加，因此如何在海量的视频信息中检索出想要的内容成为了一个要急需解决的问题。因而，近几年来在国内外基于内容的视频检索技术成为了研究的重点。1、基于内容的视频检索技术基于内容的视频检索（CBVR）是根据视频

2、的内容和上下文关系,对大规模视频数据库中的视频数据进行检索。它提供一种算法在没有人工参与的情况下，自动提取并描述视频的特征和内容。目前基于内容的视频检索研究，除了识别和描述图像的颜色、纹理形状和空间关系外，主要的研究集中在视频分割，特征提取和描述（包括，视觉特征、颜色纹理和形状及运动信息和对象信息等）关键帧提取和结构分析等方面。2、视频结构的分析为了对视频数据库进行基于内容的查询，首要要构造便于检索的视频结构，视频数据可以按照由粗到细的顺序划分为四个层次结构:视频(Video)、场景(Scene)、镜头(Shot)和图像帧(Fra

3、me)。一个视频序列可以是多个视频场景来构成，一个视频场景又是由多个镜头构成，而镜头是有帧构成。镜头是指摄像机从打开到关闭的过程中记录下来的一组连续图像帧。镜头边界是客观存在的，可以采用一定的方法自动检测镜头边界。在实际应用中，用户浏览一个镜头中所有图像帧是非常耗时的，因此常用关键帧技术实现快速浏览。关键帧是指代表镜头中最重要的、有代表性的一幅或多幅图像。依据镜头内容的复杂程度，可以从一个镜头中提取一个或多个关键帧或构造一个关键帧。为了在语义层建立视频结构模型，需要对视频进行场景划分。场景定义为语义上相关、时间上相邻的一组镜头，它

4、们能够表达视频的高层次概念或故事等。镜头是组成视频的基本物理单位，而场景（又称故事）则是视频在语义层的单位，通常只有场景才能向观看者传达相对完整的语义。镜头组是一组在时间上相邻并在内容上相似的一组镜头，它是界于镜头和场景之间的一组连续的物理实体，是联系镜头和场景的桥梁。节目则是由时间上有序的场景组成，例如新闻节目、娱乐节目、体育节目、天气预报等。视频结构化分析是指对视频流进行镜头分割、关键帧提取和场景分割等处理，从而得到视频的结构化信息。　　镜头分割的关键在于确定镜头的边界，其中渐变镜头边界的检测目前仍然是一个具有挑战性的课题。现

5、有镜头分割方法多以视频内容的不连续性为划分镜头的依据。研究者们通常选取视频的某种特征来度量视频内容的不连续性，如颜色特征、运动矢量特征、边缘特征等。　　由于同一个镜头中的各帧图像之间的内容有相当程度的冗余，因此可以选取反映镜头中主要信息内容的帧图像作为关键帧。镜头分割后，对每个镜头可提取若干关键帧，并用关键帧来简洁地表示镜头。　　场景分割通常也称为故事单元分割，其目标在于获取视频的最小语义结构单元——场景。一般而言，场景是由一组连续的、同属于一个故事单元的多个镜头组成。通过融合视频的文本、声音等信息对已分割出的镜头进行聚类，将内容

6、相近的连续镜头合并为一个单元组，从而得到场景信息，为进一步进行视频内容分析提供基础。3、基于内容的视频检索关键技术3．1、镜头分割是实现基于内容视频检索的第一步，它是通过对镜头切换点的检测找出连续出现的两个镜头之间的边界，把属于同一个镜头的帧聚集在一起的过程镜头切换主要有突变和渐变两种方式突变是指一个镜头与另一个镜头之间没有过渡，由一个镜头瞬间直接转换为另一个镜头的方法;渐变是指一个镜头到另一个镜头渐渐过渡的过程，主要包括:淡入淡出溶解和扫换等。突变镜头切换的相邻两帧之间差别很大，所以无论在像素域还是压缩域，检测突变的方法都比较成

7、熟，检测成功率也高而镜头渐变切换时相邻两个帧之间的差别不是很大，并且帧间结构上具有相关性，使得渐变检测有一定难度镜头边界检测典型方法包括模板匹配法直方图法基于边缘的方法和基于模型的方法等。此外，还有颜色柱状图法，域中的系数法，运动矢量法以及基于多维空间仿生信息学理论的方法等镜头边界检测作为视频检索的第一步具有重要意义，其结果将对整个视频检索结果产生直接的影响。3.2、关键帧提取一个镜头包含大量信息，在视频结构化的基础上，依据镜头内容的复杂程度选择一个或多个关键帧代表镜头的主要内容，因此关键帧(或关键帧序列)便成为对镜头内容进行表示

8、的手段关键帧的选取方法很多，比较经典的有帧平均法和直方图平均法。帧平均法:是从镜头中计算所有帧在某个位置上像素值的平均值，然后将镜头中该点位置的像素值最接近平均值的帧作为关键帧直方图平均法:是将镜头中所有帧的统计直方图取平均，然后选择与该平均直方图