基于视频聚类的关键帧提取算法

《基于视频聚类的关键帧提取算法》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、基于视频聚类的关键帧提取算法　　摘要：关键帧可以有效减少视频索引的数据量，是分析和检索视频的关键。在提取关键帧过程中，为了解决传统聚类算法对初始参数敏感的问题，提出了一种改进的基于视频聚类的关键帧提取算法。首先，提取视频帧的特征，依据帧间相似度，对视频帧进行层次聚类，并得到初始聚类结果；接着使用K-means算法对初始聚类结果进行优化，最后提取聚类的中心作为视频的关键帧。实验结果表明该方法可以大幅提高关键帧的准确率和查全率，能较好地表达视频的主要内容。关键词：关键帧；特征提取；层次聚类；K-means算法中图分类

2、号：TP391.4文献标识码：A文章编号：2095-1302（2014）08-0059-030引言9随着互联网和多媒体技术的飞速发展，形象生动的数字视频已经逐渐取代单调的文本信息，成为了人们网络生活中传播信息的重要方式之一。面对互联网上大量的视频，能否在较短的时间内找到需要的视频片段，已经成为了人们越来越关注的问题。在视频帧序列中，包含视频重要内容的帧可以简单有效地概括视频的主要内容，称为视频的关键帧。关键帧的提取技术在基于内容的视频检索中有着举足轻重的地位。在实际应用中，关键帧的提取技术可以分为以下4大类：（1

3、）基于运动分析的关键帧提取技术。运动分析一般是基于流光运算的，通过分析和计算光流得出视频序列的运动量。然后比较运动量的值，并选取局部最小值处的帧为关键帧。这种方法提取关键帧的最大优点是：针对不同结构的镜头，可以根据实际情况提取数量合适的关键帧。但这种方法计算复杂，时间开销大，而且由局部最小值得到的关键帧不一定能准确描述视频内容。（2）基于镜头边界的关键帧提取技术[2-3]。这种方法首先将视频分割成若干个镜头，然后在每个镜头内部分别提取第一帧、中间帧和最后一帧作为关键帧。这种方法容易设计，计算简单，适合视频内容简单

4、或场景固定的情况，但当镜头变换频繁且变换方式多样时，有可能导致提取的关键帧不能准确地描述视频的内容。（3）基于视觉内容的关键帧[4-6]提取技术。该方法根据每一帧图像的形状、纹理、颜色等视频信息的改变来提取关键帧。这种方法可以根据视频内容变化的显著程度灵活的确定要选取的关键帧的数目，但缺点是：当镜头变化频繁时容易导致选取的关键帧过多，造成信息冗余。9（4）基于聚类分析的关键帧[7-9]提取技术。该方法充分考虑了镜头内以及镜头间的相关性，依据帧图像间相似度的大小，将视频帧序列进行聚类，然后依次从每类中选取一帧作为关

5、键帧。大多数情况下，基于聚类分析提取关键帧能准确的描述视频主要的内容。但该方法最大的不足之处在于：需要在聚类前提前设定好聚类的数目和聚类中心。在视频内容不确定的的情况下，提前设定聚类的数目和中心是十分困难的，且运算时间较长，这一缺陷极大的制约了这类方法的进一步发展。层次聚类算法无需提前设定聚类中心和聚类数目，但该算法收敛速度相对较慢。K-means算法设计简单、容易实现，且收敛速度较快，但其对初始聚类中心较敏感，容易陷入局部最优解[10]。针对这两种算法在提取关键帧过程中出现的不足，本文提出一种改进的基于视频聚类

6、的关键帧提取算法。该算法过程为：首先，依次提取帧图像的信息熵，并使用欧式距离公式计算帧间相似度；然后，运用层次聚类算法对所有帧进行聚类，得到初始聚类结果；运用K-means算法优化并完成最终聚类；最后，将距离聚类中心最近的帧作为关键帧输出。1基于视频聚类的关键帧提取过程1.1特征提取1.2计算帧间相似度我们用欧式距离表示帧间的相似度。欧式距离越小，帧间相似度就越高。帧间的欧式距离定义为：9其中，N为视频中帧的数量，Fa和Fb分别表示图像a和图像b的特征向量，d（Fa，Fb）为帧间的相似度。1.3利用层次聚类得到初

7、始聚类结果本文使用凝聚型的层次聚类算法对视频序列进行初始聚类，其主要思想是：先将每个待聚类的样本做为一类，然后依据帧间相似度的大小，合并相似的类使之成为一类，直到满足终止条件。假设视频序列有N个待聚类的样本，基本步骤为：（1）确定终止条件。设要提取的关键帧的数量为K。计算特征向量的均值M和方差V：其中，D={di

8、i=1，2，3，…，N}表示距离向量。本文中，K的值与帧间距离d（Fa，Fb）>M+2*的帧的数量相等。（2）初始化：首先，将每个样本单独归为一类，依次计算每两类之间的相似度；（3）寻找距离最近的两个类

9、，并把他们归为一类；（4）重新计算新生成的这个类与各个旧类之间的相似度；（5）重复3和4，直到聚类数目为K，结束。1.4利用K-means聚类算法优化聚类结果9本文将层次聚类产生的结果作为K-means算法的输入，将层次聚类产生的每一类的中心，作为K-means算法的初始聚类中心，这样可以避免随机产生初始聚类中心对K-means算法的聚类结果产生的影响。由于层次聚类后，样