视频低层特征与中层语义表示研究

《视频低层特征与中层语义表示研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号TP391学校代码10590UDC004密级公开深圳大学硕士学位论文视频低层特征与中层语义表示研究学位申请人姓名江传华专业名称软件工程学院（系、所）计算机与软件学院指导教师朱映映副教授深圳大学学位论文原创性声明和使用授权说明原创性声明本人郑重声明：所呈交的学位论文视频低层特征与中层语义表示研究是本人在导师的指导下，独立进行研究工作所取得的成果。除文中已经注明引用的内容外，本论文不含任何其他个人或集体已经发表或撰写的作品或成果。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本声明的法律后

2、果由本人承担。论文作者签名：日期：年月日摘要随着高速发展的互联网技术与大量普及的智能终端、摄像机等设备，互联网上的视频数据呈爆炸性地增长。对视频数据的处理，例如分类、检索与管理等都随之成为研究热点，因此视频的内容分析技术成为一个先决条件。对视频内容分析的研究，目前存在着如下的几个问题：1）视频低层特征中存在大量冗余信息。如何有效的压缩冗余信息并且保留低层特征的基本鲁棒性和可区分性；2）语义鸿沟问题。低层特征不具备视频的情感、场景和行为等高层语义，如何打破这其中存在的语义鸿沟；3）视频内容分类建模问题。对提取得

3、到庞大的视频信息数据，如何有效的进行分类建模以更好地适用于视频的分类、检索等应用。为了解决上述问题，本文主要围绕着视频低层特征和中层语义表示、以及在视频中层语义表示的分类建模上进行了研究，本文的主要研究工作如下：（1）在研究视频低层特征方面，由于目前视频关键帧提取算法对海量视频数据通用性不强，本文采取了均匀采样提取视频代表帧，在每一幅代表帧中提取较低维度SIFT（ShortSIFT，简称S-SIFT）特征，并融合局部密度聚类方法，对冗余特征进行聚类压缩得到特征块（PatchofS-SIFT，简称PSIFT），

4、在视频空间域上压缩冗余信息。由于相邻视频帧之间存在大量的相似信息，本文在时间域上对代表帧中的PSIFT特征块采用目标跟踪的方法进行逐帧跟踪，对相似特征块进行累积取均值再次在时间域上压缩冗余信息。通过实验验证本文提出的基于视频时空属性压缩的低层特征（TemporalcompressionofPSIFT，简称TCPSIFT）能有效的压缩视频的冗余信息并且保持了基本的鲁棒性和可区分性。（2）在研究视频中层语义表示方面，分析了图像中层部件提取算法存在的问题，并在此基础上，结合图像上下文感知显著性检测，在视频代表帧提取

5、中层部件的初始数据选取上，计算每个中层部件在整体图像中的显著度权重，选取权重较高的中层部件作为交叉迭代的初始部件，最终得到更具语义信息的中层部件。（3）借鉴文本分类模型思想，在视频中层语义表示的基础上构建视频场景分类模I型，并且在建模中采用了局部密度聚类方法，克服了传统文本分类模型使用K-means方法带来的初始聚类中心不确定性和不断迭代直至收敛的不足。关键字:低层特征；特征提取；中层语义表示；场景分类IIAbstractWiththerapiddevelopmentofInternettechnology,

6、andthegrowingpopularityofmobileintelligentmachines,camerasandotherequipment,theamountofvideodataontheInternetwasexplosivelygrowth.Videoclassification,retrievalandmanagementhavebecomeahotspot,wherevideocontentanalysistechnologyisaprerequisiteprocessoftheseap

7、plications.Currently,thereareseveralproblemsofstate-of-the-artvideocontentanalysismethodsasfollows.Firstly,therearealotsofredundantinformationoflow-levelfeaturesextractedfromvideo,wherecurrentapproachesdonoteffectivelycompresstheredundancyinformationandreta

8、inthebasiccharacteristics(robustnessanddistinguished)offeatures.Secondly,thereisasemanticgapbetweenlow-levelfeaturesandhigh-levelsemantic,videowhichconsistsofemotional,behavioralandvideoscenesinformati