基于稀疏编码算法的多视频摘要研究

《基于稀疏编码算法的多视频摘要研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、基于稀疏编码算法的多视频摘要研究Multi-VideoSummarizationBasedonSparseCoding学科专业：信息与通信工程研究生：马亚茹指导教师：冀中副教授天津大学电气自动化与信息工程学院二零一七年十一月摘要在线视频的爆炸性增长使得快速准确浏览和管理感兴趣的视频内容变得越来越急迫。视频摘要旨在通过将一个或多个视频转换为紧凑的摘要,是解决此问题的一种有效技术。不同于单视频摘要，多视频摘要具有内容多样性、重叠性且有较多的冗余和噪音信息，从这类复杂信息中找到具有代表性的重要视觉信息构成摘要是

2、一项充满挑战性的任务。传统的多视频摘要方法忽略了用户的搜索意图，产生的结果并不理想。为了使摘要结果更加符合用户的需求，本文对面向查询的多视频摘要技术进行深入的分析与研究。首先，提出一种基于稀疏编码的查询感知多视频摘要框架(Query-AwareSparseCodingforMulti-VideoSummarization,简称为QUASC)，可提供全面且简洁的待查询内容的相关信息，还可有效地提供在线视频的管理和浏览。具体地，本文设计了一种基于稀疏编码框架的多视频摘要的新型查询感知方法，将查询搜索到的网络图

3、像作为重要的用户偏好信息来揭示查询意图。为了提供用户友好的摘要，本文通过使用无监督的多图融合方法来实现与查询相关的特定事件组的检测，提供了一种事件关键帧呈现方式。其次，提出一种基于稀疏自编码器的多视频摘要方法(Multi-VideoSummarizationwithImportance-AwareSparseAuto-Encoder,MVS-IASAE)。其将基于查询的网络图像信息作为重要性约束添加到稀疏自编码器中用于指导重要视频内容的获取，提出了一种重要性感知的稀疏自编码器的多视频摘要框架，同时考虑了生

4、成摘要的重要性、代表性和稀疏性。此外，还提出了一种自下而上排序算法呈现多视频摘要，提高摘要的可读性。最后，构建了一个名为MVS1K的大规模多视频摘要数据集，其包含十个查询事件下的约一千个视频及其视频标签、人工标注和关联网络图像。本文提出的QUASC和MVS-IASAE算法在MVS1K数据集进行了实验验证，通过与先进的多视频摘要方法进行比较，验证了所提摘要方法的有效性和先进性。关键词：多视频摘要，查询感知，稀疏编码，稀疏自编器IABSTRACTTheexplosivegrowthofonlinevideoh

5、asmadeitincreasinglyurgenttobrowseandmanageinterestingvideocontentquicklyandaccurately.Videosummarizationisaneffectivetechniquetosolvethisproblembyconvertingoneormorevideostoacompactsummarization.Differentfromsinglevideosummarization,multiplevideosarequit

6、enoisy,redundant,andevenirrelevant,whichmakesitachallengingtasktofindimportantrepresentativevisualcontentfromthiscomplexvideoinformation.Thetraditionalmulti-videosummarizationmethoddoesnotproducesatisfactoryresultsbecauseitignorestheuser'ssearchintent.Tot

7、hisend,wefirstproposeanovelQuery-AwareSparseCodingmethodforMulti-VideoSummarization(QUASC),whichprovidescomprehensiveandconciseinformationaboutthequeryvideos.Specifically,itdesignsanovelquery-awareapproachbyformulatingthemulti-videosummarizationinasparsec

8、odingframework,wherethewebimagessearchedbythequeryaretakenastheimportantpreferenceinformationtorevealthequeryintent.Inordertoprovideauser-friendlyabstract,wepresentaneventkeyframestructurebyusingunsupervisedmulti-gr