基于语义概念的多模态视频场景分割算法-论文.pdf

《基于语义概念的多模态视频场景分割算法-论文.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、小型微型计算机系统2014年9月第9期JournalofChineseComputerSystemsVo1．35No．92014基于语义概念的多模态视频场景分割算法金凯，丰洪才，杨亭(武汉轻工大学数学与计算机学院，武汉430023)E-mail：jin—kai@foxmail．tom摘要：为了更好地挖掘视频数据和分析视频内容，该文提出一种基于语义概念的多模态视频场景分割算法，充分考虑视频中多模态之间的时序关联共生特性，通过相似度融合算法计算得到视频镜头间的相似度关系，将降维处理得到的低维语义空间坐标作为支持向量机的输入，构造出若干不同

2、语义概念训练分类器，预测出每个关键帧的语义概念矢量，利用语义重叠镜头链方法对镜头进行聚类得到视频场景．实验结果表明，该方法能有效地检测视频语义概念和分割视频场景，MAP值、M值分别达到50％和83．4％．关键词：多模态；时序关联共生特性；相似度融合；支持向量机；语义概念；场景分割中图分类号：TP391文献标识码：A文章编号：1000—1220(2014)09-2156-06Multi-modalityVideoSceneSegmentationAlgorithmwithSemanticConceptJINKai，FENGHong·ca

3、i，YANGTinglSchoolofMathematic＆ComputerScience，WuhanPolytechnicUniversity．Wuhan430023。China)Abstract：Tobettervideodataminingandanalysisofvideocontent。amulti-modalityvideoscenesegmentationalgorithmwimseman-ticconceptisproposedbasedonSimFusionIlocalitypreservingprojections

4、(U，P)，supportvectormachine(SVM)。andsemanticO—verlappedshotlinkedalgorithminthispaper．TakefullaccountoftemporalassociatedCO—occurringofmultimodalmediadatainvide—O，andusingmulti·modalitysubspacecorrelationpropagation，thevideoshotsimilarityiscalculated。thensemanticspacecoo

5、rdinatesobtainedbyreducingthedimensionalityisastheinputintotheSVMSOastoconstructanumberofdifferentsemanticconcepttrainingclassifierandpredictthesemanticconceptvectorsofvideokeyflames。bymeansofsemanticoverlappedshotlinkedalgorithmforvideosceneattheendofthispaper．Theautho

6、rsexperimentsshowthatthevideoscenecanbeeffectivelyseparatedbythemethodproposedinthepaper，andtheMAPvalues。Mvaluesreached50％-83．4％respectively．Keywords：multi—modality；temporalassociatedCO—occurrence(TAC)；SimFusion；supportvectormachine(SVM)；semanticcon-cept；scenesegmentati

7、on1引言带来的非线性和高维数问题．模型法是近几年发展起来的场景分割方法，一般采用统计模型对场景进行建模，最典型的是视频场景是视频结构中最小的语义单位，由一个或者多Zhai等提出的基于马尔科夫链蒙特卡洛算法，采用蒙特卡个连续的语义相关镜头组成，视频场景分割是有效进行视频洛随机采样来模拟场景的生成过程，并引入三种更新方式数据挖掘和视频内容分析的关键技术，已成为视频检索等领(扩散、合并及分解)确定场景边界．这种方法有着良好的数域最具挑战性的研究内容之一．学形式，然而对确定场景个数的先验模型参数比较敏感．结合国内外研究者针对视频场景分割提出

8、了许多不同的处理机器学习法进行视频场景分割，不需要样本分布的先验知识，方法，总体来讲可分为三大类，即合并法、分解法和模型法．合能有效解决非线性、高维数、参数敏感等问题．如Caol4提出并法将视频场景分割看成自底向上不断合