资源描述：
《视频镜头检测及关键帧提取》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。
1、视频镜头检测及关键帧提取浙江大学计算机学院肖俊junx@cs.zju.edu.cnReference•Hong.JiangZhang,AtreyiKankanhalli,StephenW.Smoliar,AutomaticPartitioningofFull-motionVideo,MultimediaSystems,11(1):10-28,1993•YongRui,ThomasS.Huang,andSharadMehrotra,ConstructingTable-of-ContentforVideos,ACMMultimediaSystems
2、Journal,SpecialIssueMultimediaSystemsonVideoLibraries,7(5):359-3681999•YongRui,AnoopGupta,AlexAcero,AutomaticallyExtractingHighlightsforTVBaseballPrograms[A],In:ProceedingsofACMmultimedia,LosAngeles,2000:105-115•L.Xie,S.-F.Chang,A.Divakaran,etal,StructureAnalysisofSoccerVide
3、owithHiddenMarkovModels,In:ProceedingsofInternationalConferenceonAcoustic,SpeechandSignalProcessing,Orlando,2002:345-350图象与视频的区别•静止的图片称为图像（Image），由图像序列构成的数据称为视频（Video）•视频数据流既然是由图像帧构成，所以在视频分析和检索中，会首先对每个图像帧进行处理视频帧并非独立的•时间联系：连续视频帧中特征是渐变的；•空间联系：连续视频帧中某些子块保持不变，某些子块却变化；视频需要分割•图像分割
4、一般是将图像前景和背景切分开来；•视频分割是将视频中的连续图像帧在特征突变地方分割开来，当然，视频分割不是将视频数据流还原成图像帧。在视频流数据中，其最小的物理数据单元是“镜头”，所以视频分割的目的是将连续图像帧分割成长短不一的视频镜头，而不是将视频数据流解码成一个个图像帧。视频片段的构成视频特征•以前面介绍的图象特征为主，反映的是静态特性；•如果相邻视频帧特征相减，就是特征一阶差分，体现了视频动态变化；•也可以按照这个思路求取视频的任意阶差分f(t+1)−f(t)Δ==f(t+1)−f(t)(t+1)−(t)视频的动态变化可以如上表示电影或视
5、频制作的过程•存在镜头•后期制作中，这些镜头的标志消失了•视频结构化的一个任务就是要把这些分镜头的边界自动检测出来What’sShotDetection¢Problemdefinition–shotdetection:givenavideoVconsistingofnshots,findthebeginningandendofeachshot.¢Alsoknownasshotboundarydetectionortransitiondetection.¢Itisfundamentaltoanykindofvideoanalysisandvide
6、oapplicationsinceitenablessegmentationofavideointoitsbasiccomponents:theshots.视频结构化•帧(Frame)：帧是视频流中的基本组成单元–每一帧均可看成一个独立的图像–视频流数据就是由连续图像帧构成的–在PAL视频格式中，视频帧采样率为25帧/秒，NTSC制式中，视频采样率为30帧/秒。视频结构化•镜头(Shot)：摄像机拍下的不间断帧序列，是视频数据流进一步结构化的基础结构层。–如，在拍摄“飞机起飞”这组镜头时，画面的色彩和纹理等图像特征将保持不变。–镜头是对视频流进
7、行处理的最小物理单元，而视频帧是视频流的基本单元，它蕴涵了少许的语义内容。–由于在同一组镜头中，属于同一组镜头的图像帧之间的特征保持稳定，如果相邻图像帧之间的特征发生了明显变化，认为发生了镜头变化，需要对视频数据进行切分。视频结构化•关键帧(KeyFrame):关键帧是可以用来代表镜头内容的图像。–在切分出来镜头结构后，关键帧被用来代表各镜头的特征，进行进一步的结构化。–在一组视频镜头中，一般关键帧数目远远小于镜头所包含的图像帧数目，如对于3秒长、采样率为30帧/秒的一组视频镜头，其最简单的关键帧提取方法是把这个镜头的第一帧和最后一帧作为关键帧
8、，所以这个镜头就使用首尾两幅图像帧来进行表示，与其所包含的90个图像帧相比，使用关键帧去表示这个视频镜头显得十分简单和有效。视频结构化•场景(Scen
