交通监控视频中机动车辆检索的关键技术研究

ID:76192283

大小:20.09 MB

页数:92页

时间:2022-01-14

当前文档最多预览五页,下载文档查看全文

此文档下载收益归作者所有

温馨提示:
1. 部分包含数学公式或PPT动画的文件,查看预览时可能会显示错乱或异常,文件下载后无此问题,请放心下载。
2. 本文档由用户上传,版权归属用户,天天文库负责整理代发布。如果您对本文档版权有争议请及时联系客服。
3. 下载前请仔细阅读文档内容,确认文档内容符合您的需求后进行下载,若出现内容与标题不符可向本站投诉处理。
4. 下载文档时可能由于网络波动等原因无法下载或下载错误,付费完成后未能成功下载的用户请联系客服处理。
网站客服:3074922707
   技术       检索   

《交通监控视频中机动车辆检索的关键技术研究》由会员上传分享,免费在线阅读,更多相关内容在学术论文-天天文库

1、分类号密级莨嫂硕士学位论文交通监控视频中机动车辆检索的关键技术研究研究生姓名王正玉指导教师姓名、职称李勃教授学科专业计算机应用技术研究方向视频图像处理论文工作起止日期年月至年月论文提交日期年月n昆明理工大学学位论文原创性声明本人郑重声明:所呈交的学位论文,是本人在导师的指导下进行研究工作所取得的成果。除文中已经注明引用的内容外,本论文不含任何其他个人或集体已经发表或撰写过的研究成果。对本文的研究做出重要贡献的个人和集体,均已在论文中作了明确的说明并表示了谢意。本声明的法律结果由本人承担。学位论文作者签名:曰期:奔玄月;曰关于论文使用授权的说明本人完全了解昆明理工大学有关保留、使用学位论文的规定,即:学校有权保留、送交

2、论文的复印件,允许论文被查阅,学校可以公布论文的全部或部分内容,可以釆用影印或其他复制手段保存论文。保密论文在解密后应遵守)导师签名:论文作者签名日期:下奔月日n摘要摘要当前,随着我国经济的快速发展和城市规模的不断扩大,交通运输成为了经济发展的补给线而呈现日趋繁忙的景象,机动车辆的数目也正在急速增长。然而,伴随而来的是交通建设和人们交通法制意识相对滞后,交通事故的频频发生,也同时给交通监管部门提出了更高的要求。交通监控视频中机动车辆检索技术的广泛应用,不仅能够为城市的交通规划提供第一手的数据,也为交管部门和公安部门追查肇事违章车辆提供了极大的便利。本文详细的分析了基于内容的视频检索过程,研究了相关算法以及实现技术;根

3、据交通监控视频的特点,深入研究了综合车辆颜色、形状等特征的检索技术;从应用的角度出发,给出检索系统的架构设计;最后结合视频层次化的检索需求设计了一个面向交通领域的车辆检索系统。本文主要研究工作如下:本文首先介绍了基于内容的视频检索技术产生的背景和研究现状,基本概念及关键技术。研究了关键帧的提取技术,并针对交通监控视频的特点,采用了一种基于运动面积的关键帧提取方法,并结合虚拟检测线技术对该方法做了进一步改进。本文研究了相关的车辆预处理技术与算法,并通过实验的方式进行比较,给出了适合于交通监控视频中车辆图片特征的相关预处理算法,为后续车辆特征的提取提供支持。研究了车辆特征的提取技术,并针对交通监控视频中车辆图片的自身特点,

4、着重研究了车辆的颜色、形状及几何特征的提取方法。研究了多特征检索方法,并采用层次化检索的方式,即利用几何特征初检,综合颜色与边缘特征进行二次检索的方式对检索流程进行了优化。使得两层检索相互补充,既提高了效率,又保证了检索的精准率。结合以上研究方法,初步设计并实现了一个面向交通领域的车辆检索系统原型,在原型系统中提供了几种不同的检索方式,方便用户表达检索需求。关键词:视频检索,关键帧提取,预处理,特征提取,车辆检索系统n摘要,,,:,,n昆明理工大学硕士学位论文,n目录目录第一章绪论课题研究的背景与意义基于内容的视频检索技术检索系统的基本构成检索系统的结构分析国内外研究现状论文的主要研究内容论文的组织结构第二章关键

5、帧的提取动态目标的检测与跟踪动态目标检测动态目标足艮踪常用的几种关键帧提取方法关键帧的概述基于镜头的方法基于内容分析的方法基于运动的分析法基于聚类的关键帧提取方法结合虚拟检测线技术的基于运动对象面积的关键帧提取基于运动面积的关键巾贞提取方法虚拟检测线技术结合虚拟检测线技术的基于运动面积的关键帧提取实验结果本章小节第三章车辆预处理技术与算法n昆明理工大学硕士学位论文图像平滑线性滤波中值滤波图像灰度化图像均衡化图像分割图像的阈值选择本文所用方法图像边缘检测基于梯度的边缘检测边缘检测算子边缘检测算子几种边缘检测算法的比较图像归一化尺度归一化角度归一化本章小结第四章融合车辆多特征的层次检索检索中常用的特征颜色特征纹理特征形状

6、特征颜色模型混合颜色模型色调饱和度亮度型颜色空间非线性亮度色度型颜色空间车辆特征提取与识别提取颜色特征提取几何特征提取边缘特征多特征归一化n目录内部特征归一化外部归一化图像的相似性度量实验结果及分析利用车辆几何特征初步检索综合颜色与边缘特征的二次检索实验结果分析本章小结第五章系统设计与实现本文检索系统的总体设计系统总体设计要求系统总体结构系统功能模块介绍本文检索系统的具体实现常用的视频检索方式本系统采用的检索方式示例检索对象检索视频段检索视频浏览关联视频段浏览的设计与实现硬盘录像机硬盘录像机功能及存储方式视频段检索流程实现结果本章小结第六章总结与展望工作总结工作展望参考文献n昆明理工大学硕士学位论文附录攻读学位期间

7、公开发表的论文附录攻读学位期间参与的科研成果n第一章绪论课题研究的背景与意义随着城市交通容量需求的不断增加,机动车辆的数量迅速增长,从而带来了巨大的交通压力,违章肇事不断发生,加之道路建设、人们交通法制意识淡薄等因素,使交通监管部门的任务越发繁重。与此同时,使用传统的方式对采集交通信息已经无法满足当前的发展现状,交通视频监控系统在这种日益增长的需求之下得到了迅速的发展。该系统能够从相关的交通视频中提取有用的信息,它是由模式识别与视频图像处理技术相结合的产物。在安装维护视频监控设备时,不用破坏路面,更不用关闭车道,不会影响正常的交通秩序;相比传统的设备而言,它的安装和维护也相对简单,成本较为低廉,有着较高的性价比。最为

8、关键的是利用该系统不仅能够方便的获取各个路段在各个时刻的交通信息,方便交通监管,而且它还能够采集更多有价值的交通信息。交通监控视频具有很多区别于一般视频的特征。首先,传统的基于内容的视频检索系统,,通常需要经过三个阶段来对视频数据进行结构化处理,分别为:镜头分害,关键帧提取,特征提取⑷。镜头分割又称场景转换检测,主要目的是为了将视频序列按照一定的标准分割成多个大小不一的镜头。而交通监控视频通常是由一个摄像机对某一个固定交通场景拍摄而得到的一段完整的镜头。所以,视频中几乎不存在场景的变化,大多数情况下是可以省略镜头分割步骤的。而且,在交通视频关键帧提取上,传统的提取方法很难针对交通视频特点提取到有效的关键帧信息。其次,在

9、特征提取上也有别于传统检索系统。传统的基于内容的视频检索系统中颜色、纹理、形状特征是常用的几类特征,而在交通监控视频车辆检索中,纹理特征不再是一个可用特征,纹理信息对于整个视频场景来说,也不是要关注对象。基于这些不同点,研究如何针对交通视频进行有效的检索,是十分必要的,也是非常有意义的。交通监控视频中机动车辆检索是交通视频监控领域与基于内容的视频图像检索技术的结合。但是,如果不针对其特点,直接采用传统的基于内容的视频检索技术,往往会适得其反。不仅会增加工作量和研究的复杂度,最主要的是不能够有效的满足车辆检索的需求,难以达到期望的效果。本文在此基础上,针对交通监控视频的特征,n昆明理工大学硕士学位论文着重研究了面向交通

10、领域的视频检索系统。它既继承了传统视频检索系统的优点,但又具有区别于传统的独特性。将基于内容的视频检索技术与当前交通视频监控领域的研究相结合,使对交通监控视频中相关车辆的检索成为可能。此项工程有着十分重大的现实意义,发展前景也十分乐观。、对视频中车辆进行特征参数提取,如车辆颜色,车型,纹理等特征,这样相关单位就方便地利用计算机检索肇事与违章车辆,不仅很大程度上提高了执法部门的工作效率,而且极大的保护了人们的财产与生命的安全。、通过此项工程,还能够获取更多有关车辆的信息,比如机动车的速度,某路段在某时刻车流量大小等。通过使用这些获取的实时信息,有关部门就可以进一步优化城市交通环境,而不需要花费大量的财力进行实地调查,很大

11、程度上节约了成本,提尚了效率。、通过交通监控系统而获取的交通监控视频,对于交通违章及交通肇事提供了强有力的证据。可以随时监控城市的各个交通路段,及时的了解各个路段的交通信息,从而有效的实现城市交通的及时监管与调度。、对交通事故可以实时监控,方便相关部门及时采取应对措施,制定交通应急方案,有效的提升紧急事故的处理能力,大大缩短了响应时间,最大程度上保证了人们的生命财产安全,避免灾害的进一步扩大。基于内容的视频检索技术检索系统的基本构成通常,为了方便用户表达检索要求,传统的基于内容的视频检索系统通常必须包括以下两个系统子模块。、数据库生成模块。该模块主要用于生成视频源数据,对视频数据进行相应的预处理操作以及生成检索所需的特

12、征库等。其中,预处理操作包括视频分割,视频中关键巾贞的提取以及对关键巾贞进行相应的特征提取等。、查询检索模块。该模块主要完成用户所指定的查询工作。将最终所查询的结果按照相似度大小顺序的展示给用户,用户可以根据最终的结果重新查询。系统还要n绪论能够接收用户的相关反馈信息,以便使下次检索更加符合用户的要求。下图所示的是一个完整的系统结构图:“州户杳询接口一,相关反馈视频流!工!特徒描述‘广、!—一—特征捉取!镜又绀咎匙——丨!:娜提动合特嵌—检索结果贤提—关键帧鈐态特—视频査洵和检索模块特好库视频数据生成校块图基于内容的视频检索系统构成检索系统的结构分析由上一节的介绍我们知道基于内容的视频检索系统的基本构成,下面我们简单

13、的介绍一下各部分主要完成的功能:、视频结构化处理对于视频的处理,往往最后归结为对视频帧图像的处理。这样就必须完成对视频文件的结构化处理,即首先将所要处理的视频数据分割成多组镜头,再从每组镜头中提取一帧或者几帧能够充分反映镜头内容的图像。、特征提取对于特征提取前面章节介绍了很多这方面的知识,其主要目的就是为了获取视频数据的特征,这些特征包括静态的和动态的特征。、数据库构建对于提取的视频帧图像以及视频的特征信息,需要将其有效的存储起来,以便后续在检索中使用。因而,视频特征数据库是必不可少的。同时还要建立相应的知识库用于存储不同的知识表达。、用户查询接口该部分主要是为了方便用户提交检索条件,表达检索需求,并最终将检索的结果

14、n昆明理工大学硕士学位论文顺序的返回给用户。用户在检索的过程中可以根据检索的结果修改检索条件进行再一次的查询。因而,要求系统能够接收用户的相关反馈,协助用户完成下一次检索。查询接口的设计还要具有良好的人机交互性,方便信息的表达与传递。、查询处理这部分主要完成相似度计算的功能,完成查询图像与数据库中数据的匹配工作,最终计算出之间的相似度反馈给用户。、相关反馈在检索中,用户可能会由于表述不清或者提交的示例不能够表述其真正的意图,导致检索的结果出现偏差。此时,就要求系统必须具有很好的人机交互能力,接收用户的反馈信息,并根据反馈信息来修正检索的结果,最终帮助用户完成检索目的。国内外研究现状一、在基于内容的视频检索方面随着视频图

15、像技术的发展,基于内容的视频检索(技术得到了国内外相关领域技术人员的广泛关注和研究,迅速成为视频信息,特别是图像信息、多媒体信息和数据库开发技术中的研究热点之一,。根据视频检索系统发展的过程,可以将其大概分为两个阶段。第一阶段主要是采用人工方式在离线状态下利用文字手工标引图像和视频信息,并将这些信息与视频和图像一同存储在数据库中。因而,提供给用户的检索手段只能是关键字。这给用户在表达检索需求上带来了很大的不便,加之不同人对同一图像或者视频内容理解上的差异,用户很难获得理想的检索效果。下图为此阶段中典型的基于文字的检索系统框图。文字杳询‘并线搜索引,和刺线相关反馈:可视化标引员图第一阶段文字检索系统n绪论第二阶段中已经

16、开始采用基于内容的视频检索技术。此时的系统中,在标引员对相关视频或者图像信息进行标引的同时,系统也会自动的对所采集的视频或者图像信息进行分析和相关预处理,并对其特征进行提取工作,把提取的特征存储到数据库中,以便检索使用。用户在使用这个阶段的检索系统时,不仅可以借助文字描述的方法去查询,还可以使用视觉范例(如图片、视频等)来检索自己感兴趣的对象。方便用户表达检索需求的同时,也提高了检索的准确率。下图为此阶段典型的系统模型。—范例查询特征提取文字查询在线,『搜十繁丄厂廠读可视化、图第二阶段信息检索系统目前,国内外在现有的研究基础上研发了多种视频检索系统。虽然这些系统大多没有商用化,但其在推动该领域的研究与发展上所起到的作用

17、是不可估量的。其中较典型的有:系统是由研究开发的第一个在商业领域使用基于内容的图像检索系统。该系统提供示例查询或者使用用户绘制的草图和绘画图像作为检索样例进行检索,在系统中,用户还可以选择使用纹理、颜色、运动目标及镜头等信息,对数据库中所存储的视频文件或者图像信息进行查询,。系统是由哥伦比亚大学研发,是一个面向的视频检索系统,该系统在传统检索方式的基础上进行了很大改进与扩充,允许用户使用视频的视觉特征信息和时空特征信息来对视频数据进行检索。系统是由美国哥伦比亚大学电子工程系与电信研究中心图像和高级电视n昆明理工大学硕士学位论文实验室共同研究的,其主要的研发目的是该系统应用于互联网。在互联网上为用户提供一种基于内容的视

18、频和图像检索工具,使用户能够方便的在互联网上检索自己感兴趣的图像或者视频资料。系统的优点在于其不仅范围很广而且检索的效率很高。国内方面,多所大学以及科研机构也对基于内容的视频检索技术进行积极的研究,并取得了一些比较有价值的研究成果。例如浙江大学在此基础上研发的检索系统。二、交通视频与处理方面交通监控视频中机动车辆的检索研究是基于内容的视频检索的一个特例,它是在基于内容检索的基础上,专门面向交通领域的一项检索技术。在该领域研究中成绩较为突出的国外研究组有:英国雷丁大学计算机系的项目组美国伯克利大学计算机系的项目组,美国卡耐基梅隆大学的项目组德国卡尔斯鲁尔大学计算机系博士领导的研究组,加拿大英属哥伦比亚大学计算机系教授领导

19、的研究组在国内方面,中科院自动化研究所模式识别国家重点实验室视频监控小组,在总结了英国雷丁大学项目组所开发的车辆交通监控原型系统的基础上,设计并实现了一个面向交通领域的监控原型系统。论文的主要研究内容本文首先对课题的背景、内容、意义进行了简单的介绍,并对当前基于内容视频检索系统的研究现状进行了阐述,介绍了其所涉及的相关理论和关键技术,研究了综合颜色、纹理、形状特征的检索技术。在此基础之上并结合了之前实验室相关研究结果,针对交通监控视频的自身特点,初步设计并实现了一个面向交通领域的视频检索系统,并为用户提供了几种不同的检索方式,以便满足用户的检索需求。本文主要研究如下:关键巾贞的选取关键帧是指能够代表一组镜头是一帧或几帧

20、图像。关键帧选取的好坏直接关系到n绪论后续特征提取的效果以及最后检索结果的准确性。当然,关键帧提取时还要考虑算法在时间及空间上的复杂程度。图像预处理算法研究由于提取的关键帧图像,往往会受到一些外部环境以及摄像机自身的影响,产生一些噪声。预处理就是为了消除噪声的干扰。为了使特征提取更加准确方便,我们对有倾斜角度的车辆图像进行倾斜矫正。特征提取本文重点研究了车辆特征提取技术,针对交通监控视频中车辆图片的特点,着重研究了交通监控视频中车辆图片的颜色特征、几何特征和边缘特征的提取方法。综合多特征的层次检索技术通过将检索过程分为初检和二次精确检索,对检索过程进行了优化。使用计算量小且效率高的几何特征进行初步检索,在初检基础上,

21、再使用多特征归一化的方法,将颜色与边缘特征综合应用到检索系统之中进行二次检索,实验表明综合多种特征的层次检索方式不仅检索效率得到提高,而且结果的精准率也得到很大提升。系统的设计与实现在开发平台上,初步实现了一个面向交通领域的机动车辆检索系统原型。并且,按照视频层次化的检索需求,给用户提供了几种不同的检索方式,更加直观、有效的满足用户不同的检索需求。论文的组织结构本文主要结构框架安排如下:第一章,绪论部分。主要介绍了当前国内外基于内容的视频检索系统以及车辆检索系统的相关研究与发展现状。分析了交通监控视频自身特点,明确了实现一个面向交通领域的车辆检索系统的重要意义,从而确定了课题研究的内容与意义。第二章,视频关键帧提取技术

22、。首先介绍了运动目标的检测与跟踪技术相关的知识内容,并将其应用到关键帧的提取之中。本章还对几种常用的关键帧提取方法进行了简单的介绍和分析,阐述了这几种技术的优缺点。最后,本文针对交通监控视频的特点,采用了一种结合虚拟检测线技术的基于运动对象面积的关键帧提取方法,并通过实验对比,证明了这种方法更适合于交通监控视频中关键帧的提取。n昆明理工大学硕士学位论文第三章,车辆预处理技术与算法的研究。介绍了图片预处理方面的一些常用算法,并在此基础上优化了一些算法,使之能够更好的针对交通监控视频中车辆图片的自身特点。这样为后续车辆的特征提取打下了基础,使车辆特征的提取更加准确有效,同时也提升了检索结果的精确性。第四章,研究了车辆特征

23、提取技术,并针对交通监控视频的特点,着重研究了视频中车辆图片颜色特征、几何特征及边缘特征的提取方法。通过使用多特征归一化的方法,将这些特征综合应用到系统之中。此外,还釆用了层次检索的方式将检索分为初检和二次精检,使得系统检索效率和准确率都得到了很大提高。第五章,初步设计并实现了一个面向交通领域的视频检索系统原型,对系统中所提供的几种检索方式进行了详细描述和实现,给出了检索流程和实现结果。第六章,对文中所做的工作和研究进一步做了总结,指出了研究中的不足,明确了后续的研究方向。n关键帧的提取第二章关键帧的提取动态目标的准确检测对于关键帧的提取,对象分割和背景消除、对象的识别和行为理解等后期处理非常重要。本文在此基础上对视

24、频中运动目标关键帧进行提取。因此在本章首先简单介绍动态目标检测与跟踪的相关知识。动态目标的检测与跟踪运动目标跟踪算法是计算机视觉领域研究比较热门的课题之一,。一般来说,运动目标检测跟踪分为运动目标检测和目标跟踪两个阶段。动态目标检測目标检测主要是为了下一步的跟踪奠定基础,是把关注的对象从视频帧中分割出来的前提。该过程主要是为了将一系列的视频帧中变化的像素点标示出来,由此来实现对运动对象的检测工作。在实际的应用中,我们经常使用以下方法来进行运动对象的检测:、光流法该方法主要是根据物体在运动的过程中会产生光流特征来实现对运动对象的检测工作。使用该方法对运动目标进行检测的时候,往往不需要任何先验知识,因此,我们可以直接使用这

25、种方法来对运动目标进行跟踪。不过光流法容易受到外界环境因素的干扰,对于那些含噪图像不能很好的适用。而且光流计算相对来说比较复杂,时间复杂度较差,不适用于实时的处理。、帧间差分法该方法是通过对连续的帧图像进行像素的差分,并将结果与预先设定的阈值进行相关的比较,最终完成对运动目标的相关提取工作。由于该方法主要是通过两者或几帧进行差分相减来实现运动目标的检测,所以,一般通过这种方式获取的图像会夹杂着很多的噪声,会在一定程度上影响图片的质量。但是,可以使用尺度滤波器,它能够保留某一尺度阈值的连通或连通区域,而去除小于某一尺度阈值的连通成分,以便后续研究分析使用。尽管一部分有效信息会被滤波器过滤掉,但对于运动检测而言,此滤波器仍

26、旧是一个有效的工具。n昆明理工大学硕士学位论文动态目标銀踪跟踪的目的主要是为了获取运动物体的行驶轨迹,通过对其运动轨迹的计算从而得到目标所处的位置信息,最终得到该物体完整的运动轨迹信息。但是,当我们对运动物体进行跟踪的时候,往往会受到很多外界因素的干扰。比如说当运动物体较多时,就会形成相互的遮掩和阻挡,使得跟踪变得异常困难。因此,在实际应用中,针对以上这些情况,如何准确的实现目标的跟踪是当前研究的难点和热点问题。我们通常使用的跟踪算法有:、基于区域的跟踪算法该算法的核心思想是通过对检测的运动区域进行提取和存储,然后使用所提取的运动区域和整个图像内所检测到的目标区域进行匹配,当匹配的结果大于我们事先所设定的阈值时,就认

27、为找到了该运动目标,从而完成所要做的跟踪工作。但基于区域的匹配跟踪法在发生下列情况:、跟踪时,有一新的目标出现在跟踪区域。、动态目标被其他物体遮挡。该算法效果就会很差,可能会出现丢失跟踪现象。因此,在此基础上研究选用了扩展的卡尔曼区域跟踪方法,并在此算法的基础上引进了质心、面积来代替复杂的区域块状匹配跟踪法。这样不仅减少了计算上的时间复杂度,而且提升了效率和成功率。、基于模型的跟踪该方法的核心思路是:通过对事先建立好的目标模型进行相似性匹配来完成对运动物体的跟踪工作。这里所说的模型通常我们将其分为两类:一类是刚性目标模型,该类模型相对于旋转和平移等操作具有不变性,例如本文所要检索的对象机动车辆就属于这里所说的刚性模型。

28、另一种模型将其称为非刚性目标模型。这类模型常常被用于人体跟踪。常用的几种关键帧提取方法关键帧的概述关键帧是若干能够代表一组主要内容的图像。它不仅能够简单的概括所分割的镜头信息,而且其存储量较小,因此在很大程度上缓解了系统的存储压力。在当前对关键提取的算法中,采用相对较为保守的原则进行关键帧的提取。即“宁错勿少”。在实际的应用中,还要根据所要处理视频自身的特征来选取适当的提n关键帧的提取取算法,当前还没有一种适用于各种对象的关键帧提取方法。每种方法自身都存在着各自的优缺点,它们针对的情况也各不相同。所以,在提取关键帧时,选择有针对性的提取方法是非常重要的。在目前的应用中,基于视频关键帧的检索是一种比较可行的方案。其主要

29、思想如下:首先,第一步与传统的基于内容的视频检索技术是相同的,都要进行镜头检测工作,从而才能够对视频文件进行分割,得到所需要的多组镜头信息。其次,是在上一步骤的基础之上,提取每个镜头的关键帧,进而从这些关键帧中获取后续检索所要使用的特征因子,并将这些特征因子分别的存储到对应的数据库之中,方便后续的检索使用。最后,系统会自动对用户所提交的示例信息进行特征因子的提取,并将这些特征因子与数据库中所存储的图像的特征因子进行相似度上的计算。将最终所得的相似性结果返回给用户。用户还可以对检索的数据进行下载和浏览等。具体的检索流程如图所示。▲■车□妄參特征数据库图基于视频关键帧的检索关键帧提取技术目前已经成为视频检索中必不可少的关键

30、技术之一,下面我们将对常用的几种关键帧提取方法进行简单的介绍和分析。基于镜头的方法早期的关键帧提取算法较为简单,所使用的关键帧提取依据也很少,最多的n昆明理工大学硕士学位论文是依据颜色特征。例如,早起的算法中,有时会把从视频中分割的每个镜头的首帧作为关键帧【,这种方法过于简单,效果很难达到理想的要求。文献中所提到算法是将镜头中的前后两帧图像将其作为我们要提取的关键帧进行抽取并存储。后来的研究中出现了几种较为常用的基于镜头的方法:帧平均法和直方图平均法。之后,等,等在之前大量研究的基础之上,进行了一定的改进并提出了两外两种关键帧提取方法。上面我们所介绍的算法中,都是比较简单,计算量较小的。但是,其缺点也很多。比如说,它

31、们所提取的关键帧数量都是固定的,不能够根据实际镜头内容的变化来动态的提取关键帧,这样就使得对那些场景转换较多的镜头进行关键帧提取时,很难获得完整而全面的信息。相反,对于场景中镜头切换较少的视频,往往又会提取过多的冗余信息。基于内容分析的方法在现实的视频拍摄场景中,由于总舵因素的影响,导致使用仅仅一组镜头来概述所再拍摄视频变得非常困难。因此,就需要用多个关键帧图像才能够完整的对视频信息进行概括。也就是说,通常在我们对关键帧进行提取的时候,要尽可能的使其能够概括镜头所反映的全部信息。通常来说,图像所反映内容差别较大的,往往所具有的信息量更丰富。因此,提取差异性较大的多个帧图像也是进行关键帧提取时一个重要的参考准则。一般来说

32、,镜头是由内容相关以及时间连续的多组图像组成的一个帧序列。所以,当在对镜头进行关键帧提取的时候,想要尽可能的对镜头的内容进行概括,首先我们要遵守的一点就是尽量选取那些在相似度上较差的帧作为关键帧。在使用基于内容方法进行关键帧提取时,往往是使用帧间相似度比较的方法进行选取。例如,当我们需要对一组镜头进行关键帧提取时,首先选取其第一帧作为关键帧保存下来,并将它作为参考帧与下一帧图像进行差异计算,当计算的结果大于我们事先定义的阈值时,就认为两者差异较大,便将其作为关键帧接着与下面帧进行比较,如此下去,知道结束。n关键帧的提取基于运动的分析法要想了解通过运动分析提取关键帧方法,首先得了解光流场的计算,该方法最早是由和提出的,

33、思想是给二值化图像里面每个像素点赋值运动矢量,而当物体运动时矢量所指向的方向就是图像中亮的像素点,而这种趋势方向就行成了光流场。运动分析法提取关键帧就是通过计算镜头中一帧的每个像素光流分量的模之和作为这一巾贞的运动量即:‘°‘‘‘上述公式中标示的是视频中第帧图像的第像素点在方向的运动分量,而标示的就是在方向的运动分量。通过扫描所有帧图像得到,通过比较它们的大小寻找摄像机运动的局部最小点,并把此处所对应的帧作为关键帧。这种方法还可以根据镜头的内容选择相应数目的关键帧。但是,此方法缺点是不仅计算量较大,还会耗费大量资源,而且场景中的光照强度、运动物体的遮挡、透明性等因素也会对镜头中每个像素的光流分量大小产生影响。基于聚类的

34、关键帧提取方法聚类的方法广泛运用于模式识别、步态识别、对象分类等研究领域,在视频信息检索中也是常用的技术之一。通常情况下,可以将视频的聚类分为以下两种:一种是指通过计算视频空间与时间上的相似性与连续性而进行的聚类,这些视频通常其反应的场景非常相似,因而通常就可以将这样的两组将头归并到一组之中。另一种聚类可以简单的将其看作是对视频进行一个分类的过程。根据镜头里的特征内容及重复率把其分为变换型、交流型和其他型种类型。其中,变换型是指那些镜头中场景切换较多,重复程度很小的。而交流型指镜头间变化小,但不停来回切换的。n昆明理工大学硕士学位论文结合虚拟检测线技术的基于运动对象面积的关键帧提取由于本文主要针对的是交通监控视频中机

35、动车辆信息进行提取,因此,在对交通监控视频进行关键帧进行提取的时候,评价其效果好坏的标准是:首先,要能够对有效的运动车辆信息进行关注,并提取。其次,对于非机动车辆信息能够有效的屏蔽。因而,本文经过对常用几种关键帧算法进行研究和对比之后,采用并改进了一种基于运动面积的关键帧提取方法,该方法提取一系列帧图像中运动面积最大的一帧图像后,将其作为关键帧存储下来。这帧图像不仅反映的内容信息全面,而且解决了无效帧、冗余帧问题。同时,由于我们所关注的对象仅仅是机动车辆,所以为了避免非机动车辆(如行人等)等信息的干扰,本文做了进一步改进和优化,在原有的基于运动面积的关键帧提取方法的基础上又结合了虚拟检测线技术,从而有效的屏蔽了以上的干

36、扰因素,减小了计算量,高效地达到提取关键帧的目的。下面首先对基于运动面积的关键帧提取方法及虚拟检测线技术进行简单的介绍。基于运动面积的关键帧提取方法由于本文所研究的对象是交通监控视频,通常都是通过固定的摄像头拍摄的,因此,在对交通监控视频进行关键帧提取的时候,本文结合交通监控视频的自身特点以及根据所关注对象的单一性,将交通视频划分为一个个事件,并对事件进行关键帧提取。这里我们所定义的事件是指视频中的运动目标从进入视频场景到离幵场景的整个过程。基于运动对象面积的关键帧提取方法的在对交通视频进行关键帧提取时具体的步骤如下图所示,n关键帧的提取动对象检区域柺〖识运动对象跟踪序储运动—柚取面积最大的一帧图像作为关键帧图基于运

37、动面积的关键帧提取方法流程具体的过程是:首先对视频中的运动对象进行检测,当检测到运动信息时,使用一个矩形框对运动信息进行标定,接着对标定的运动对象进行跟踪,直至运动对象从镜头中消失为止。在此过程中,对各时刻的运动对象面积进行计算和存储,并最终把运动面积最大的一帧提取出来作为我们所要抽取的关键帧保存到数据库中。对于运动对象面积的计算是通过在视频的场景建立坐标系来完成的,当在视频场景中完成坐标系的建立后,就通过记录标示运动对象的矩形框的两个对角线点义。,的坐标值,便可以完成对运动对象面积的近似计算,具体如下图所示。▲、!。。)原点(,图坐标系图在场景中直接使用视频图片的边缘作为所建立坐标轴的横轴与纵轴,坐标原点便可以随之确

38、定。由于对运动对象直接求取面积难度较大,因此,本文通过对n昆明理工大学硕士学位论文标示运动对象的矩形框面积进行计算,来近似的获得运动对象的面积。从而省去了对运动对象面积的计算,同时也提高了效率。比如要计算图里运动对象的面积的大小,便可以近似计算为矩形框的面积:但是,使用这种方法近似的计算运动对象的面积时,要求我们对运动对象进行跟踪时,标示运动对象的矩形框要尽可能的贴近运动对象的边缘,主要计算的近似面积才具有代表意义。基于运动面积的方法在针对交通监控视频进行关键帧提取时,可以有效的避免因为视频帧中运动信息而导致的关键帧提取数目过多或者无代表性等问题。但是,该方法缺点在于其对运动信息比较敏感,对于场景中出现的运动信息,不

39、论是机动车辆,还是非机动车辆都会被检测、跟踪、标示、计算以及提取。而我们关注的只是机动车辆目标,并不关心其他非机动车目标。因此,为了避免这些问题,在原有的基础上,引入了虚拟检测线技术。虚拟检測线技术虚拟检测线是指在待检测的图像中设置的一系列的区域,该检索区域的大小可以人为的设定,根据不同的情况进行自主选取。此方法相比现实中所用的感应线圈,不必进行现实的安装、调试,易于维护,而且成本也非常的低。同时又能有效的模拟现实中感应线圈的功能,使得相关的检测更加的灵活,在计算上也大大的提高了实时处理的功能。在使用该技术对交通视频中机动车辆进行检测的时候,并不需要去改变交通监控视频中检测线所处位置的视频本身信息,这个检测区域时通过人

40、为设定,并由计算机程序标定的,因而在有效的进行机动车辆检测的同时,又保持了原有视频数据。具体如下图所示。车道一虚拟检測线区车道二图虚拟检测线示意图n关键帧的提取在使用虚拟检测线技术时,设置检测区域的大小是关键。如果设置的范围过大,可能会导致因为区域过大,涵盖的信息过多,使得后续的处理变得相对困难,增加运算的复杂度,会影响到实时处理;如果所取的范围过小,又会由于检测区内所涵盖的信息过少从而导致无法收集到足够的信息来识别运动目标,因此,选择一个恰当的检测区域尺寸是至关重要的。结合虚拟检測线技术的基于运动面积的关键帧提取交通监控视频中机动车辆检索的对象是交通场景中运动的车辆,为了能够提取最具代表车辆信息的帧用作关键帧,本文

41、结合了以上两种方法,采用了结合虚拟检测线的基于运动面积的关键帧提取方法。首先,在所要处理的交通监控视频中选择一个恰当的位置设置虚拟检测线,与此同时,对运动的对象信息开始检测。在检测的过程中幵始对图像中的检测区域的变化情况进行相关的统计和分析工作,判断是否符合所要提取的关键帧的条件,如果符合则开始跟踪运动目标并计算存储各个时刻的运动面积;不符合则放弃计算,继续检测下一个运动目标。主要思想是:通过使用计算机对整个处理过程中检测区域的灰度信息值进行相关的统计工作,只要有运动目标通过我们所设置的检测区域,就会对检测区域的灰度值产生影响,导致其灰度值发生变化,当由该运动对象所引起的变化大于预先设定的阈值时,我们就认为此运动目标是

42、我们所关注的机动车辆信息,接下来便开始采用基于运动面积的关键帧提取方法将所记录的帧中,运动面积最大一帧作为关键帧保存下来。本文中将虚拟检测线设置为一个矩形区域。这样做最大的好处是相比单纯的线形检测线,其所包含的像素信息更多,判断更准确。本文中通过阈值的设定,可以有效的将交通监控视频中所出现的非机动车辆信息过滤掉,从而达到了只关注机动车辆信息的效果。这里,厂其中,是检测线区域的灰度值。通过实验,将触发的阈值设置为尸的。检测线设置的位置会根据不同的使用情况而发生变化,本文中主要是在基于运动面积的关键帧提取方法中结合虚拟检测线技术来实现关键帧的提取,因此,本文n昆明理工大学硕士学位论文将检测线设置在视频场景的进入端。实验结

43、果为了验证本文所釆用的关键帧提取方法在针对交通监控视频进行关键帧提取时的有效性,使用了一段拍摄的交通监控视频作为实验源数据,进行验证。为了更直观的显示验证结果,同时也采用了基于内容的视频检索中常用的基于内容分析的方法和基于镜头边界法对此视频数据进行关键帧提取,并对比两种算法效果,以下是具体的实验验证结果:斷、漏■穩■獨无意义的巾贞‘!?不具有代表性的帧图基于内容分析提取的关键帧图使用镜头边界法提取的关键帧图结合虚拟检测线技术的基于运动面积方法提取的关键帧从实验结果可以得出,基于内容分析的方法只能对图像帧整体进行分析,并不关注特定区域的变化,所以会提取很多变化剧烈,但并没有意义的帧。而镜n关键帧的提取头边界法提取的关键

44、帧虽然数目固定且具有平均代表意义,但并不能尽可能丰富的反映所关注对象的全部信息。而本文所采用的结合虚拟检测线技术的基于运动面积的关键帧提取方法不仅有效的解决无用帧问题,而且提取了能够最大限度反映运动对象信息的帧。本章小节本章内容摘要介绍了关键帧的相关知识,包括其应用和提取算法,并对几种常用的关键帧提取方法进行了简单介绍,并对这些算法的优缺点进行了分析。针对交通视频的特点以及所关注对象特征,采用一种基于运动对象面积的关键帧提取方法,并在此基础上进一步引入了虚拟检测线技术,优化了算法,有效的避免了非机动车辆的干扰。并通过实验证明该方法针对交通监控视频中关键帧提取是非常有效的。n昆明理工大学硕士学位论文n车辆预处理技术与

45、算法第三章车辆预处理技术与算法通常情况下,从交通监控视频中直接提取的图像会夹杂一些噪声,使得所获取的图像质量较差,如果直接进行相关特征提取的话,获得特征向量很难准确的对其特征进行描述,那么后续的检索也就失去了意义。因此,在提取特征之前需对摄像头获取的车辆图像进行预处理是非常必要的。本文针对交通视频中所提取的车辆图片,通过实验对比的方式,总结了一套较为完整的用于车辆图片预处理的算法集合,具体的预处理过程如图所示:角度归一化尺度归一化获取‘阁像图像滑灰度化均衡化阁像阈值分割边缘检测边缘检测图像边缘提取边缘检测边缘检测图图像预处理步骤图像平滑图像平滑主要是为了消除图像中所存在的随机噪声。由于这些噪声一般是相对孤立的点或线,而

46、连续出现的情况一般很少,这些噪声的存在通常会导致图像质量较差,比如获取的图像比较模糊。它不利于对图像边缘信息进行提取。如果我们想要在对边缘特征进行提取时获取较好的效果,那么就首先需要对图像进行除噪。下面重点介绍两种滤波方法。线性滤波对于数字图像中夹杂的一些噪声可以通过使用线性滤波除去,尤其是针对一些颗粒噪声,效果非常显著。n昆明理工大学硕士学位论文邻域平均法是一种空间域平滑噪声技术。假设噪声《是加性噪声,空间上互不相干,期望值为方差为,图像是没有受到污染,通过邻域平均后含有噪声的图像为:综上可知,图像经平滑后,其方差《忐变小了,因此可知:图像中的噪声强度减弱,得到了明显的抑制。中值滤波通常由两个主要的因素决定中值滤波

47、效果的好坏程度:一个因素是在进行中值计算时所涉及的像素个数;另一个因素是领域的空间范围的大小。在此过程中,所占像素面积较大的物体通常会不会受到滤波的影响,而那些面积只占滤波器面积一半或小于一半的物体就会被清除掉,因此,针对于不同的情况需要对中值滤波器的空间尺寸的大小进行适当的调整。该方法的主要思想是:首先,对要去噪的图像中某一像素点建立一个模板,该模板的大小为其中,,。接着,以该像素点为中心点,对该模板所涵盖的《像素点的灰度值进行排序。最后,将排好序的序列的中间值取出来,用于替代该像素点的本来值。实际的应用中,中值滤波窗口根据不同的需求和应用对象的不同,有各种形状,其中,经常被使用的是方形窗口。窗口中所包含像素灰度值序

48、列中的中间值决定了其输出结果,由于该种滤波方法对于斜坡信号和阶跃信号没有干扰,因此,可以起到保护了边缘信息的作用。由于中值滤波不易受到一些差异较大像素点的影响,因而在有效的对随机点状噪声进行抑制的同时还去除了孤立噪声点,使得去噪后的图像不至产生较大的模糊,保持了较高的清晰度。在平滑过程中,有效信号的损失与窗口的大小乘正比关系,因此,在使用过程中,选择适当大小的滤波器窗口显得尤为重要。实验表明,该方法对于那些含有较多噪声点图像进行的情况处理时效果显著,对于后续车辆的特征的提取及识别都有很大的帮助。实验结果如图所示:n车辆预处理技术与算法含有噪声的图像中值滤波后的图图中值滤波图像灰度化通常情况下,从交通监控视频中所提取的

49、车辆图片是彩色的,而我们后续对车辆的特征进行提取时,往往只需要在颜色特征提取时才会用到图片的颜色信息,而要得到车辆的几何信息和边缘信息,那么就必须获取到车辆的边缘和轮廓信息。为了能够获得这些信息,就需要先对提取的车辆图片进行灰度化处理。处理后的图像不仅很好的满足了我们后续处理的需求,而且相比彩色图像其所包含的信息量,灰度图像包含的信息大大减小,从而减轻了计算量。通常,灰度被划分为个等级,代表黑色,代表白色。常用的灰度化算法有以下种,具体介绍如下平均值法:使,三个分量的值等于它们和的平均,艮口最大值法:将三个分量中最大值分别赋值给,三个分量,即加权平均值法:给分别赋予三个不同的权值,最终使得三个分量的值都等于它们的值的加

50、权和平均,即在实验中,分别将三个权值取作:么,仏。最终经过所得的输出结果如图所示:图灰度图n昆明理工大学硕士学位论文图像均衡化均衡化主要目的在于将我们上面所得到的灰度图的灰度级进行进一步的规范,使其更能有效的表达图像中的灰度信息,通常处理中,是将图像的灰度级归一化到范围内,再通过利用一些函数变化的方法,使原图像的灰度直方图的自身分布更加的均匀。使用均衡化后所得到的结果对比度明显增强。将图像中所有的灰度基本的概率密度函数用来表示,并通过下面的式子对乃进行变换,进而获得输出灰度级,其中,积分中的哑变量用表示,图是实验所得的结果,通过对两图进行比较分析,可以明显看出结果是均匀的,艮实验结果如下:■■?■‘——“图均衡化前、

51、后直方图图像分割本文主要是为了对交通监控视频中机动车辆的信息进行提取,并最终用于相关机动车辆的检索。因而为了有效的提取所关注的机动车辆信息,避免背景信息的干扰,就需要在预处理过程中将目标对象与其背景分离开来。我们将这样一个过程成为图像分割或者二值化。能否较好的从背景中分割出所关注的对象,对于后续对象特征的提取至关重n车辆预处理技术与算法要,经过二值化处理后的图像更加的清晰,而且整个图像中只保留了两个灰度级,即和。具体的图像分割操作可根据下面的阈值来进行式中,〖为所选择的阈值,用于图像的分割。当采样点,的灰度值〖时,〖’,当时,。由此可知,阈值的选取是是实现图像分割的重点。由以上内容可知,阈值选取的好坏直接关系到图像分

52、割效果,因此阈值的选取,对于那些基于阈值的图像分割算法来说是至关重要的。下面我们介绍两种常用的阈值选取方法。在当前研究中,所使用的选取阈值方法中主要有两种:全局法和局部法。通常全局法被用于那些目标与背景之间的差别比较大,易于分割的情况。一般通过该图像的直方图分布来判断,如果其直方图的分布呈明显的双峰状,那么这种情况下使用全局法效果较好。该种方法实现较为简单,但是可靠性不高,容易受到外界因素的干扰。因此,对于那些图像本身质量较差的情况,使用全局法就不再合适了,实际应用中,转而使用局部法来求取阈值。此方法可以很好的应对该种情况,为分割选取较为适当的阈值。不过局部法计算上也较为复杂,时间复杂度较高。由于我们所处理的对象是交通

53、监控视频,其存储量是十分巨大,为了提高检索效率,就需要对检索的各技术环节进行优化,在实时性方面进行提高。所以,本文采用的全局法来进行图像的分割。图像的阈值选择以下将介绍两种常用的阈值选取方法:直方图法首先,利用直方图法将所要进行分割的图像各灰度级的像素个数计算出来,最终得到其灰度直方图,若输出结果如图中显示的那样,呈明显的双峰分布,那么,我们就选择双峰间谷底所对应的值作为所要求的阈值。其次,使用该种方法获得图像阈值以后,就可以根据上面所讲的内容对车辆图片进行分割,最终得到所要提取的车辆信息。该法对于那些目标与背景差别较明显的情况效果显著。n昆明理工大学硕士学位论文图直方图法阈值选择基于灰度的数学期望方法上面介绍的方法

54、适用于那些直方图呈明显双峰的图像。那么,当不能满足该条件时,在使用以上方法就很难获取到正确的阈值。针对这种情况,我们采用数学期望法来确定二值化过程中所用的阈值。具体的做法如下:假设图像的灰度集的取值分别为,表示所出现的次数频,用来表示所总共出现的次数,这时,我们所要求的用于图像二值化的阈值就可以通过式得到:艺该方法不仅使用的范围较广,而且其计算上也比较简单。本文所用方法本设计在对车辆图片进行二值化处理时,选用的是直方图法。根据车辆图像的直方图信息,来获取下一步分割所需的阈值,从而实现车辆分割的目的。下面两幅图就分别反映了使用该方法进行图像分割的两个过程。“彳丨图汽车灰度图像直方图n车辆预处理技术与算法□“图二值化图像

55、图像边缘检测图像边缘的提取主要是为了后续对图像特征提取而服务的。所选取的边缘检测算法能准确的对图像边缘信息进行提取,很大程度上影响到后续特征提取的准确率。本节分别对当前较多使用的几种检测算法进行对比分析,并综合比较各种算子的性能以及各自的优缺点。基于梯度的边缘检測通常情况下,梯度对应一阶导数。该方法对于图像本身夹杂的噪声比较少,而且图像中的边缘灰度值过渡较尖锐的情况有很好的检测效果,而且不考虑所施加的运算方向。一幅连续的图像函数,可以将其梯度表示如下:若“这个矢量的方向角和幅度分别可以表示为:而在实际应用中常使用小区域模板进行卷积的近似计算方法来替代以上各式的偏导数对每个像素的位置计算。对…和各用一个模板,通过把二者进

56、行相关的结合,就得到了所要的梯度算子。当前该领域的研究中已经取得了十分丰硕的成果,研究出许多不同的算子,每种算子的元素值和模板的大小各不相同,通常有以下几种:、边缘检测算子该算子主要是根据像素点上下、左右的邻点灰度加权差在图像的边缘处达到极值这一特性来对图像中的边缘进行检测。该算子具体定义为:…(n昆明理工大学硕士学位论文边缘检测的具体算法如下:将式中所示的两个掩模作为卷积,两个掩模分别作用于横竖两个方向上的边缘。而两个方向上的掩模的极值就为所要输出的结果。确定阈值之后,若则该点就是我们所要检测的边缘点,最终所得的结果就是该幅图像的边缘。」这种边缘检测算法具有平滑噪声的作用,因而,受到噪声的干扰不是很大,能够较好的完

57、成边缘检测。不过,使用该方法进行边缘检测时,不能够有效的去除伪边缘信息的干扰,使得最终获得的结果夹杂着较多的伪边缘。、边缘检测算子该算子通过使用局部差分算子进行图像的边缘检测。想要获得该算子的梯度,就要先计算°方向的一阶差分,再将计算所得的两个°方向的梯度向量求和,从而得到梯度值。该方法一般用于那些图像本身含有噪声较少的情况,这是因为该算子同样不能够很好的平滑噪声。该算法表示如下:只其中,表示一幅图像。用于此算法中的模板可以表示如下:表算子模板算子采用°方向上那些相邻像素之差近似梯度幅值来完成对边缘信息的检测,该算子对于横竖方向的边缘检测结果优于斜向边缘。使用这种方法对图像的边缘进行提取时,可以很好的定位边缘信息。不过

58、,该方法的缺点在于不能很好的处理噪声的干扰,对于含噪较多的图像,检测效果不好。边缘检測算子边缘检测算子通过使用特定的标准方差的高斯滤波器先对图像进行n车辆预处理技术与算法平滑,再由一阶微分来获取边缘信息,将微分的极大值作为边缘点输出。它在每一点计算局部梯度句〗卢和边缘方向,使用边缘检测算子对图像进行边缘检测的具体流程如图所示:非输高梯极边入斯度大缘阁平“计“值““阁像滑算抑像一制图边缘检测流程从边缘检测算子的信噪比准则、定位精度准则、单边缘响应准则出发,能够很好的避免噪声的影响,因此在最终检测的结果中不会出现伪边缘信息,真正的实现对图像边缘的提取。目前该方法使用领域很广泛。边缘检測算子该算子是通过求二阶导数的运算。表

59、达公式为:上式数字差分后可近似表示为:▽,少,,该算法是借助各种模板卷积实现的。使用的模板也是有要求的:首先,在模板中系数正负上,要求中心点上下、左右四个临近位置的像素系数要为负,而其自身系数必须为正数。其次,模板中系数之和必须为。这些要求主要是为了避免出现灰度偏移问题,模板具体形式如公式所示:「尸刀」由于该算子是一个二阶差分运算,在对边缘进行检测的同时也对图像中的噪声起到了双倍的加强作用。所以,最终很难直接得到有关边缘方向的信息。实际应用中,通常不直接使用其来检测一幅图像的边缘,较多的用于确定已知边缘中的像素点在图像中所处的区域位置。该算子的优点在于它在有效的避免出现伪边缘的同时还可以将大部分边缘信息检测出来,达到对

60、边缘信息的精确定位。n昆明理工大学硕士学位论文几种边缘检測算法的比较下图是用于边缘检测的车辆图片,图为使用不同边缘检测算子所获得的车辆边缘信息。图待检测车辆边缘检测边缘检测边缘检测边缘检测图几种边缘检测算子比较从实验结果可以明显的看出,使用边缘检测获得的边缘图像效果最好,它在有效的避免噪声干扰的同时,还将图像中的弱边缘检测了出来。获取的图像边缘特征也最丰富,得到的轮廓也很清晰。这样就很好的满足了后续对车辆几何特征与边缘特征的提取。该算法的缺点在于计算复杂。图像归一化这里所说的图像归一化,主要是为了解决实际应用中所提取的车辆图片尺寸和角度问。最终目的是要让不同尺寸以及不同角度的车辆图片规范到一个适合于处理的范围内。尺度

61、归一化由于在实际的数据获取中,由于所拍摄的目标与摄像头的距离不同,导致拍摄的图像尺寸不一,这对于后续车辆特征的提取会造成很大的影响,导致一些特n车辆预处理技术与算法征提取困难或者提取的特征向量不准确等。因此,在对特征提取之前,采用有效的方法对图像尺寸进行处理,使之都统一化到某一合适的尺寸范围之内是十分必要的,在这个尺寸下更有利于特征的提取。实际研究中,常使用的尺寸归一化方法有以下几种:邻近插值法其原理比较简单、直观,对空缺的像素值直接被赋予图像中最临近该点的某像素点的值,该方法计算简单,时间效率较高,但是这种简单的像素间复制在放大的过程中会导致图像的自身质量被降低,很难获取到高质量的输出结果。双线性插值法该算法相对于

62、前一种算法计算相对复杂些,它是采用邻域内的像素点值进行加权求平均,将所得的结果赋值给空缺像素点。这种算法相对于上一种方法,虽然计算上较为复杂,时间复杂度较高,但是所得的输出结果质量较高,图像比较连续。不过,该算法由于自身的低通滤波性质,会导致图像的边缘变得模糊。双立方插值法:该算法原理与第二种方法类似,只是其所选取的邻域较大,大小为的区域。其他计算过程与上一种相似,也是使用加权后求取的平均值来赋值给空缺像素点。相比前面两种方法,该方法能够获得较好的效果,精确度最高,但是其时间效率最差。为了更直观的比较以上三种算法的优劣,我们选取一张大小为的图片进行试验,最终的目的是为了将原始图片放大为,实验中分别采用以上方法对图片进行

63、放大,其结果如下图、(、(所示:原图(最邻近双线性(双三次图几种插值算法比较“n昆明理工大学硕士学位论文从上面的实验结果可以看出,使用第一种方法进行放大的图像效果较差,其得到的图像边缘较为模糊,有锯齿状,而使用后面两种方法所获得的放大图像,它们的边缘就相对清晰。总的来说,第三种方法所得结果效果最好。三种算法所用时间分别为、和,从实验的结果和所用时间总和分析可以知:结果符合以上三种插值算法的叙述。角度归一化通常情况下,如果想要获得一个物体较为全面的信息,往往会取其拍摄面积最大的图像来用于信息提取。同理,如果想要获得车辆尽可能丰富的信息,那么我们就要想办法获得其正侧面的图像。在正侧面的车辆图片中,不论是边缘信息还是几何信

64、息都较为容易提取,而且提取的信息也是最全面的。但是,现实拍摄的交通视频中,不可能总是获得车辆的正侧面信息,往往会因为车辆的行驶造成和摄像头之间形成一定夹角,使得拍摄到的图片中车辆是倾斜的。而直接在倾斜的车辆图片上进行特征提取,是不准确的,会影响后续检索的质量。因此,为了提高检索的精度,对那些倾斜的车辆图片进行矫正是非常必要的。如果想要对倾斜进行矫正,那么首要的前提是必须获得其倾斜的角度,接着才能根据倾斜的角度进行适量矫正。本文通过计算倾斜图像与正侧面图像的各自中心点来确定倾斜的角度。具体的实现过程如下:首先,对带有倾斜角度的车辆图片进行重心计算。在此之前,需要先对该车辆图片进行二值化处理,接着对横纵两个方向上像素值为的

65、点进行统计,分别记录下其统计的结果和,重心点为,假设该车辆图片长为,高度为,则有同理,取该倾斜图像的正侧面标准模板图像,然后将其重心点通过式—计算出来,式中和凡与和少意义相同,设其重心点为气八),车辆长度为,高度为则有n车辆预处理技术与算法⑴■九戶所获取的图像重心点如图所示:有倾斜角度的车重心标准摸板图像图车辆重心通过上面计算可以得到两图的重心,从而就可以通过重心来顺利的计算得到倾斜的角度:式中得到的是弧度值,在通过下式就可以获得最终的角度值:利用得到的倾斜角度,我们就可以对那些带有倾斜角的车辆图片进行矫正,最终获得我们所需要的车辆正侧面图像。本章小结,在该章节中主要对一些相关的预处理算法进行了研究,并通过实验对比的

66、方式,比较各种算法的性能。并在实验室原有的研究基础之上引用了部分师兄师姐的研究成果,最终为车辆的预处理总结了一套较为完整的预处理流程。图像的预处理对后续车辆特征的提取起到至关重要的作用,有效的消除了图像中所夹杂噪声对特征提取的干扰,能够有效的保障所提取的特征向量能够更加精确对车辆的特征信息进行描述,从而也提高了后续检索的准确度。具体车辆特征提取算法,将在下一章中进行详细的介绍。n昆明理工大学硕士学位论文n融合车辆多特征的层次检索第四章融合车辆多特征的层次检索本章着重研究车辆特征的提取方法,并针对交通监控视频的特点,以及所要检索对象的独特性,选择提取有针对性的特征因子来对检索对象进行描述。本节对机动车辆的颜色、几何及

67、边缘特征的提取方法,以及如何对特征因子进行归一化,并最终将其综合应用到检索系统当中进行了详细介绍。本文还在检索流程上进行了优化,采用层次检索的方式,即初检与二次精确检索相结合的检索方式,不仅提高了系统的检索效率,也提高了检索的准确率。检索中常用的特征当前,在基于内容的视频检索中,较常使用的是颜色、纹理以及形状特征,通过一些特征提取算法,将这些特征从目标对象中提取出来,并存储到相应的特征库中。当用户进行查询检索时,系统会自动提取用户所提交示例的特征,并将这些特征与存储在数据库中的特征因子进行比较,最终返回相似的结果供用户浏览使用。颜色特征颜色特征是检索中常用的一类,由于颜色特征相对于其他特征因子来说对事物的描述更为直观,

68、描述性也更强,加上该特征具有旋转、平移以及尺度不变性,因而,使其可以直接用作检索参数而不用考虑其他特征因素。但是,如何来表达目标对象的颜色特征在很大程度上由所选取的颜色空间模型来决定。选择不同的空间模型会对人的视觉感受产生不同的影响。因此,在对颜色特征进行描述时,选取何种颜色空间模型是至关重要的。其中,颜色直方图、主色调直方图法、颜色矩和颜色集较为常用。纹理特征纹理特征也是检索中常用的特征之一,由于至今还有对纹理本身进行一个标n昆明理工大学硕士学位论文准的定义,一般将纹理信息看作是在空间中以一定形式变化的灰度所最终形成的图案。下面我们来看几种比较典型的纹理图案,如图所示。图纹理图像以下将介绍三种常用的纹理信息表达和描

69、述方法。至于在实际的应用中选择使用何种方法很大程度上取决于纹理的模式及其尺度。下面我们分别介绍这些方法。统计法。纹理特征通常不关注图像中的颜色信息,它只关注像素见的关系,并对其进行度量,所以,当处理彩色图像时,常常需要先进行图像的灰度化操作。该方法通过图像灰度分布和关系统计规则来对纹理信息进行描述。但是,仅借助灰度直方图的矩来描述纹理,往往会产生与颜色特征的情况类似的情况,即未使用到像素之间对位置的空间信息,因此等提出灰度共生矩阵,是假定在各像素的空间分布包含了图像纹理信息的前提下的一种纹理分析方法。设一幅图像,其大小为,令为其灰度级别,则可将其灰度共生矩阵如下表示:少少七n融合车辆多特征的层次检索表示集合义中所包含

70、的元素个数。式中,分子部分表示灰度值为和的像素对个数,这些像素对存在着某种空间上的关系;而分母部分则表示像素对总和。这样最终可得归一化的。而是一个的矩阵,假设是与两者间的距离,则坐标系的横轴将与他们之间连线形成一个夹角,从而可以求得各种角度和各种间距的灰度共生矩阵一些学者们为了能使共生矩阵更好地描述纹理特征,他们从共生矩阵中导出了一些参数,用这些参数描述矩阵中的信息,包含的参数有角对比度、二阶矩、熵等。但是,纯粹的数学角度计算,很难符合人类视觉特点。并且矩阵,包含信息较多,而其中往往存在很多无用信息。结构法。在该方法中,认为对于那些比较复杂而且难以表达的纹理信息可以通过较简单的基本纹理元素按照一定的规则进行重新排列来表

71、达。所以,纹理基元以及各个基元间的排列组合规则是表达纹理信息的关键。纹理镶嵌和多边形是两种较经典的结构描述方法。频谱法。通常是经过傅里叶变换得到傅里叶频谱的相关分布,基本思想是使用所得的傅里叶频谱之中的高能量窄脉冲对纹理中的全局周期性质进行描述。此外,频谱,贝塞尔傅里叶频谱】等也是常用的两种方法,这里就不再赘述了。形状特征形状特征也是检索中常用的特征因子之一,如何有效的提取形状特征并将其应用到检索之中,也是目前研究的一个热点和难点问题。下面我们将着重介绍两种常用的形状特征:基于区域的形状特征其主要包含各种矩不变量,以及如偏心度、面积、主轴方向等多种简单的形状因子。除此之外,为了解决遮挡问题,又提出使用一些局部特征如角点

72、等的方法。基于区域的对象形状表示的方法很多,形状不变矩是其中一种非常重要的表n昆明理工大学硕士学位论文示方法。而不变矩则是最为著名的一种。基于边界轮廓的形状特征对于目标边缘信息的获取,首先必须经过一系列复杂的操作才能完成。其中包括图像边缘提取、图像分割等。一般来说两个较为相似的对象往往其所具有的轮廓信息也较为相近,因此,使用边界信息来判别目标的相似度在当前的研究中得到广泛的应用。实际应用中码链、多边形近似等也是目标边界特征描述中常用的方法。其中,傅里叶描述子目前是众多轮廓特征描述子中使用频率最高的,其自身具有伸缩、平移、旋转的几何不变性的特点。颜色模型颜色模型是指使用一个三维空间模型来描述的可见光集合。对于空间中的各

73、种不同的颜色,通常使用三个坐标轴上的参数值进行确定。下面我们将对三种主要的颜色模型进行简单的介绍。混合颜色模型混合型颜色空间的颜色是由三基色按一定的比例混合而成,如,,等。其中颜色空间最为常用,也最为经典。是一种主要利用基色光原理的混合颜色模型,日常生活中也经常用到。其中,光的量是由基色光单位来表示的。在空间中,我们可以使用、、三基色按不同比例混合来合成任意色光该颜色模型通常使用一个正方体来表示。三种颜色分别由立方体的三个坐标来表示,如图所示。n融合车辆多特征的层次检索蔽害■赃!黑绿产红乙图颜色模型很显然,坐标点为黑色,此时三基色分量均为坐标,,点处表示为白色,这时的三基色分量均为。任意颜色在此坐标系中都有与之对应的

74、一点,当我们对的坐标值进行调整,那么的颜色值也会随之改变。由于颜色空间的这种特性,所以,使之被广泛的应用到彩色显像管中。但是,对于人类的视觉感知来说,使用该种模型来对颜色进行描述并不合适。因为人眼很难辨别出一种颜色中所含的三个分量分别是多少。下面我们将要介绍的基于色调饱和度亮度型颜色空间,更符合人类的视觉感知,这种颜色模型更符合人类的视觉感知。色调饱和度亮度型颜色空间该颜色空间包含三个分量,分别是色调、饱和度、亮度。其中,色调是指颜色的波长。饱和度是指色彩的纯度。亮度用来定义颜色中掺入白光的程度。在这类模型中,和最为常用。模型每一种颜色都是由色相,饱和度和色明度所表示的。模型对应于圆柱坐标系中的一个圆锥形子集,圆锥的顶

75、面对应于,具体如图所示。其中,通常使用绕圆锥中心轴线的角度来表示色调,其取值范围为°°。从圆锥顶平面逆时针方向开始,分别用°表示红色,°表示绿色,n昆明理工大学硕士学位论文°表示为蓝色。饱和度表示为横截面上任意一点到圆心的距离,其取值范围是,。最后将横截面上圆心到圆锥顶点之间的距离记为亮度,亮度的取值范围是,,表不由白色向黑色递变。‘°黄图模型模型模型,通常我们使用一个六角形锥体来表示,椎体的上顶点处为白色,而下顶点处表示黑色,具体如图所示。n融合车辆多特征的层次检索八白叙°图模型模型与模型相比,模型是上下对称的,即明暗对称。在该模型中,各分量跨越范围相对完整,颜色由黑色渐变到白色。非线性亮度色度型颜色空间在该类颜

76、色空间中,我们通常使用一个分量来描述非色彩的感知。对于色彩的感知则是通过两个独立分量来描述。典型的有,等。接下来,我们就简单的对的特性进行一些介绍。它的一个重要的特性是其亮度信号与它的色度信号,是分离的。如果将、分量去除,只保留信号分量,那么它所表示的图便是一幅只有黑白两种颜色的灰度图像。因此,家电业中在处理彩色与黑白电视机兼容的问题上,一般利用颜色空间的亮度信号来解决。车辆特征提取与识别提取车辆的特征主要是为后续车辆的检索而服务。与传统的视频图像检索不论是其检索的目的以及返回的查询对象类型都与交通车辆的检索有很大的差异,n昆明理工大学硕士学位论文其要检索的是搜索符合用户査询要求的目标车辆。而传统及检索的结果是视觉上

77、具有相似性的图像;这些不同导致了两者之间所使用的检索特征也不相同。如传统的基于内容的检索系统往往只注重视觉层面上相似性,颜色、纹理、形状等特征是其经常使用的;而对于交通视频中目标车辆的检索来说,由于在交通视频场景中干扰因素很多,例如阳光等因素。使得有些特征就不再适用了,比如说要在交通监控视频中要提取有效的车辆纹理特征非常困难。因而,在车辆检索中通常摒弃经常使用的纹理信息等特征,从用户的需求出发,重点提取车辆的颜色、几何以及边缘特征,并将这些特征综合的应用于车辆检索之中。提取颜色特征车辆颜色特征是检索中常用的特征之一,经常釆用该特征来实现车辆的识别与分类。为了有效的提取颜色特征,并将该特征应用的检索之中,我们往往需要考虑

78、以下几个问题:首先,要使用一个合适的颜色空间来描述颜色信息;其次,由于所提取的颜色信息往往数据量很大,因而需要采取有效的方法来对其进行定义和量化;最后,还要为所提取的颜色特征选取适当的相似度计算方法以便根据颜色特征能进行快速的匹配。在视频图像检索中颜色特征使用极为广泛,一般采用灰度直方图的方法对颜色特征信息进行描述,它是视频图像检索中最基本的颜色特征统计方法。灰度直方图用图像的灰度级来表示,每一种灰度级在直方图中代表着一种颜色分量,它表示图像中这种颜色分量具有的像素的个数,即灰度级的像素个数。从概率的角度来看,颜色灰度级出现的概率对应其在颜色直方图中出现的概率。那么就可以用概率密度函数来表示灰度直方图,用概率分布函数表

79、示直方图的累积和。概率分布函数可表示为概率密度函数:如果只从代表每种灰度级的像素个数来考虑直方图,则有如下公式:n融合车辆多特征的层次检索在式中代表的是第种灰度级的像素个数,那么图像的总面积或像素的总个数就可以用為来表示。概率分布函数与概率密度函数可以通过下面两个等式表达:—、十假设图像的像素总数为,灰度级为的像素数为,则图像的概率密度函数为:概率分布函数为:—根据概率分布函数,若图像具有灰度级,则大小为的图像力的灰度直方图可用如下方式计算:、厂;……在式中表示颜色灰度级为的像素总数,但由于这种灰度直方图是建立在颜色模型上的,并且这种颜色模型下产生的直方图是一个高维的向量,计算量大对存储空间要求也高。此外,颜色模型另

80、一个不利于颜色量化与分类的缺点是:当颜色改变时,三个分量都会产生非线性变化。因此,本文选择空间,该颜色空间能够很好的弥补颜色空间的缺点,是一个理想的工具。可以通过如下方法得到颜色空间。给定颜色模型的值为,,,则将其转化到空间n昆明理工大学硕士学位论文的,三个分量的计算方法如下:“咖厂■‘,,—,⑶“由于图像中所含的颜色信息很多,因此,在对颜色信息进行描述时往往需要先对其量化。量化后的结果在保证有效的对颜色特征进行描述的同时,还能够相应的减小计算量。本文中将三个分量根据人对颜色感知进行非等间距的量化。由于人眼一般对色调较为敏感,而对其他两个分量敏感度较低,因此,在量化的过程中,的量化级数相比其他两种要多。本文中将分量划

81、分为级,两外两个分量都划分为级,最后根据色彩的不同表示范围进行量化。具体量化如下:々,—、;,n融合车辆多特征的层次检索££量化后,将三个颜色分量合成一维特征矢量式中久和尺分别为分量和的量化级数,最后得到的一维特征矢量为:通过量化减小了亮度信息和饱和度信息对检索结果的影响。通过式可以得到颜色空间的种颜色的直方图。提取几何特征物体外部形状一般是人们认识事物的初级阶段,可以通过使用目标对象的几何属性、拓扑属性、和统计属性来描述物体或者对象的外在形状特征。因此,在机动车辆的检索中,车型成为一个非常有效特征因子,能够极大的提高检索的精确度。接下来,我们来研究如何通过车辆的几何特征来区分车型。从下图可以很直观的看到,利用车辆的

82、正侧面轮廓可以很方便的得到十分丰富的车辆几何参数,例如车辆的侧面面积、车辆的周长、外接矩形,车辆长度、高度、车轮半径等,具体可以参照图以及表:n昆明理工大学硕士学位论文钃图车辆侧面示意图将上图中的车辆侧面的相关信息进行总结,可以得到一个关于车辆侧面几何参数的信息表表车辆特征参数表参数类型参数名称车辆长度车辆前后边缘的距离长度顶棚长度车辆顶部的水平距离参数前悬车辆前轮与车辆前端的水平距离后悬车辆后轮与车辆后端的水平距离车辆高度地面与车辆最高突出部分的距离高度底盘高度车辆底盘最低点离地面距离参数车尾高度车辆尾部到地面的垂直距离轮轴车辆轮径车轮的直径参数轴距车辆同一侧相邻两个车轮中心线的水平距离外接矩形面积车辆外接矩形的面

83、积整体车辆轮廓长度车辆侧面图像轮廓的总长参数车辆侧面积车辆侧面图像的面积但是由于车辆自身存在阴影,所以我们很难得到车辆轮廓精准信息,特别是在车辆轮胎附近的信息,这些信息极易丢失或者模糊不清,因此,上表中一些信息并不能有效的得到,比如车辆底盘高度、车辆的前后悬以及车辆轴距等信息。所以,在实际应用中,最应该使用那些获取简单且精确度高的几何参数。这些参数有:n融合车辆多特征的层次检索、车辆顶长比车辆顶棚长度与车长度之比。此比值参数很适于车型的区分,因为各种不同类型的车所具有的顶长比一般来说差别都比较较大。、占空比它通过车辆外形轮廓面积与其外接矩形面积的比例来刻画,因为车辆外形特征有着较为复杂的边界。不同车型具有不同的。因此

84、,在车辆分类中可通过来区分一些车型。■、高长比即车高与车长之比。这三种归一化参数都能够用来表征不同类型车辆的特点。在车辆分类时,三个参数可以相互补充,搭配使用。例如在一些情况下单一的特征就很难区分出不同车型,例如面包车和集装箱货车,他们都有着非常接近的特征。因此,系统中先由特征大概分成几种不同车型,接着再使用特征进一步判断,从而就可以区分出那些先前无法区分的相似车型。下面对在上述三个计算公式中所使用的几个重要参数的计算过程进行简单的介绍:周长周长是指构成车辆轮廓长度。通常使用构成轮廓的所有像素点个数来表示周长信息。虽然这种基于像素的方法实现起来比较简单,但是该方法的缺点在于不能很好的处理图像边缘的转弯点,这样就会导致其

85、最终计算的周长值小于实际值。为了解决这个问题,本文采用方向链码方式计算车辆的周长,我们运用上、下、左、右像素间的距离为,对角线像素间的距离为,周长就是边界像素间距离的总和。其中,《为链码中的总码段数,为链码中的偶数段,为链码中的奇数段。面积所谓的车辆面积,指车辆轮廓包括轮廓以内区域的面积。当我们对车辆面积进行计算时,就是通过对车辆轮廓以内区域的像素个数进行计算来得到的。因为此前已经对图片进行了二值化处理,所以,实际上对车辆面积的计算就是统计像素值为的像素点个数。这里,在二值化处理中,用表示背景,用表示车辆,车n昆明理工大学硕士学位论文辆图像的面积只需要统计图像距阵》的个数。车辆的长和高本文需要测得车辆的长度和高度,具

86、体做法是先对已处理好的二值图像从左、右、上、下分别扫描,分别记下第一个像素不为的坐标七乃)、、、因此,在水平方向上乃凡,车辆的长度一,在垂直方向上、’车辆的高度开乂九。提取边缘特征通过节中对形状特征的介绍可知,形状描述通常可以分为两个:基于边界的和基于区域的。前者主要利用形状的外边界,后者利用整个形状区域。在前面一节中,已经对车辆的几何特征进行了提取,但提取的几何特征参数种类较少,描述相对简单,并不能完全确定物体的轮廓,因而在本文中用于车辆的初检,结果也往往比较粗糙。为了进一步的精确检索,就必须要提取完整的边缘信息。本文中釆用小波变换模极大值边缘检测法来描述图像的边缘信息。由于小波变换对奇异点非常敏感,而通常我们所说的

87、图像边缘信息,就可以把它们看作是所提取的图像中那些发生突变的点。在现实的应用中,通常是对小波变换系数的模极大值点或小波变换系数的过零点进行检测,将这些点提取出来,从而就得到到了我们所需要的边缘信息。设为二维平滑函数,通常将其取为高斯平滑函数,因为高斯函数具有无限平滑性的特点。小波函数定义为该函数在;与上的偏导数:闕设为一幅二维图像,将上式中所得的两个分量与的卷积定义为小波变换在与上的两个分量:★乎,)那么,我们就可以得到尺度上的模与幅角:n融合车辆多特征的层次检索由此可知,图像,被函数平滑后,在和少方向上的偏导数就是图像在行和列上的小波系数,图像的边缘点对应的模为局部极大值点,将这些点连接起来就得到了所要求的边缘信息

88、。但是,如何度量两幅图像边缘的相似度还需要进一步研究,因为,如果直接在小波变换域中进行图像之间的相似性度量的话不仅很困难而且计算上也十分复杂。而不变距方法中所列的区域中个不变距具有平移、尺度和旋转上的不变性,用它来描述小波变换后的边缘特征信息,能够达到较好的效果。不变距最先由提出来的,他通过使用中心距构造出个不同的变量,这里先介绍一下不变距的相关理论。定义设彳为不小于的任意两个整数,用,表示任意一幅图像,其在平面上的阶矩可以表示为:,——上式中的为图像的灰度,由上式可知,讲的值是由来确定的。定义由定义中不难看出,《本身是不具有平移不变性的,因而,这里我们将阶中心距定义为如下形式:少,定义在定义中的其含义通常是指函数在单

89、项式上的投影。但是对于数字图像来说,积分通常用求和的方式来代替。即对的表示如下:其中,,—,,,,为图像的中心坐标,表不为n昆明理工大学硕士学位论文少朱少)(义少少由此,可以得到归一化后中心距??为:‘其中,、以上所得的几何距和中心距都还不具有不变性,于是在此基础上提出了;的个不变距,这个不变距在被用于描述形状特征是都能够满足平移、缩放和旋转不变的特性,具体公式表示如下:¢对¢。¢。下面对对象边缘相似性度量算法的具体流程描述如下首先,通过使用小波变换得到图像在不同尺度下的模图像;其次,将所得到的模极大值点记录下来,最终形成不同尺度下的图像边缘息;将不同尺度下的所得的边缘图像的个不变距计算出来,将所有的不变距组合起来就

90、得到了我们所要求的图像的边缘特征向量;通过下面节所介绍的图像特征向量的归一化算法,对所得的特征向量进行归一化处理;在对图像进行边缘特征检索时,就可以通过计算两幅图像归一化后的特征向量的欧式距离来描述两幅图像之间的相似度大小。n融合车辆多特征的层次检索多特征归一化当在视频检索中应用多个特征进行检索时,如果不能消除特征向量内部以及各个不同特征向量之间的差异性,使其在检索中具有同等的作用和地位,那么会给检索带来很大不便,这些不便在于不方便进行相似度计算,并且还会因此造成计算上的误差增大,影响最终检索的效果。因此,在对图像进行检索和相似性匹配之前,特征向量的归一化处理是必不可少的。本节将着重对归一化算法进行介绍。内部特征归一

91、化内部归一化主要是针对某一向量内容的特征分量进行归一化处理,目的就是为了消除那些变化幅度较大的分量,从而达到了使各分量在检索中所处地位相同,避面那些变化较大值对相似度计算的干扰。下面对内部归一化方法的具体实现过程进行简单介绍。设一幅图像的特征向量为,一厶】(其中,特征分量个数),而二仏…,…人;!用来描述历幅存储在数据库之中的图像,因此,这里就可以把任意一幅图像的特征向量表示为::;!””…,厶;。用同样的方法来描述这样的幅图像,最终会得到一个的特征矩阵厂矩阵中,是的第个特征分量。由于尸的每一列长度都是因此计算其均值和标准差」,然后使用公式就可以将原序列归一化为分布的序列。‘“…外部归一化外部特征归一化则主要是针对特征

92、提取中所提取的不同类型的特征向量,该过程主要是为了保证不同类型的特征向量在综合检索中所处地位一样。实际上,就是对所存储的所有数字图像之间相似距离做归一化处理。具体思想如下:n昆明理工大学硕士学位论文将一幅图像的某一特征向量用…,八特征分量个数)来表示,,”贝来描述幅存储在数据库之中的图像信息,对的并对其进行外部归一化处理。具体的处理过程如下:首先,从数据库中任取两幅图像的特征向量,接着对所取的两个特征向量进行相似性距离的计算:,、,,,、且“)(其次,通过使用式,可以得到个相似距离值的均值和标准再次,将待检索的图像与数据库中所存储的各图像之间的相似性距离计算出来,最后,通过对,£进行高斯归一化,转化到的区间,再进行线

93、性变换,上标表示归一化结果:②—图像的相似性度量经过以上两步归一化处理之后,我们就可以得到图像的综合特征向量。利用归一化后的综合特征向量进行检索,大大提高了检索的准确率,相比单一特征检索,效果更好。假设为我们所要查询的图像的综合特征向量,…则是数据库中所存储的图像的综合特征向量。这里,将两幅图像综合特征向量进行欧式距离计算,将计算的最终结果看作是两图相似性程度,具体如下所示:⑷、,这里还可以通过进一步处理,通过使用式来更直观的来描述两幅图像n融合车辆多特征的层次检索间的相似程度。通过式的处理,将最终计算的距离值归一化到,的区间之内,所得结果越接近”,则说明两幅图像越是相似,反正,越不相似。肩达丨‘、八考虑到用户在检索

94、时,肯能会根据实际情况对不同的特征给予的关注度也不相同。为了方便用户表达这种需求,我们给不同特征可以设置不同的权重因子其中,,…来描述,具体如下:腿乂力”其中,这样,用户就可以通过对不同特征的权重因子值进行调整来表达自己的检索需求,描述自己不同的关注度。在方便用户表达需求的同时,也提高了检索的精确度。实验结果及分析本章实验图像的主要是从交通监控视频提取获得的。通过对交通视频进行关键帧提取,然后将提取的这些图像经过一系列的预处理之后,在利用上面介绍的特征提取算法对其不同特征分别进行提取,并将提取的这些特征值存入相应的数据库中,待检索时用于对象间的匹配。实验过程中,先利用几何特征进行初检,在初检基础上,再综合利用颜色和边缘

95、特征进行二次检索,并对比分析实验结果。利用车辆几何特征初步检索首先利用车辆的几何特征进行初步检索实验。具体操作是将获取的车辆图像经过第三章中一系列的预处理,把车辆分割出来通过上述介绍的几何特征求取方法,得到检索中所要使用的几何参数,并利用这些几何参数对数据库中的车n昆明理工大学硕士学位论文辆进行初步检索。实验结果是当读入需要检索的车辆后,系统会给出与检索对象几何特征相近的其他待检索车辆信息。如下图为要检索的车辆。图检索对象车辆几何特征初步检索部分结果图所示:关鍵幀夹型:车关鍵桢类型:年关键袖类型车关鍵幀类型年脑腿关鍵突型:车关鍵袖突型:年关鍵突型:车关鍵钺突型:车腿腿:腫初检部分结果关鍵帧类型:车关键桢类型卒关鍵楨类

96、型:车关鍵檢类型车祖碰下载关键《突车关《类型,车关键轴类型:年关鍵幀突型:车纖翻下载初检部分结果图几何特征检索结果综合颜色与边缘特征的二次检索从以上实验可以看出,单单使用几何特征虽然简化了计算,在时间效率上获得了很大的提升,但是,同时反映出初步检索的结果并不理想,结果中的一些车辆与被检索车辆差异性比较大,即精准率不够高。因此,本文在初检的基础上,通过归一化方法将颜色及边缘特征综合的应用到二次检索中,实验结果表明获得了较好的实验效果。二次检索初步检索的基础上进行的,同为图所示的图片,而结果上更n融合车辆多特征的层次检索令人满意。图是综合特征二次检索的结果。輸关键K类年关键类型,车关键类型£车关鍵类型:车腿关揉幀类型车关

97、键鹤実型:车关鍵类型芊关键幀类型:车證通图综合特征二次检索结果实验结果分析从上面两个实验结果对比可以知道:在初步检索实验中,简单的使用几何特征参数进行初次筛选,结果并不理想,出现误检较多。但是,由于初步检索具有计算量小,时间效率高等优点,而且能充分针对检索对象单一且对象几何特征明显、易得的特点,所以当面对交通监控视频这样庞大的数据资源时,往往能取得事半功倍的效果。通过这一步可以将数据库中那些在几何特征上存在明显差异的车辆排除在了二次检索的范围之外,有利的保障了整个检索的效率。在二次检索中将颜色和边缘特征进行了多特征归一化处理,使之能够被综合的应用到检索之中。虽然,计算相对复杂,时间效率较低,但在返回结果的精准率得到了很

98、大提高,与初步检索形成互补关系,使整个检索系统不论是检索效率还是检索的准确率双双得到了提升。本章小结本文首先介绍了几种检索常用的特征以及常用的颜色模型,重点介绍了视频图像中车辆图片的颜色、几何与边缘特征的提取方式。并针对交通监控视频的特点,采用层次检索,即初检与二次检索相配合的检索方式,优化了检索流程,使得系统不论是在检索效率还是检索的准确度都得到了很大的提升。同时也证明了融合多特征的检索效果比单一特征检索效果要好得多。n昆明理工大学硕士学位论文n系统设计与实现第五章系统设计与实现前面几章着重对交通监控视频中机动车辆检索中的几种关键技术进行了讨论与研究。接下来本章将在此前研究的基础上,简单介绍一下基于内容的交通视频

99、检索系统的基本框架,并对本设计所初步实现的检索系统原型进行详细介绍。本文检索系统的总体设计本文在以上研究的基础之上,综合了当前已有的研究成果,初步实现了一个面向交通领域的机动车辆检索系统原型。该原型初步实现了对交通监控视频中目标车辆的检索功能。系统总体设计要求一般来说,这个系统必须满足以下几点要求,否则不能称之为有效的视频检索系统。、系统应能灵活方便的满足用户的使用,用户可以很方便使用该系统进行视频图像的检索和查询,以及浏览想要的视频内容。、随着当前科技的快速发展,新的技术不断产生,因此,良好的可扩展性是系统必不可少的。、良好的可维护性和可移植性也是系统必不可少的两点。这对系统日后的修改与维护都有很大的好处。系统总体结

100、构本文所设计的检索系统主要由三部分组成,分别是:视频预处理子系统,视频查询子系统及数据库。系统结构如图所示。n昆明理工大学硕士学位论文视频预处理子系统视频查询子系统‘原始视频流丨用户!!!!关键帧提取丨用户界面丨!样例査洵浏览特‘提取—颜色特征————图髓読!!甲〒!边缘特征—丨相似性匹配非线性浏览!广、广视关荀频识—数据库图系统架构图该系统的检索流程是:当在视频库中加入一段视频流后,系统的视频预处理子系统会对这段视频自动的进行关键帧提取及特征提取等操作,将原始视频流结构化,最后将所提取的特征存入相应的数据库中。用户通过使用查询系统来提交自己的查询条件,系统会根据用户提交的查询条件在数据库中进行相应的检索,并将最终结

101、果反馈给用户。用户还可以通过使用系统中的浏览模块对数据库中的视频信息进行非线性的浏览。系统功能模块介绍、视频预处理子系统该子系统三个模块组成。下面分别对这三个模块的主要功能以及所要完成的工作进行详细的介绍。关键帧提取模块此前章节已经详细的介绍过,该技术就是为了从每个镜头中提取能够代表该镜头主要内容的一幅或几幅关键帧图像。从而,降低了对数据库存储能力的要求。图像预处理模块该模块主要是对提取的车辆图片进行相关预处理操作,为后续特征提取以及检索提供支持。特征提取模块该模块是为了对关键帧提取静态特征,并将这些提取的特征存入n系统设计与实现对应的数据库,为实现用户的查询打下了基础。、视频查询子系统从图可知,该子系统共分为六个功

102、能模块。其主要任务是根据用户提出的需求,将符合用户检索条件的图片或视频数据提供给用户,以供用户选择使用。用户界面主要是为用户提供检索的入口,接收用户的检索条件,相系统提供用户的反馈信息,并返回最终的检索结果。除此之外,还要能够为用户提供快速浏览功含。查询模块该模块是为用户提交查询而设计的。用户可以通过此模块提交所要查询的对象或者示例,也可以通过该模块来提交查询对象的特征信息。相似性匹配该模块通过使用一些相似性计算函数对检索图像之间的相似度进行计算,完成图像的匹配工作,为生成结果提供依据。结果生成模块该模块主要工作是将那些通过满足一定相似性条件的候选结果呈现给用户,并将与之相应的视频数据,一并返回给用户。非线性浏览该模块

103、主要功能是向用户提供方便的数据浏览导航功能。使用户可以自上而下的对视频节目进行浏览。用户还可以根据个人需要选择进入镜头层或者关键帧层来进行浏览和观看。、视频数据库视频数据库,主要包括:视频数据库,关键帧数据库,知识库。视频数据库主要用来存储原始视频流数据;关键帧数据库用来存储所获取的关键帧数据;知识库主要存放与各个领域、专业相关的先验知识以辅助对视频数据的分析及查询。本文检索系统的具体实现对于视频检索来说,由于视频本身是非结构化数据,对其处理时往往需要进行结构化处理,而且视频数据中含有复杂的语义及视觉特征,因而,为了使用户方便准确的描述自己的检索需求,良好的检索入口是必不可少的。也是本文的设计重点之一。下图是本文最终实

104、现的结果。n昆明理工大学硕士学位论文謹辆…一■■机动车辆检索系统工组文佴躺‘%狐乂?舰盔』、《纖格牲議舰办髓结果对細職频片段£目齡:££贿巾賺一■緊:?驚§£车辆检索系统相似结果图本文最终实现结果常用的视频检索方式在基于内容的视频检索系统中常用的检索技术有以下几种:关键字检索、关键帧检索、对象检索、视频段检索以及语义声音检索等。这些检索方式在原理上是基本相同的,都是通过计算机采集视频中的特征,进而使用这些特征来进行相似性匹配,最终达到检索的效果。用户通过检索,可以获得和检索样例相似性的结果,并且通过选定的相似结果来进一步浏览其相关的镜头或者视频信息。本文所选用的检索方式是通过对视频文件进行关键帧提取,并将关键帧通过一

105、系列预处理算法处理后,提取关键帧中对象的特征信息,比如颜色、几何和边缘特征等,并将这些特征存入到相应的数据库中。当用户进行检索时,通过使用这些存储的对象特征与用户提交的对象特征进行相似度计算,最终给出相似的结果。下面章节中我们将对这些检索方式进一步的进行介绍。本系统采用的检索方式本文所实现的检索系统中包含图中所列举的几种检索方式。用户根据各自需求选择要使用的检索方式,并最终完成检索目的。n系统设计与实现用户登录主界面选择检索方式丨‘‘一;关时视細似杂丢侃“糸糸返回检索结果图用户检索方式分类系统中的这几种检索方式可以相互结合使用,以达到更好的检索效果。下面将着重对这几种检索的检索原理和具体流程以及最终的实现结果进行详细

106、的介绍。示例检索所谓示例,是指用户所提交的用于检索的图片。系统会自动对检索的图片进行相关的特征提取,此处提取的特征主要是图片的颜色特征,接下来使用所提取的特征与特征库中所存储的关键帧特征进行匹配,最终检索结果按相似度顺序排列,返回给用户。具体流程如图所示。提例色特回交特特征相示征征匹似例提提配结取取菓图按示例检索步骤该过程所对应的检索页面如下图所示。n昆明理工大学硕士学位论文箭迭關上传的示例片丨二雜果中检蓄□霸£隱纏響彿組國」雇;縫—对闸年二£』二曰馳咖幅咖哩》丨—、,,关费祯类型人关鍵帧类型《人关供幀类型人关鍵校类型人相似度,相似度《相似度,相拟度斯纖腿觀下雔图示例检索页面图的示例检索主要是针对于那些运动对象在图像

107、中所占比例较小,对象的自身特征无法准确提取或者说不容易提取的情况。此时,转而对背景信息进行匹配,最终获得一系列的相似结果。系统将这些相似结果按照相似度的大小顺序的排列,返回给用户,供用户浏览使用。对象检索对象检索与示例检索正好相反,它主要利用对象自身的相似度进行匹配。一般来说,人们相对于背景信息更加关注场景中出现的运动对象,特别是本文所要研究的对象,因而本文重点对该检索方式进行了设计与实现。对机动车辆自身进行相应的特征提取,并将这些特征通过归一化处理,综合用于检索之中,对象检索的具体流程如图所示。利用对象自身特征进行检索,往往取得的效果更好,也更加有针对性。图所示的是本系统中所实现的对象检索最终结果。n系统设计与实现

108、提交对象图像预处理对象特征提取几何特征提取颜色特征提取边缘特征提取特征归一化特征匹配返回相似结果图对象检索步骤由上图可知,当用户提交对象之后,系统会自动根据需要提取对象的特征,并通过特征归一化方法将这些特征综合的应用到检索系统之中。最终系统会将检索结果按相似度进行顺序排列并呈现给用户。为了进一步缩小检索范围,更全面的满足用户的检索需求,系统还提供了一些参数供用户选择使用,如时间、地点等条件参数。这样在一定程度上提高了检索效率。对象检索:请餅要上传的示片眼!分类:睡瓶■!战对同日:对阄口二:一“她酬難,■咖丨如細』丨」:脚咖應“一‘—关鍵補突型军关键输车关鍵稱突型,车关键笑型苹相似褒,!相胃相相■—图对象检索页面使用对象

109、进行检索的方式,由于没有背景等因素的干扰,因此,一般使用这种检索方式可以获得较好的检索结果。n昆明理工大学硕士学位论文由于视频中的车辆是运动的,是一个动态的过程,因而具有一系列的动态特征,如车辆运动的轨迹信息等。如果我们在后续的检索中能进一步融合这些运动特征,就可以更加精确的检索到用户感兴趣的结果。视频段检索视频段检索技术是建立在视频层次之上的检索,与传统的图片检索有很大的不同,这种检索方式,在对完成视频特征提取以及相关的检索工作之外,还需要对视频文件进行一系列的处理。视频段检索的基本思想是首先提取被检索视频段的特征信息,然后通过使用相应的匹配算法,将提取的视频特征与数据库中其他视频段的特征进行相似度匹配,最终将检索

110、结果按照相似度顺序排列,并呈现给用户。目前,有以下几种常用的视频段检索方法:视频帧队列匹配方法、子样本帧匹配方法和基于镜头的关键帧匹配方法等。本文所实现的视频段检索中所使用的方法是视频帧队列匹配方法,该方法的具体检索流程如下图所示。在该方法中把视频分为片段和帧序列,利用帧图像的相似性来度量片段的相似性。益征征相提匹似取窶图视频段检索流程图下图为视频段检索页面。n系统设计与实现选择要上传的總片段;題屬起始对闲,年月日:明,咖十「換支森松矣播於“斤“关键検矣私车矢鍵楨类型:车关键输类型:年关键祯类型《车关鍵按突型,车:相似度相似度:相似度:。相似±潘放下栽■图视频段检索页面在视频段检索中,用户提交自己所要检索的视频段信息

111、后,系统会自动的对该视频段进行分割进而进行关键帧提取,并将这些提取的关键帧信息与数据库中的存储视频帧信息进行相似性比较,最终通过比较帧间的相似度来衡量视频段的相似度,最终返回相似的结果供用户浏览使用。实现该检索技术的关键在于视频关键帧的提取,提取的关键帧能够很好的反映视频的信息,那么检索结果的精确度也就自然很高。由此可见关键帧提取技术研究是非常重要的。视频浏览使用检索系统进行检索时,返回的结果往往都是静态的数字图像信息,那么用户所能看到的信息是十分有限的。因此,为了方便用户获取更多、更加丰富的信息,本系统中提供了视频浏览功能,用户通过浏览功能,可以查看检索结果所对应的关键帧信息、以及该关键帧所对应的事件过程和完成的视频

112、信息。具体如图所示。n昆明理工大学硕士学位论文视频分类按视频的拍摄地点进行分类。二二」运动目标从进入场景到离开场景的事单%整个过程醫提取故事单元的关键帧,用关键帧来代表故事单元。对关键帧进行对象分割,提取关键帧中的对象。图视频层次结构图根据上图的层次结构,本文在下一节中对视频浏览的具体实现过程进行了详细的设计与描述,最终通过编程方式将其实现。关联视频段浏览的设计与实现当前,随着视频监控技术的快速发展和广泛的应用,各地也在争相建设城市的视频监控网。而本文所涉及的道路交通监控系统便是城市监控网络的一部分,在现代化建设中起到了至关重要的作用。它对交通的实时监控,不仅及时的为交警部门提供了交通状况,也为城市的规划提供了大量的

113、第一手资料,所以其意义是不言而喻的。但是,多媒体信息在提供丰富的信息同时,也带来了检索上的困难,传统的人工检索方式在面对如此海量的视频文件时,显得无能为力。不仅效率低下,而且耗费人力物力巨大,最重要的是很难及时的获取想要的信息,降低了办案的效率。本文在此需求下研究并设计了面向交通领域的车辆检索系统,上一节中对交通监控视频中目标机动车辆的检索工作进行了介绍,本节将就如何通过检索的目标图像找到其关联的视频文件进行简单的介绍。下图为道路监控系统的结构图。n系统设计与实现各路段监控笛端丨交通监控控制中心;■■睡”一盘录黴机(腿)太■!?;!…专…襻串奈》用户中心用户‘、■州》。道路监控结构图图道路监控系统结构图要想顺利的实现

114、对交通监控视频的处理,并通过静态目标的检索得到其所关联的视频文件,就必须对交通监控视频存储方式等进行详细的了解。硬盘录像机是当前交通监控中大量使用的一种设备,它本身具有录像、图像存储、云台控制、网络传输等功能,是道路监控系统的重要组成部分。由于其采用数字记录技术,从而为后续相关的图像处理工作提供了极大的便利。首先,我们对其进行简单的介绍。硬盘录像机硬盘刻录机(,即数字视频录像机,相对于传统的模拟视频录像机,采用硬盘录像,故常被称为硬盘录像机,也被称为。它是一套进行图像存储和处理的计算机系统。下图所示的是一个路硬盘录像机图八路硬盘录像机n昆明理工大学硕士学位论文硬盘录像机功能及存储方式在实现关联视频段检索中,本系统大量

115、的基于硬盘录像机自身所具有的功能,并且目前大部分的产品都会提供其,支持二次开发,这也为我们实现对视频文件的进一步处理提供了方便。当前,已经幵发出众多应用于系统的软件,其中著名的软件包括花生壳、等。硬盘录像机具有监视功能、录像功能、报警功能、控制功能、网络功能、密码授权功能、工作时间表功能等。硬盘录像机将拍摄的视频文件以数字记录方式存储在硬盘之中,它对于视频文件的存储方式通常有分段存储和按时间存储两种方式。对于分段存储,可以人为的设置视频段的大小,如、等。对于按时间存储来说,通常文件大小的是由所设定的时间段来决定的,如分钟、分钟等。其命名上也是根据时间点来实现的,如年月日点分秒录制的视频,那么这段录制的视频就被命名为“同

116、时会根据拍摄的设备不同,进行归类,不同设备拍摄的视频会分别存储,方便了查找。下图是硬盘录像机所存储文件的示意图。曰期丨〖摄欲机下疾耔換力以”下載官理器傲;一’安:图存储示意图硬盘录像机以上功能以及其存储文件的方式,为下一步关联视频的查找提供了基础。我们通过对检索系统中所提取的关键帧图像所属视频的路径进行记录,并一同保存在数据库中,来实现关联视频段的浏览。还可以进一步对所提取的关键帧的序号及视频n系统设计与实现播放时间进行计算,实现按时间点播放。下面对视频段查找及浏览的流程进行介绍。视频段检索流程为了提供更加丰富的信息,系统中将检索出的相似结果所关联的视频段一并返回给用户,供用户浏览使用。这样使用户可以更加全面、直观的

117、判断和了解所要检索的信息,提供尽可能全面的资料。下图是检索的流程图。待检索对象;特征提取乂特征提取颜色特征视频数据库」‘介儿何特征:边缘特征关键对应匹配检索信息视频存储路径丨视觀丨关籠序号特征数据库‘图关联视频段检索流程该检索的具体流程为:在系统中通过对待检索对象相关检索之后,会返回一系列的相似性结果,通过这些相似性结果所对应的视频信息,如视频的存储路径等,可以进一步查找到该视频的位置。由于内部视频的存储是通过时间点来命名的,所以,进一步通过相关函数对该视频播放时间长度进行计算,再利用所获取的关键帧序号,便得到该关键帧所处的时刻,最后通过的回放功能播放出来。实现结果在上一节中对关联视频段的检索流程进行了设计和简单的介绍

118、,下图是最终实现的结果,对于检索中所使用的视频播放时间的计算过程如下:一!n昆明理工大学硕士学位论文,”已播放时间”’’’’,;’’已播放时间’’;”已播放时间一机‘动车辆检素系统界面■嫩‘——賴稱—另漏—一—纖腿!——示例检索雜择《上传的示例租片—……:“純对间丨脑,年‘,月,肚咖测’年日◎科—£与困片相伽文件舰拍费域点,关《矣车关蟥矣车关矣娶,车关《耗矣车相『说八相度:相抓驗拍播搁,拍播对象,车“—图关联视频段检索本章小结本章首先介绍了传统的基于内容的视频检索系统基本框架,并在此基础上给出了本n系统设计与实现系统的总体架构设计。并在文中对本系统中所实现的几种检索方式进行了介绍,最后,为了给用户提供更加全面、丰富

119、的检索信息,还实现了关联视频的浏览功能,并对其实现的原理和过程进行了详细的介绍。n昆明理工大学硕士学位论文n总结与展望第六章总结与展望随着多媒体技术的发展和互联网络时代的到来,使用传统的方法获取信息越来越不能满足当前发展的需求。如何从海量的信息中获取有用的信息成为人们所关注的热点,特别是对于多媒体信息,所含信息量比以往任何时候更多也更加复杂。而基于内容的视频检索技术的产生使得对视频信息进行有效的检索成为了可能,得到了广泛的关注。而交通视频中机动车辆检索技术在此基础上应运而生,在很大的程度上方便了交通监管工作,对违章肇事车辆完成了有效的检索和追踪。该领域所涉及的知识非常广泛,不论是理论研究上还是在实际应用中都还面临着

120、众多的问题。本章在对全文工作进行总结的基础上,对后续的研究进行了展望。工作总结本文主要针交通监控视频的特点研究了其中所涉及的几项关键技术。并在此研究基础上构建了一个基于内容的交通监控视频检索系统,初步实现了车辆检索系统的原型。概括来讲,本文主要取得以下研究成绩:本文深入的研究了相关的车辆预处理技术与算法,对视频及图片进行了相关的预处理,为车辆特征的提取提供了方便,使后续工作顺利进行,使实验结果基本达到预期的目标。针对机动车辆目标提取颜色、几何和边缘特征,着重研究了特征的量化及分类方法,有效的类化了机动车辆,为用户检索做好准备。通过特征归一化的方法,将提取特征进行了归一化处理,使其能综合的应用到检索系统之中。并采用层次化

121、检索的方式,优化了检索的流程,提高了系统的检索效率和检索的准确率。针对交通视频的特点,采用了一种基于运动面积的关键帧提取方法,并在该方法中引入了虚拟检测线技术,进行了进一步优化,使之可以高效地提取交通视频中的关键帧。一定程度上解决了传统方法不适用于交通监控视频中关键帧提取的问题。本文以上研究的基础上,设计了一个面向交通领域的车辆检索系统,并初步实现了一个原型系统。在系统中提供了几种不同的检索方式,方便用户表达检索需求。n昆明理工大学硕士学位论文工作展望本文在交通视频中机动车辆检索关键技术的研究上仍有一些问题有待于进一步的探索和研究。下一步的工作重点主要有:在特征提取方面,由于颜色特征会随着外接环境的变化而产生相应的改

122、变,所以,物体颜色的恒常性问题是车辆颜色提取所面临的一个难题,当前还没有找到有效的方法来解决这个问题。本文所设计的检索系统原型中所使用的特征均为静态特征,因而在后续的研究中可以综合使用更多的动态特征,例如车辆的速度以及运动轨迹等。同时,还可以结合当前的车牌识别技术进一步完善该车辆检索系统。当前,为了方便视频数据的存储和传输,大部分视频都是以压缩的形式存储,而检索中所要使用的一些特征往往是在非压缩域上提取的。这样,当我们对视频数据进行处理时,往往会在解压缩上花费较多的时间和精力,不利于系统的实时效果。因而,研究如何直接对压缩视频进行结构化的处理就具有了很重要的意义,该方面也是今后研究的一个重点领域。n致谢本论文所有的研

123、究工作都是在我的导师李勃教授的悉心指导下完成的。值此论文完成之际,首先向李老师表示诚挚的敬意和衷心的感谢。在两年多的研究生生涯中,我一直受到李老师的悉心指导和无微不至的照顾,不仅使我在科研上取得了很大进步,而且还教会了我更多做人的道理。李老师渊博的学识、敏锐的思维、严谨的治学态度、丰富的工作经验和高瞻远瞩的科研理念是我受益终生的宝贵财富。特别是在毕业设计期间,我从课题的选题、幵题,研究方法的研究再到硕士论文的撰写和定稿,每一步都是在李老师的耐心指导下完成的。在此,我要向李勃老师及李玉惠老师表示真心的感谢与祝福,祝您们身体健康、家庭幸福,工作顺利。感谢李玉惠老师,刘辉老师,他们渊博的知识和不拘一格的思路给予我很大的启迪与

124、帮助。感谢实验室的陈文军、张颖、马小菊、封巍、韩擎宇、陈胜和其他同学,是他们为我承担了一部分工作,我才有更多的时间进行学习和研究,感谢所有在研究生期间帮助我的同学和朋友。感谢我的母校昆明理工大学培养了我,以及给我们提供了良好的学习环境。感谢各位评审专家及老师在百忙之中对本论文的评阅与指导。最后要感谢父母的养育之恩以及对我一如既往的理解、支持与关心。n昆明理工大学硕士学位论文n参考文献参考文献张继雄典型的平安城市视频监控系统解决方案中国公共安全,金红,周源华基于内容检索的视频处理技术中国图形图像学报,,:章毓晋,陆海斌视频分层组织方案和技术中国工程科学,,:老松杨刘海涛等视频检索综述,数字图书馆论坛,年第期白雪生,张

125、子银,徐光祜,杨士强,史元春数字视频特技镜头转换检测算法的分析软件学报刘春祥,贾克斌,基于模式的网络视频检索系统设计与研究,北京工业大学电子信息控制与工程学院,李红英基于内容的图像和视频检索技术研究及其系统实现。湖南师范大学硕士学位论文,胡鸿飞基于视频检索技术的公路景观信息管理系统的研究东北林业大学硕士学,,冯运生基于内容的视频检索系统的比较和研究北京大学,,::n昆明理工大学硕士学位论文::,:,,,:,:,:常发亮彩色图像分割与复杂场景下视觉目标跟踪方法研究山东大学博士学位论文董玉冰动态目标跟踪方法的研究与实现吉林大学硕士学位论文,卞志国,金立左,费树岷等基于特征组合的视觉目标跟踪东南大学学报:自然科学版,封化民

126、,方卫,刘森等视频分割和关键帧提取统一框架清华大学学报自然科学版,朱爱红,李连基于内容的视频检索中的镜头分割技术情报杂志,n参考文献,,,彭利民基于自适应阈值的聚类算法提取关键帧研究上海应用技术学院学报,,王耀南,李树涛等计算机图像处理与识别技术北京高等教育出版模式识另丨北京:电子工业出版社,,,,,,,章毓晋图像分析北京:清华大学出版社,,,,,n昆明理工大学硕士学位论文,,,方勇基于内容的视频检索关键技术研究上海交通大学博士学位论文罗国兵基于内容的视频检索算法研究华中科技大学硕士学位论文王洪君,任秀丽基于对象形状特征的图象检索松辽学刊(自然科学版年第期,,,吕凝,基于内容的视频数据库多模式检索方法研究,吉林大学

127、博士论文,赵亚琴,周献中,何新利用等价关系理论进行视频片段检索的方法中国图象图形学报赵亚琴,江莺,基于内容的视频段检索技术研究,图形图像n附录附录攻读学位期间公开发表的论文王正玉,李勃,张明辉基于车辆特征的关键帧提取方法研究微型机与应用张明辉,王清心,王正玉基于的数据库数据导入导出方法的研究与实现现代电子技术,欧玉容,张力,王虎,王正玉基于单片机与无线智能控制交通灯的设计陕西科技大学学报n昆明理工大学硕士学位论文n附录附录攻读学位期间参与的科研成果昆明市西山区规模养殖场网络化信息管理系统平台建设畜产品质量安全保障监管平台建设,项目合同编号软件著作权《规模养殖场养殖网络化信息管理系统》,登记号

你可能关注的文档
关闭