资源描述：
《基于角点特征的人群聚集事件与行为检测算法的研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。
国内图书分类号：TP391.4学校代码：10213国际图书分类号：004.9密级：公开工学硕士学位论文基于角点特征的人群聚集事件与行为检测算法的研究硕士研究生：何丽文导师：徐勇教授申请学位：工学硕士学科：计算机科学与技术所在单位：深圳研究生院答辩日期：2013年12月授予学位单位：哈尔滨工业大学万方数据 ClassifiedIndex:TP391.4U.D.C:004.9DissertationfortheMasterDegreeinEngineeringDETECTIONOFCROWDGATHERINGEVENTSANDBEHAVIORBASEDONCORNERFEATURECandidate：LiwenHeSupervisor：Prof.YongXuAcademicDegreeAppliedfor：MasterofEngineeringSpecialty：ComputerScienceandTechnologyAffiliation：ShenzhenGraduateSchoolDateofDefense：December,2013Degree-Conferring-Institution：HarbinInstituteofTechnology万方数据 哈尔滨工业大学工学硕士学位论文摘要随着近年来公共场所恐怖事件和暴力事件的频发，如何保障公民在公共场所的人身安全已经成为人们关注的一个重要话题。政府为了提高公共场所的安全性，实施了各种安全防护措施，包括在公共场所安排人员巡逻和安装摄像头监控，这些措施都是通过增加人力来进行防护。随着近年来智能视频监控领域技术的不断发展，人们可利用计算机视觉系统对监控场景进行智能监控，节省了大量的人力物力。公共场所的群体性事件受到了政府等各级部门的重视，而群体性事件的前兆都是大量人员的聚集，所以如何检测人群聚散事件成为本文的研究课题。本文从如何描述场景中人群开始。由于人群场景个体多，形态各异，遮挡光照等因素影响很大，无法通过分割人群个体并对个体进行分析。我们对人群进行整体考虑，通过提取人群角点来表示人群个体，作为人群事件检测的基础，后续的事件检测都是通过对角点特征进行分析得到的。本文提出了两种基于角点的人群聚集事件检测算法。第一种是基于角点的凸包表示法的人群聚集事件检测算法。通过对角点进行聚类分析，将具有相似运动形态的人员聚集到一起进行整体考虑，用凸包表示每个类簇，然后对各个类簇的相互运动趋势进行分析进而判断是否有聚散事件发生。第二种是基于人群角点面积的人群聚集事件检测算法，通过角点面积来表征人群分布的聚散程度，而人群角点面积容易受到无关个体的影响，通过引入加权机制降低无关个体对角点面积影响。实验和测试结果表明：两种人群聚散事件检测算法各具优势，角点面积法实现简单，速度快；而凸包表示法检测精度高，抗干扰能力强。关键词：聚集事件；疏散事件；角点；角点面积；凸包；聚类-I-万方数据 哈尔滨工业大学工学硕士学位论文AbstractRecently,moreandmoreterroristeventsandviolentincidentshappenedinpublicplaces.Therefore,itbecomesavitalproblemtoprotectthesafetyofthepeopleinpublicplaces.Thegovernmenthadtakenalotofsecuritymeasurestoreducetheincident,includingtoarrangestaffpatrolinpublicplacesandinstallCCTV.However,thosemeasuresneedlotsofhumanandmaterialresources.Asthedevelopmentoftechnologyofintelligentvideosurveillance,peoplecanmonitortherealscenariobyusingthecomputervisionsystem.Itsaveslotsofmanpowerandmaterials.Ittakesmoreandmoreattentiontodealwiththecrowdeventbygovernmentdepartmentsatalllevels.Thepremonitionofthecrowdeventiscrowdgathering,soitbecomesourresearchtopictodetectthecrowdformationandevacuation.Thedescriptionofthecrowdisfirstintroducedinthisthesis.Manyfactorsaffectthesegmentationofthecrowd,includingplentyofindividualsindifferentshapes,occlusion,illumination,etc.Therefore,wedealwiththecrowdasawhole.Weusethecornersasthebaseofthecrowdeventdetectiontorepresentthecrowd.Thefollowingcrowdformationandevacuationdetectionisbasedonthecorners.Twocrowdformationandevacuationdetectionmethodsareproposedinthisthesis.Thefirstistheconvexbasedcrowdgatheringdetectionmethod.Cornerwhichhasthesimilarmotionisclusteredasawholebyusingclusteralgorithmandrepresenteachclusterasconvex.Afterthat,wedetecttheformationandevacuationeventaccordingtothemutualmovementtendencyofeachcluster.Theotherisaweightedcornerareadetectionmethod.Thedistributionofthecrowdisdescribedbythecornerarea.However,thecornerareaiseasytobeaffectedbyunrelatedindividuals.Hence,weintroducetheweightedmechanismtoreducetheinfluenceofunrelatedindividuals.Accordingtotheexperimentsandresults,thetwomethodsmentionedabovehavetheirownadvantages.Thecornerareamethodiseasytoimplementandhasafastdetectionspeed.Whiletheconvexbasedmethodcandetectcrowdgatheringeventmorepreciselyandhasstronganti-interferenceability.Keywords:crowdformation,crowdevacuation,cornerpoints,cornerarea,convex,cluster-II-万方数据 哈尔滨工业大学工学硕士学位论文目录摘要..............................................................................................................................IABSTRACT................................................................................................................II第1章绪论...............................................................................................................11.1课题来源及研究的背景和意义....................................................................11.1.1课题来源.............................................................................................11.1.2课题研究的背景及意义.....................................................................11.2国内外研究现状............................................................................................21.2.1国外研究现状.....................................................................................31.2.2国内研究现状.....................................................................................41.3论文的主要工作............................................................................................5第2章人群特征提取...............................................................................................72.1运动前景检测................................................................................................82.1.1帧差法.................................................................................................82.1.2背景差法.............................................................................................82.1.3高斯背景建模法.................................................................................92.1.4光流法...............................................................................................102.2角点检测......................................................................................................122.2.1Harris角点检测................................................................................132.3本章实验......................................................................................................142.3.1角点提取实验...................................................................................152.3.2噪声角点滤除...................................................................................162.4本章小结......................................................................................................17第3章凸包表示法检测人群聚集事件.................................................................183.1光流法角点跟踪..........................................................................................193.2人群建模......................................................................................................193.2.1角点聚类...........................................................................................203.2.2类簇的凸包表示...............................................................................213.2.3二次聚类...........................................................................................253.3事件识别......................................................................................................273.4本章小结......................................................................................................29-1-万方数据 哈尔滨工业大学工学硕士学位论文第4章聚类角点面积法检测人群聚集事件.........................................................304.1目标角点提取..............................................................................................304.2角点面积计算..............................................................................................314.3聚散事件检测..............................................................................................324.4聚类角点面积法..........................................................................................334.4.1聚类角点面积算法流程...................................................................344.4.2权重计算方法...................................................................................354.5本章小结......................................................................................................37第5章实验与分析.................................................................................................385.1算法评测准备工作......................................................................................385.1.1开发环境...........................................................................................385.1.2视频数据库.......................................................................................385.1.3算法评价指标...................................................................................395.2凸包表示法的聚集检测实验......................................................................405.3聚类角点面积法的聚集检测实验..............................................................415.4本章小结......................................................................................................43结论...........................................................................................................................44参考文献...................................................................................................................46攻读学位期间发表的论文.......................................................................................50哈尔滨工业大学学位论文原创性声明和使用权限...............................................51致谢...........................................................................................................................52-2-万方数据 哈尔滨工业大学工学硕士学位论文第1章绪论1.1课题来源及研究的背景和意义1.1.1课题来源伴随着全球经济的飞速发展，世界各国无论在生活质量上，还是在医疗技术水平上都得到了巨大进步。人口生育率的不断上升以及死亡率不断降低，造成了世界人口数量呈现指数增长形式。最新的人口统计资料显示，1960年，世界人口数量突破30亿，到2012年，世界人口已经超过了70亿。在短短的五十年里，人口数量增长了超过一倍。人口数量的增多和人口密度的增大，伴随着一系列社会问题的产生，集体事件发生的概率也在不断增加。集体性事件主要包括非法聚集、踩踏、集体斗殴等。近年来，全球各国发生集体性事件的频率逐年上升，这不仅给社会造成了不良影响，而且还给人们的人身安全产生了极大的威胁和伤害。所以，如何保障公共场所的安全成了政府部门越来越关心的问题。各国政府实施了一系列的积极方案来避免人群事件的发生，维护人身安全和社会秩序。例如在安全事件频发地段安装摄像头、增加人手巡逻等。但是就目前采取的措施来看，存在许多缺点，首先公共场景很多，纯粹依靠人手巡逻的话需要耗费大量的人力和物力；其次，监控人员的工作态度也对事件是否能及时发现有较大的影响。在我国，随着社会经济的不断发展，人口数量也产生了井喷式增长。与此同时，群体性事件发生的频率也在逐年增加。为了构建和谐社会，各级政府部门非常重视公共场所的安防措施的建设，于是提出了希望开发一套能够智能检测人群聚散事件与行为的系统。1.1.2课题研究的背景及意义随着人口的高速增长，社会利益冲突不断，人群事件越来越常见。在一些一线城市中，人口密度非常之高，在这些地方发生群体性事件的概率很高。特别是在繁华大街、大型商场、体育场和大型工厂等地段，经常发生重大人群事故，引起人员伤亡和财产损失。所以大量人群聚集会增大意外事件发生的概率。2012年9月，富士康（太原）工业园区发生一起员工集体斗殴事件。参与斗殴人数达到两千多人，持续时间达四个小时。事件造成十余人受伤，园区内-1-万方数据 哈尔滨工业大学工学硕士学位论文超市和大门被毁。同时园区内的生产车间和警车也受到不同程度的损害。事件给富士康公司的财产和人员造成了损伤。近几年，由于中日钓鱼岛争端问题的不断加深，全国众多城市举行了声势浩大的反日游行示威活动。有些激进分子借机进行对公共财产进行打砸等破坏活动。这些破坏活动不仅扰乱了社会秩序，而且危害了公共安全。2004年春节前，北京密云县密虹公园在举行迎春灯展的过程中发生踩踏事件。这次特大群体性事件造成了三十七人死亡，十五人受伤。通过查看近十年的《社会蓝皮书》，发现我国人群事件从数量上和参加人数上都呈现不断扩大的趋势。2005年发布的《社会蓝皮书》中统计，从1993年到2005年，我国在人群事件发生数量上增加了十倍之多。1994年之后的十年间，在参与人数方面翻了四倍多。从总体上来说，目前国内社会形势已经基本保持稳定状态。但是群体性事件还是一个突出问题，群体性事件发生的可能性还是很大。因此，如何在人群事件发生的不同时期采取不同的措施进行处理，是政府部门十分关心的问题。在群体性事件发生的前期主要工作是进行群体性事件的防范和预警；在群体性事件发生的中期的重点是进行人群疏导，实时跟踪和事态控制；在群体性事件发生的晚期进行秩序恢复和重建，以及跟踪反馈，[1]防止事件再次发生。在我国大中城市里，视频监控系统在安防工作中发挥了十分重要的作用。目前，视频监控系统已经遍布各种公共场合，包括商场、大街、公园、广场等。传统视频监控主要通过安排专人职守视频监控室来达到监测目的。由于每个监控室监控场景众多，而职守工作人员的精力和积极性都是有限的，遗漏一些重要信息也是在所难免的。鉴于上述原因，大量的监控视频在实际应用中仅仅只起到“事后查询”的作用，没有起到实时预警的作用。计算机各领域技术的前进带动了智能视频监控技术的不断进步。智能视频监控技术通过结合计算机视觉、图像处理、模式识别等领域的知识到视频监控中，提高了视频监控系统的智能化水平。智能视频监控的主要研究内容包括目标检测、目标跟踪、行为分[2]析和识别等，成为了近几年计算机视觉研究领域的一个热点方向。1.2国内外研究现状人群聚集事件检测是基于视频的行为检测，隶属于智能视频监控。智能视频监控系统通过预先安装好的摄像头获取实时场景图像，然后对场景中的目标进行实时检测、跟踪和分析等。如果发现检测目标的行为违反一定的规则则进行相应的预警。智能视频监控的最大优点就是无需人为的干扰，整个过程都是通过计算机进行处理。智能视频监控技术结合了计算机视觉、模式识别、图像-2-万方数据 哈尔滨工业大学工学硕士学位论文处理和人工智能等相关领域的技术。智能视频监控技术的发展是建立在这些研究领域技术的不断完善和快速发展的基础上。由于智能视频监控具有很广的应用范围和很高的应用价值高，近几年该领域已经成为了国内外的热门研究领域。虽然如此，鉴于智能视频监控的复杂性，目前国内外的智能视频监控系统还处于初级研究阶段。其中在异常群体性事件的分析和检测方面的技术还很不成熟。国内外只有少部分院校和研究机构进行了相关领域的研究，基本还都处于刚刚起步阶段。1.2.1国外研究现状恐怖袭击事件一直以来都是令各国政府部门头疼的大事，从“911”恐怖袭击事件开始，先后出现了印尼巴厘岛连环爆炸案，伦敦地铁爆炸案，莫斯科市场爆炸案和波士顿马拉松爆炸案等重大恐怖袭击事件。这类事件不仅危害社会秩序，同时造成大量的人员伤亡，这使得反恐问题成为了世界各国共同关注的问题。各国政府意识到安防的重要性，开始加大了城市的安防建设，智能视频[3]监控系统在其中发挥越来越大的作用。对于人群聚集事件和行为的检测，各国政府都给与了足够的重视。在政府的推动下，各国学者开始对人群相关事件进行研究。目前常用的群集事件分析的框架如图1-1所示。[4]图1-1人群事件分析框架对于人群行为方面的研究，国外的研究主要涉及到人群信息提取、人群建[4]模和事件分析。人群信息提取主要涉及人群密度与数量估计、人群识别和跟-3-万方数据 哈尔滨工业大学工学硕士学位论文踪等方面。人群密度与数量估计主要使用的方法有基于人群像素数和目标边缘[5][6]的估计方法和基于纹理的估计方法。人群识别包括人群个体的人脸和头识别，[6]以及行人和人群识别。人群建模又分基于视觉和非基于视觉的建模方法。较[7]有效的非基于视觉的建模方法有社会力模型（SocialForceModel）和人群动[8]力学模型（CrowdDynamicsModel）。在实际应用方面，近年来国外大批学者开始从事事件检测和行为分析的研[9]究中，并取得了一些成果。美国国防研究局开发了视频监控监测系统VSAM（VideoSurveillanceandMonitoring），用于智能的对城市和战场场景视频进行[10]自动理解；美国马里兰大学开发了一套实时检测跟踪系统W4，该系统可以检测人并对其进行跟踪，同时还可以识别出行人的一些简单行为。英国雷丁大学（UniversityofReading）先后研究了REASON（RobustMethodsforMonitoringandUnderstandingPeopleinPublicSpaces）、ETISE（EvaluationofVideoUnderstanding）、ISCAPS（IntegratedSurveillanceofCrowdedAreasforPublic[11]Security）等项目。这几个项目的主要研究内容为基于视觉的个体和个体之间[11]的交互行为识别和场景理解等。1.2.2国内研究现状我国对智能视频监控的研究相对于国外较晚，只有十几年的发展历史。目前国内很多高校和研究所也都成立了图像处理、模式识别和计算机视觉相关领[1]域的实验室。在人群聚集事件与行为检测方面，国内也是这两年刚刚开始研究，相关研究人员较少，可查阅的论文也是有限。目前人群分析方面的研究主要集中在人群密度估计、人群人数统计等方面。[12,13]在人群密度估计方面，有用神经网络构建分类模型的方法，也有使用纹理[14][15][16]分析的方法。在人数估计方面，马尔科夫随机场和多元回归模型都被用来统计人数。对于人群事件等较高层的行为检测方面，国内研究的更是少之又少。虽然[17]人们已经提出了基于运动向量交点的人群聚散事件检测算法,基于角点面积[2]的人群聚散事件检测改进算法，基于分层马尔科夫模型的聚散事件检测算法[18][19,20]和基于联合熵的人群聚集检测。但是这些都只限于一些理论上的研究，现在理论还没达到可以在实际环境下检测率高的效果，实际的安防产品更是还没有涉及到这方面的产品，不过倒是成为了各大安防公司的重点研发产品。-4-万方数据 哈尔滨工业大学工学硕士学位论文1.3论文的主要工作人群聚集事件与行为检测主要研究内容包括判断人群聚集和疏散事件，以及人群聚集以后的一些实时行为。对于实时视频行为分析，本文提出的方法都是基于图1-2所示的总体处理框架。首先，通过摄像头获取实时场景的视频图像，然后对视频帧图像进行预处理，包括去噪、平滑、前景提取等。接着对预处理好的视频进行特征提取，提取一些对不同行为具有较好区分度的特征。提取好了特征以后，我们有两种事件决策方式：一种是直接进行事件识别，这种方式一般都通过求出一个决策量，然后根据决策量进行事件识别；另一种方式是通过训练样本进行分类器训练，然后根据训练好的分类器进行事件决策。视频帧输入帧图像预处理特征提取分类器训练分类器事件识别图1-2视频行为分析流程图本文主要针对人群群体性事件进行分析和识别，检测的重点为人群聚集和疏散事件。由于在稠密人群中个体受遮挡等因素影响很大，很难对人群个体进行分割。而角点可以克服这样的缺点，所以本文提出的检测聚散事件的方法都是基于角点的。根据提取的角点特征的不同，我们使用了两种不同的方法进行人群聚散事件检测。本文主要的主要内容如下：第一章绪论主要介绍课题的来源，以及课题的研究背景及其意义。同时也分析课题在当前国内外的研究现状，然后介绍了论文的主要工作。第二章主要介绍了本文所设计算法的基础性工作，即人群特征提取。本文后续提出的人群聚散事件检测算法都是基于角点信息的，所以本章介绍了有关-5-万方数据 哈尔滨工业大学工学硕士学位论文角点提取的方法，并详细讨论了Harris角点提取算法。同时由于我们检测的是人群行为，所以需要提取人群前景。本章简单介绍了目前应用较广的几种前景提取方法：帧差法、背景差法和光流法。同时还对这些方法的适用场合进行了比较。第三章主要阐述了凸包表示法进行人群聚散事件检测。与第三章不同的是，本章以角点的运动特征作为基础，通过提取角点的运动特征，然后对运动特征进行聚类，对同一类的角点用凸包进行表示，最后问题简化为人群凸包间的事件检测。本章首先介绍了进行角点跟踪的光流法，然后详细描述了用凸包法进行人群建模的过程，期间还介绍了DBSCAN聚类算法和点集凸包的求法。最后提出了用凸包表示法进行人群事件识别的方法。第四章为本文提出的一种改进的人群聚散检测算法。算法主要是计算场景中人群的角点面积。算法的出发点是根据人群在聚集和疏散过程中人群角点分布情况来考虑的。角点面积可以在一点程度上反映人群的分别情况，所以本章主要阐述如何根据角点面积变化来进行人群聚散事件的识别。第五章主要是对实验结果评价指标进行说明，并对前面几章介绍的人群聚散事件检测方法的进行了实验，说明本文所提出的算法的可行性和有效性。最后对本文的工作进行了总结，并对未来的工作进行展望。-6-万方数据 哈尔滨工业大学工学硕士学位论文第2章人群特征提取由于公共场景下人群都比较嘈杂，特别对于人群密度较大的场所，就目前的技术而言，想分割出每个单独的行人个体是很困难的。然而为了进行人群事件分析，我们必须提取人群的一些特征，根据提取的特征进行事件分析。由于我们检测的是人群的整体行为而非人群中个体的行为，所以我们没有必要对人群个体进行精确分割，但需要找到一些有效的特征来表示人群。由于兴趣点是一些具有很好的区分度并且能够鲁棒的检测出来的特征点，对于人群的表示，兴趣点是一个较好的方法。我们可以用提取出的兴趣点来粗略表示人群的个体，然后通过分析每帧图像中兴趣点的一些运动特征来进行事件分析。兴趣点在很大程度上简化了人群个体表示的难度，成为人群行为分析的基础性工作。由于我们检测的兴趣点只在人群区域，非人群区域的兴趣点对于人群行为分析没有意义，所以我们需要首先判断出人群所处区域，然后再定位出其中的兴趣点。这里又引出了一个新问题，即人群区域定位问题。在计算机视觉领域，我们一般通过前景提取的方法进行人群定位。本文提出的人群聚散事件检测方法是基于兴趣点的，基于兴趣点的人群聚散事件识别步骤一般包括兴趣点检测、兴趣点特征提取、聚散事件分析和聚散事件识别，具体框架如图2-1所示。前景提取兴趣点检测目标兴趣点获取聚散事件特征提取聚散事件识别图2-1人群聚散事件检测流程前景提取和兴趣点检测是后续事件检测的基础性工作，如何精确的定位兴趣点和前景成为影响后续事件识别的重要因素。下面我们先介绍前景提取方法，然后再介绍角点提取的方法。-7-万方数据 哈尔滨工业大学工学硕士学位论文2.1运动前景检测在智能视频监控中，通常第一步就是提取运动目标的前景区域，后续的事件分析处理都建立在前景区域上。目前，在计算机视觉领域，提取目标前景的[21]常用方法主要有帧差法、背景差法和光流法三种。三种方法在定位人群区域上各具优势，选择合适的前景检测方法对于后续的兴趣点提取也有密切的关系。为了描述三种常见的前景检测方法，我们首先在这里定义Ix,y,t表示t时刻像素点x,y的强度。2.1.1帧差法帧差法通过计算视频序列相邻两帧视频帧图像的差图像，来获取视频序列[22,23]的变化区域，是一种从视频中检测运动目标的简单实用方法。两帧差法的计算如公式（2-1）所示。1ifIx,y,tIx,y,t1ThreshFx,y（2-1）0otherwise其中Fx,y为帧差法计算出的前景图像，1表示前景点，0表示背景点。Thresh为前景阈值。帧差法的前提是必须保证视频帧图像中背景是固定的，这样帧间的差异就可以用来表示运动目标的运动情况，否则会产生很多“假前景”。帧差法又分为两帧间差法和三帧间差法，三帧间差法可以有效降低由两帧间差法产生的噪声。帧差法的优点是检测前景计算量少，速度快，对于不需要精确定位前景的应用是个不错的选择。帧差法的缺点是不能提取出完整的运动目标。当运动目标移动缓慢时，由帧差法提取出的运动目标内部容易产生空洞现象。帧差法不能提取出静止目标，当一个运动目标在某处停止运动时，目标在帧差法检测结果中就会消失。此外，帧差法还容易受到环境因素的影响。在人群聚集事件检测中，有时候我们仅仅需要处于运动状态的角点，而且无需得到所有的运动角点，此时使用帧差法最适合，并且帧差法的速度优势也可以发挥出来。2.1.2背景差法在进行视频处理中，我们把需要分析的目标，例如行人，车辆等，作为前景，而其它静止或者变化缓慢的称为背景。背景差法正是抓住了这点，将视频帧图像看成前景和背景两部分组成。背景差法首先必须选定一幅图像作为背景，-8-万方数据 哈尔滨工业大学工学硕士学位论文而且这幅图像中不能含有运动前景。已知背景图像BI，背景差法的计算公式如[22,24]下1ifIx,y,tBIx,yThreshFx,y（2-2）0otherwise由于摄像头和背景的固定性，我们用每一帧图像减去背景图像，即可得到前景图像。这种方法的优点是操作简单、快速，当背景稳定时，可以得到很好的检测效果，同时还能够检测出视频中的静止目标。但是在实际场景中，背景往往不是稳定的，背景受环境因素影响很大，例如光照的变化。而且在很多情况下，我们很难获得一张纯净的背景图。在人群聚集事件检测中，有些人群场景的背景是比较固定的，比如地下车库等地方，我们可以获取固定的背景，然后使用背景差法获取相应的前景区域，此时获取的前景区域是非常精确的，而且计算速度快，在实时性要求很高的场景下较其他前景检测方法有较大的优势。2.1.3高斯背景建模法在实际的视频处理中，由于背景图像获取的困难性和背景图像的变化性，我们一般不使用直接背景差法，转而使用更具鲁棒性的背景建模方法。背景建模方法较直接的背景差法的最大优势在于可以通过不断更新背景图像来适应环境因素的变化。使用广泛而且效果较好的背景建模方法是高斯背景建模。由于环境的复杂性，绝大部分背景像素点不能用一个高斯背景模型来描述，[25][26]Friedman和Stauffer几乎同时引入了高斯混合模型。若干个高斯函数通过加权得到混合高斯模型，可以用来描述像素点的多峰状态。混合高斯背景建模适用于背景会发生缓慢变化的场景，例如光照渐变、树木摇摆等场景。但是高斯背景建模的运算量大，检测前景时容易产生“鬼影”问题，同时容易将阴影当作运动前景。[26]Stauffer等人提出的混合高斯背景根据视频帧中每个像素点在时域上的分布情况来构建其相应的颜色分布模型，从而达到背景建模的目的。场景中，每个像素点用K个高斯分布的组合来建模，某个像素点在t时刻像素值为X的t[26]概率为KPXX,,（2-3）ti,tti,ti,ti1其中为t时刻第i个高斯模型的权重，和分别为t时刻第i个高斯模型i,ti,ti,t-9-万方数据 哈尔滨工业大学工学硕士学位论文[26]的均值和协方差矩阵，为高斯概率密度函数1T11XttXttX,,e2（2-4）tn12222其中n为X的维度，I为协方差矩阵，为标准差，I为单位矩阵。t将所有的K个高斯分布按照i由大到小排序，然后选择排序结果中的前i[26]B个高斯分布作为背景模型bBargmin(T)（2-5）i,ti1其中T为权重阈值。对于一帧新图像，将每个像素点分别与K个高斯分布进行比较，如果它与[26]背景模型之间有2.5倍标准差的差异，那么将其标记为前景像素点。由于场景中的背景随环境的变化也不断发生着变化，前期训练的背景模型可能不能很好的适应新的背景。因此需要对其进行背景更新，需要更新的参数[26][26]包括权值、均值和方差。更新公式为：(1)M（2-6）i,ti,t1i,t(1)X（2-7）tt1t22T(1)(X)(X)（2-8）tt1tttt其中，如果K个高斯分布中第i个模型和当前模型相匹配时M为1，否则为0，i,t为学习速率。在混合高斯模型中，高斯分布的个数K的选取十分重要，过多的模型个数虽然能够增加模型的鲁棒性，但是同时会影响建立模型和更新模型的性能，很难达到实时性的要求；如果模型个数K过少，不能很好的处理多摸场景。在人群聚集事件检测中，有时候我们不仅需要知道运动前景区域，而且也需要获取静止的前景区域，这样就能够提取出运动和静止人群区域的角点。而场景又容易受到光照、树木摇动等环境因素的影响，在这种情况下，使用混合高斯背景建模法进行前景提取具有较好的效果。2.1.4光流法光流是用来描述由观察者和场景的相对运动所造成的观测目标内部或者边缘的运动。光流法在图像处理、计算机视觉和模式识别中有着非常重要的作用，-10-万方数据 哈尔滨工业大学工学硕士学位论文[27]可以用来进行运动检测、目标分割、计算碰撞时间与物体膨胀等。光流法通过检测像素点在不同的时间点上的位置变化来判断目标运动的速度和方向。假设在某个时刻均有一个二维的向量集合x,y,t，表示坐标位置x,y在t时刻的瞬时速度，Ix,y,t表示t时刻点x,y的强度。在很短的时间t内，x,y分别增加x,y，即像素点从位置x,y移动到位置xx,yy。假设像素点[28]的强度保持不变，则有如下关系式IIIIxx,yy,ttIx,y,txyt（2-9）xytIxx,yy,ttIx,y,t（2-10）由以上两式可得IIIxyt0（2-11）xytIxIyIt0（2-12）xtyttt最终可得出结论IIIVV0（2-13）xyxyt这里Vx和Vy是x和y的速率，也称为Ix,y,t的光流。光流法根据选择特征范围的不同，通常可分为基于特征点光流场和基于全[28]局光流场两类方法。L-K（Lueas&Kanada）法和H-S（Hom&Schunck）法[29]是基于全局光流场中最典型的两种方法。在得到全局光流场后，通过比较运动目标和背景之间的运动差别，从而用光流对运动目标进行分割。全局光流法的缺点是计算量大，很难满足高实时性要求的需求。特征点光流法通过匹配连续帧之间特征点位置来计算其光流。由于提取特征点少，所以计算量也小，响[30]应速度快。特征点光流法缺点是少量的光流场不能准确定位出运动目标形状。光流法虽然可以作为前景提取的一种方法，但是由于其计算量大，在大多数情况下，我们不会使用它来进行前景提取。光流法的最大作用在于能够计算出图像的速度场，进而可以获取图像的局部运动特征或者整体运动特征。光流法在人群行为检测中起到非常重要的作用，可以通过光流法计算角点的运动方向和大小来进行个体分析，也可以将相似的运动状态的角点进行整体考虑，获取整体运动信息，进而进行事件分析。还有很多前景检测的方法，这里只是介绍用的较多的几种方法。在我们后续的人群聚散行为的分析中，我们需要根据前景检测的准确性和实时性两方面-11-万方数据 哈尔滨工业大学工学硕士学位论文进行考虑选择哪种前景提取的方法提取人群前景。如果检测场景的背景是固定不变的，我们可以选择使用直接的背景差法进行前景提取；如果只需知道人群运动的大概位置，并且算法实时性要求较高，我们可以选用帧差法；如果我们需要准确的检测人群前景区域，并且实时性要求不是特别高，我们可以选用高斯背景建模的方法进行前景提取。2.2角点检测兴趣点一般是图像中具有代表性的点，它们处在的位置比较特殊并且一般能够鲁棒的检测出来，它们能够较好的表示图像的关键信息。在图像处理中，常常只提取出感兴趣的点来进行研究，从而可以减少处理时间，加快算法处理速度，使系统的实时性更好。由于角点具有可准确定位的优点，我们一般提取图像的角点作为兴趣点。角点作为图像中一类具有代表性的特征点，在图像分析中发挥着重要的作用，并得到了广泛的应用。在计算机视觉领域中，角点检测通常作为一种图像特征提取方法，也称为[31]特征点检测。角点检测主要应用在运动检测、图像匹配、视频跟踪和目标识[31]别等领域中。角点检测算法主要分为基于灰度图像的角点检测、基于二值图[31]像的角点检测、基于轮廓曲线的角点检测三类。本文角点检测算法采用的是基于灰度图像的角点检测方法。在图像处理中，我们一般可以将平面上的点分成3类：角点、边缘点和平坦区域。我们可以用以下比较通俗的方式理解它们。我们用l表示图像水平方向上的梯度，l表示图像在垂直方向上的梯度。xy然后我们对角点，边缘和平坦区域进行定义，三个定义如下：角点：在水平和垂直两个方向上梯度值均较大的点，lx和ly即都较大。边缘：仅在水平或仅在垂直方向梯度值较大，即lx和ly只有其一较大。平坦地区：在水平、垂直方向的梯度值都较小，即lx和ly都较小。我们用图2-2进行说明。图中，1为角点，2是平坦区域，3为边缘。132图2-2理想的角点，边缘和平坦地区示例-12-万方数据 哈尔滨工业大学工学硕士学位论文[32]角点提取的方法有很多，比较常用的有Harris角点检测、Forstner角点[33][34][35]检测、Susan角点检测、KLT角点检测。由于Harris角点检测计算简单，提取的点特征分布均匀而且合理等优点，我们在后续的人群行为分析中使用Harris角点检测算法提取角点。2.2.1Harris角点检测[36]Harris角点检测算法是基于Moravec角点检测算法提出的改进。Moravec角点检测算法具有如下缺陷：计算的强度值不具有各向同性，窗口是方形并且二元的。针对Moravec角点检测算法的缺陷，C.Harris和M.Stephens提出了[32,37]Harris角点检测算法，算法步骤如下：（1）计算每个像素点的水平梯度值X和垂直梯度值Y；（2）用下式估计每个像素点的梯度协方差矩阵2AXKx,y（2-14）2BYKx,y（2-15）CXYKx,y（2-16）其中表示二维卷积，Kx,y为高斯核，定义为公式（2-17）222Kx,yexp((xy))/2（2-17）协方差矩阵定义为公式（2-18）ACM（2-18）CB记和分别为M的特征值中较大者和较小者。根据矩阵M特征maxmin值的大小可以分成下面三种情况：a）特征值max和min都大，说明像素点在各个方向上的梯度值都大；b）特征值max大，min小，说明像素点的梯度值只在某个方向大；c）特征值max和min都小，说明像素点在各个方向上的梯度向量都小。（3）根据上面的原理，定义角点响应函数R。2RdetMktraceM（2-19）detM（2-20）minmaxtraceM()（2-21）minmaxk为一系数，实验中我们取k0.04。R只与M的特征值有关。当R为大数值正数时可判断为角点。当R为大数值负数时输入角点处于边缘。当R为小数值时角点处于平坦区域。-13-万方数据 哈尔滨工业大学工学硕士学位论文（4）求出了图像中每个像素点的角点响应函数的值后，使用以下两个条件选择图像的角点：a）对角点响应函数R进行阈值处理，选择RThreshold的像素点。b）提取出的像素点的角点响应函数R为局部极大值。使用上述阐述的Harris角点检测算法对图2-3a）进行角点提取，可以得到如图2-3b）所示的角点提取实验效果，图2-3a）为进行角点提取的原始图片，图2-3b）为使用角点提取算法后得到的图片。图中小圆点即为角点。从实验效果来看，Harris角点检测算法提取的角点能够很好的描述图像具有代表性特征的分布，这给特征分析和识别提供了很好的基础。a）原始图片b）提取角点图图2-3角点提取实验效果图（红色点为角点）2.3本章实验在图像处理中，角点能够很好的描述图像的关键信息，使得我们在分析图像的时候，不必关注图像的每个像素点，大大加快了算法处理的速度，所以我们后续的人群行为分析都是基于角点的运动进行事件分析的。-14-万方数据 哈尔滨工业大学工学硕士学位论文2.3.1角点提取实验在人群行为分析中，我们用到的是PETS2013数据库，由于提取出的角点为整个图像的，这其中包含人群和环境中的角点，而我们进行人群行为分析所需的角点为人群中的角点，所以需要将环境背景中角点滤除掉，以免对后续的分析产生影响。这里我们分别使用2.1节介绍的前景检测方法中的帧差法和背景建模方法提取人群前景，然后用人群前景作为掩膜算子进行背景角点滤除操作。由于不同的前景提取方法在速度和提取效果上各不相同，适用的场景也不同，以下我们分别对场景中前景是运动的和含有静止前景的两种情况进行实验，并简单阐述这些方法如何适用到后续的人群聚散检测中。对于图像中人群都是运动的情况，我们分别使用帧差法和背景建模法进行前景检测，然后用检测出的前景作为角点掩膜算子，进而使用Harris角点检测算法提取前景区域的角点。实验结果图如图2-4所示。zhikuquan20150807a）帧差法检测的前景b）基于帧差法掩膜的角点图c）高斯背景建模检测的前景d）基于高斯背景建模法掩膜的焦点图图2-4帧差法和高斯背景建模作为前景掩膜提取角点对比图从图2-4的对比图可以看到，对于运动前景，帧差法和高斯背景建模法都-15-万方数据 哈尔滨工业大学工学硕士学位论文能够较好的运动区域的前景。帧差法检测的前景有空洞，但是检测速度快；背景建模检测的前景比较完整，但是检测速度上比帧差法要慢。在我们第三章提出的基于凸包表示的人群聚散检测法中，由于我们无需得到非常精确的前景区域，而只需提取运动区域前景，所以我们选择速度更快的帧差法作为前景提取方法。对于图像中人群有静止的情况下，我们同样使用帧差法和背景建模法进行前景检测，然后进行角点提取。实验效果图如图2-5所示。a）帧差法检测的前景b）基于帧差法掩膜的角点图zhikuquan20150807c）高斯背景建模检测的前景d）基于高斯背景建模法掩膜的角点图图2-5帧差法和高斯背景建模作为前景掩膜提取角点对比图从图2-5可以看出，在图像中含有静止人群时，使用帧差法不能够很好的定位出静止的人群区域，而使用高斯背景建模法却可以很好的对静止人群进行定位，所以在第四章中，我们使用的角点面积法进行人群聚散检测时，由于要得到比较精确的前景区域角点，我们使用高斯背景建模进行前景提取。2.3.2噪声角点滤除由于前景检测不能达到非常精确定位前景区域，在所难免的会将一些背景-16-万方数据 哈尔滨工业大学工学硕士学位论文当作前景，如风吹树动、光照变化等。所以在含有噪声的前景区域由于纹理变化较大，会引入一些背景区域角点。离人群区域较近的角点对人群行为分析影响较小，而离人群较远的角点却会对人群行为分析产生极大的影响。如图2-6b）所示，高斯背景建模提取的前景区域包含由于风吹树动所引起的噪声前景（左上角圆圈圈出位置），这使得提取的前景角点包含噪声点。a）前景角点b）前景区域图2-6前景掩膜包含的噪声点为了解决上述问题，我们根据背景噪声一般面积都比较小而且孤立的特点，通过提取前景轮廓，计算每个连通域的面积大小在一个大范围内所占的比例，然后根据预先设置的阈值进行噪声zhiku消除。但是阈值不能设置的过大，不然quan20150807一些真实的前景也会消除。这种方法的缺点是无法消除远处的行人或者车辆等大面积噪声点。2.4本章小结本章主要介绍了人群行为分析所需的一些基础工作，包括前景提取和角点检测。本章首先介绍了前景检测的几个常用方法，包括帧差法、背景建模法和光流法，并分析了这几种方法各自的优缺点已经适用的场景。接着介绍了Harris角点检测方法，该方法提取角点具有较少的计算量，并且提取的角点分别均匀。由于提取的角点是图像中位置比较特殊并且具有代表性的点，这些点不仅包括运动区域的点，同时也包含背景区域的点。在实际的事件分析中，我们只需要运动前景区域中的角点来表征人群，所以我们通过使用前景检测算法提取的前景区域作为角点掩膜算法。最终提取的角点为运动区域角点，前景区域中的角点即作为后续事件分析的特征点。本章末尾还通过实验对不同前景提取算法作为角点掩膜算子提取的角点情况进行了对比。-17-万方数据 哈尔滨工业大学工学硕士学位论文第3章凸包表示法检测人群聚集事件人群集体性事件一般发生在人群嘈杂的地段，并且发生的前提是有一定数量的人群出现。在这样的场景下，如果对人群进行个体分割处理，由于人群个体存在遮挡并且形态各异，不仅得不到很好的分割精度，而且使用这些个体信息无法很好的检测聚散这种集体事件。本章提出了一种检测人群聚集和疏散事件的方法。方法通过提取个体的局部信息，用聚类的方法整合成人群的整体信息，然后根据人群的整体信息进行事件检测。人群个体的局部信息主要通过提取角点的运动向量来表示，然后使用基于密度的DBSCAN聚类算法将具有相似的运动向量的局部特征进行聚类，提升为整体信息。最后将整体运动特征用凸包进行表示和简化，进而计算各个凸包之间的相互运动关系，从而可以对场景中的事件进行检测。方法的主要创新点在于对人群进行聚类后，采用了凸包这一有效的方法对人群进行表示。在此之前，人群都使用矩形或者圆形进行表示，没有学者将凸包引入人群聚散检测问题中。提取出人群角点的凸包后，我们不仅可以定位出人群位置和大小信息，还能对人群运动信息进行简化，不用考虑人群内部角点的运动信息，而只需用到凸包顶点上的有限个角点的运动信息来表示人群。这样不仅节省了保存角点信息的内存空间，同时也极大的降低了后续事件检测的时间复杂度。表示完每个人群类簇后，整个场景中的人群被聚集到了几个有限的类簇，文献[38,39]都是直接使用一次聚类的结果进行事件检测，而我们实验发现，由于很多类簇在第一次聚类中没有聚到一个类中，其实它们具有相近的运动信息，只是距离没有满足一次聚类的条件而没有聚到一个类中，这样的类簇信息在后续的事件检测中会降低聚集和疏散事件的检测概率，我们希望这样的类合并为一个，于是我们进行了二次聚类，采用的聚类算法还是DBSCAN，这样也就对人群行为进行了进一步简化。用凸包进行人群表示的人群聚集事件检测算法流程图如图3-1所示。后续各小节将对算法的每个步骤进行详细说明（步骤一已在第二章中进行说明）。至于角点掩膜算子，我们使用帧差法得到的前景区域作为掩膜算子。之所以这么做，一是因为我们后续的方法无需用到精确的人群角点，二是因为提取出的角点需要进行聚类分析，在使用DBSCAN聚类算法进行聚类的时候，我们可以将环境中的角点作为噪声滤除。使用帧差法进行前景检测是所有前景检测中速度最快的一个。由于帧差法可能容易引起空洞问题，我们对帧差法的结-18-万方数据 哈尔滨工业大学工学硕士学位论文果进行了形态学膨胀操作，这样可以得到更多的前景区域角点。视频帧图像运动角点检测光流法角点跟踪人群建模（凸包表示）聚散事件检测图3-1凸包表示法人群聚散事件检测算法框架3.1光流法角点跟踪提取完角点后，我们需要获取角点的运动信息，比如角点运动方向，运动[28]速度等信息。我们首先采用Kanade-Lucas-Tomas特征跟踪方法跟踪角点，但是发现这个方法检测的角点运动不是很准确，并且还容易受光照变化的影响。[40]对该方法进行改进后，用金字塔实现的Kanade-Lucas-Tomas特征跟踪方法的效果得到了很大的改进，能够检测具有不同速度的运动角点。用KLT跟踪每个角点在连续的两帧的走向，并且提取相应的运动向量。我们采用文献[38]中给出的运动向量表示方式，定义如下运动向量VV,V,,VVX,Y,,M（3-1）12nkkkkk其中n表示提取的角点数目，V表示第k个角点的运动向量，X,Y表示第k个kkk角点的横纵坐标，表示第k个角点的运动方向，M表示第k个角点的运动强kk度。3.2人群建模在人群嘈杂的公共场所，人群行为往往具有群体性，如果我们只是根据提取的角点来分析人群行为，会有很多弊处，一个是提取的运动角点过多，而且含有由于环境因素引起的噪声角点，这势必加大了算法的处理难度和增加算法的处理速度，保存众多的角点需要的内存空间也会很大；另一个是如果将每个角点的运动信息分开处理，会对人群事件产生片面的理解，而这些片面信息有-19-万方数据 哈尔滨工业大学工学硕士学位论文可能是由于算法的计算误差引起的。我们首先建立人群模型，将具有相似的运动特征的角点进行聚类，然后我们用一个凸包来表示一个类簇，一个类簇的信息只由凸包上的角点信息来描述，然后将每个类簇看作一个整体来考虑。由于对角点进行了聚类，而每个类簇由有限个凸包顶点确定，无需考虑凸包内部的角点，这样做能够大大降低算法的时间复杂和空间复杂度。3.2.1角点聚类人群行为一般都是群体性的，所以距离较近的个体之间运动形态相似，我们根据角点的运动向量进行聚类，使具有相同或者相似运动形态的个体聚成一个簇，然后观察整个簇的运动形态。聚类模型包括：连通性模型，例如层次聚类；质心模型，例如k-means算法；分布模型，例如EM聚类；密度模型，例如DBSCAN和OPTICS聚类算法[41]。通过聚类模型可以衍生出对应的聚类算法。人群的运动模式可能是长条形的，也可能是是弯曲的（例如，遇到障碍物时），也就是说，人群整体具有连续但不规则的形状，所以，用普通的基于距离的聚类方法（例如k-means），是不能将具有相似运动模式的人很好的聚类在一起的。我们这里采用文献[42]提出的基于密度的聚类方法DBSCAN。基于密度的DBSCAN聚类算法具有如下优点：首先DBSCAN可以处理簇个数未知的情况，其次是可以发现不同形状但是面积相连的类簇，最后DBSCAN还能够快速有效的处理噪声点。DBSCAN聚类算法的主要缺点是需要手动设置两个参数Eps（最小距离）和MinPts（最少点数），这两个参数对聚类的结果会造成影响。DBSCAN聚类算法的思想就是，通过寻找点集D中的某个核心点作为一个类簇的起始点，通过密度可达性，不断扩展类簇中的点，直到没法在扩展为止，即找到了一个完整的类簇。文献[42]提出的DBSCAN聚类算法实现步骤如下：（1）初始化：确定输入参数Eps,MinPts，类簇数ClusterId0，点集D中的所有点的类标CId都标记为未被聚类UNCLASSIFIED。（2）遍历点集D中的第i个点pti（第一次i1）。如果i小于点集D中的点数进入（3），否则跳到（5）。（3）如果点pti的类标CId不为UNCLASSIFIED，ii1，返回到（2）；否则，进行（4）。-20-万方数据 哈尔滨工业大学工学硕士学位论文（4）从点pt扩展类中的点，如果能够扩展成一个类，则找到了一个新类，iClusterIdClusterId1，并将从点pti扩展的所有点的类标CId标记为ClusterId；否则将点pti的类标CId标记为噪声点NOISE。ii1，返回到步骤（2）。（5）算法结束。2DBSCAN的时间复杂度为On，若使用R*-tree来计算某个点的邻域，可以将查询的时间复杂度从On降到Ologn，最终DBSCAN的平均时间复杂度[42]为Onlogn。使用上述的DBSCAN聚类方法对角点运动向量进行聚类，经过角点聚类之后，我们可以排除一些比较独立的噪声点。然后得到图像角点运动向量的聚类结果C。CC,,CCV,,V（3-2）1cii1iPNi其中，c表示类簇的个数，Ci表示第i个类簇，PNi表示第i类的角点数目。Vij表示第i类中的第j个角点运动向量，定义如公式（3-1）。用DBSCAN聚类算法对视频进行聚类时，由于提取的角点运动向量V具有多维，我们需要聚类的运动向量在位置上相近，并且在运动方法和大小也要相近。我们定义两个运动向量Vi和Vj的距离为一个三维向量Distde,da,dm，实验中，只有距离向量的每维都小于一定的阈值才能认为两个向量是相似的，即同时满足以下三个条件：22（1）dV,VXXYYThresheijijije（2）dV,Vmin,2Threshaijijija（3）dV,VMMThreshmijijm实验中我们取MinPts3,Thresh40,Thresh,Thresh9，图3-2为聚ea5m类效果图，从图中可以看出，通过使用DBSCAN能够较好的将运行相似的角点进行聚类。3.2.2类簇的凸包表示为了描述每个类簇的角点分布面积大小，我们可以用已知的规则的几何图像来包括一个类簇的所有角点，例如圆形，矩形等，但是我们发现一般的人群分布都不是规则的集合图形，例如人群在公路上行走时，人群分布是一个长条-21-万方数据 哈尔滨工业大学工学硕士学位论文形的，如果用圆形来描述的话，势必圆内有很大部分空洞，所以不能准确的描述人群分布范围；人群聚集成一堆的时候，形状也可能是类椭圆形，如果用矩形来描述的话，也会有很多的空白区域。a）原始图片b）聚类效果图图3-2DBSCAN聚类算法对角点进行聚类效果图为了解决上述问题，我们引入凸包，用凸包来描述相应类簇的分布区域。由于具有相似运动形态的群体的内部个体的运动行为受到群体外部人员的限制，其运动形态与外部个体相似，所以我们可以用凸包的顶点表示类簇的边界，凸包顶点的信息表示类簇的运动信息。无需考虑凸包内部的角点，这样将极大的减少后续事件检测的时间复杂度和空间复杂度。-22-万方数据 哈尔滨工业大学工学硕士学位论文点集凸包的概念为：给定平面上的一个（有限）点集，这个点集的凸包就[43]是包含这个点集中的所有点并且面积最小的凸多边形。[44]凸包的计算方法有很多，比如包裹法（Jarvis步进法），Graham扫描法[45][46]，Kirkpatrick–Seidel算法等。我们选择常用且速度快的Graham扫描法，时间复杂度为Onlogn。[45]下面介绍Graham扫描法求点集凸包的具体算法步骤。给定平面上的有限点集Ss,s,,s，我们要求的S的凸包记为(S)。Graham扫描算法流程12n[45]图如图3-3所示。点集S查找最左下角的点sk交换点s与sk1计算其它点与点s的极角，并按极角1的从小到大排序点集点s与s进栈12i<=nYN点p与p为栈的栈顶两元素12i++s严格在直线pp的左边i12s进栈p1出栈iYN结束图3-3Graham扫描法求凸包的算法流程图-23-万方数据 哈尔滨工业大学工学硕士学位论文将上述的求解点集凸包的算法用到我们的视频分析中，将同类型的角点聚类后，对每个类簇进行凸包求取，可以得到的效果图3-4。a）人群聚集b）人群同向行走图3-4人群的凸包表示通过求的图像序列的运动角点聚类簇的运动向量，我们可以定义一个类簇（运动方向，运动速度，簇角点数目）。经过聚类后，使得原来的很多个相似的单个角点聚成了一个簇角点，一般情况下，剩下的簇角点总数都不会很多，这对于进一步的处理起到了很好的简化作用。求完了点集的凸包后，我们用凸包上的顶点表示相应类簇的运动信息，重新定义人群的运动向量为CC12,C,,Cc（3-3）其中，类簇C的定义参见式（3-2），C表示类簇C的凸包，定义如下iiiCV,,VVX,Y,,M（3-4）ii1iCNiijijijijij-24-万方数据 哈尔滨工业大学工学硕士学位论文其中，Vij表示类Ci凸包上的第j个顶点，CNi为凸包上顶点数。于是我们可以舍弃包含在C凸包内部的角点运动信息，只需保存凸包上的i顶点的运动信息。由于凸包上顶点的数量很少，排除了凸包内部角点后，不仅降低了存储众多角点运动信息的内存消耗，同时也加快了后续事件检测的速度。接着，我们可以对问题进行简化，对于每一个类簇，我们可以根据类簇凸包上角点的统计特性来表示。这里我们用下式来表示整个图像的运动向量：CVCV1,,CVcCViXi,Yi,i,Mi,Ai（3-5）[47]用下式计算簇中心坐标X,Yii1CNiXiXijXij1XijYij1Xij1Yij（3-6）6Aij11CNiYiYijYij1XijYij1Xij1Yij（3-7）6Aij1[48]类似地，簇平均方向CNisinjj1（3-8）iCNicosjj1[47]每个类簇的面积大小，即凸多边形的面积计算公式如公式（3-9）1CNiAi(XijYij1Xij1Yij)（3-9）2j1其中XiCNi1Xi1，YiCNi1Yi1。运动强度Mi用凸包顶点的平均强度表示。用凸包表示类簇之后，我们将原来图像上的每个类簇的所有角点缩减为相应凸包的顶点，而每个凸包我们使用凸包的中心点表示，这使得原问题得到了极大的简化。图3-5显示了对图3-2中角点运动向量进行凸包表示的效果图，每个运动向量代表一个凸包所表示的一个类的整体运动向量。3.2.3二次聚类在接下来的3.3节我们介绍的事件识别方法中，我们通过分析各个类簇之间的相互运动情况来进行事件识别，由于经过DBSCAN的一次聚类后，产生的类簇有可能距离较近，运动方向相似，这类运动向量在进行事件检测时会影响事件概率，即同向的两个类簇被认为是同向行走事件，这大大增加了人群行走事件的概率，也即降低了其他事件的概率。如图3-6a）所示，最左边的两个簇-25-万方数据 哈尔滨工业大学工学硕士学位论文向量和最右边的两个簇向量运动形式相似。图3-5凸包中心表示类簇的整体运动情况为了解决上述问题，我们提出了二次聚类的方法，将具有相似运动形态的簇向量再次进行聚类，这不仅可以进一步减少类簇的个数，而且能够进一步简化事件分析的难度。这里我们还是采用前面提到的DBSCAN聚类方法，聚类之后，产生的新类簇的用下式表示CCVCCV,CCV,,CCV|CCV(CV,CCN,A)（3-10）12kiiii其中，k表示二次类簇的个数，CCV表示第i类的运动向量，CCN表示第i类包ii括的类簇数目。CVi的定义如公式（3-5），用公式（3-11）计算XCCV，纵坐标YCCVii的计算与之类似，从而得到二次簇中心坐标(X,Y)。CCViCCVicXCCViwijXj（3-11）j1其中w表示第j类在二次聚类中的第i类的权重系数，权重系数与类簇的凸包面ij积大小成正比，计算公式如下Ajc1i(CVj)1wij1i(CVt)At（3-12）t101(CV)0ij二次聚类后，得到的新类的面积为属于该类的所有一次聚类的面积之和，计算公式如下cAi1iCVjAj（3-13）j1-26-万方数据 哈尔滨工业大学工学硕士学位论文其中lj为指标函数，即当ji时，lj1，否则lj0。iiia）一次聚类的结果b）二次聚类的结果图3-6对一次聚类结果进行二次聚类图3-6为对凸包表示后的簇运动向量进行二次聚类的结果，从图中可以看出，二次聚类将原来的5个类簇聚为了3个类簇，这不仅对问题进行了有一次的简化，同时也对后续的事件检测起到了重要作用。而我们又无法通过一次聚类得到图3-6b）的效果，因为如果将聚类条件中的距离加大的话，聚类算法将无法滤除一些噪声点，这对于后面人群表示有很大影响，可能将凸包变大，而且得到的人群面积不是人群的真正的面积，因为中间有很多空洞。3.3事件识别经过上述人群凸包表示的简化后，图像中的运动向量已经很少了，此时我们可以进行人群事件分析了。根据图像中凸包整体的运动向量之间的关系，我们可以分析当前人群正在发生哪些比较大型的事件，比如人群聚集、人群疏散、人群跑动等。我们通过使用文献[17]中提出的通过计算向量交点，然后通过交点与两向量的位置关系来区分不同事件，文献[17]只对聚集和疏散两种事件进行判断，我们这里对事件类型进行了扩充。通过求两两簇角点之间的相互关系，我们定义如下四类事件：①群同向行走Ew；②人群同向跑动Er；③人群聚集Ef；④人群疏散Ee两个簇运动向量之间有如下四种情况。（1）人群同向行走，如下图所示，两个向量的运动方向之间相差在一个角范围之内-27-万方数据 哈尔滨工业大学工学硕士学位论文图3-7人群同向运动时运动向量关系（2）人群同向跑动，条件和（1）相同，可以通过簇运动速度来区分行走和跑动的条件，人群跑动的簇速度大于行走，可以定义一个阈值Thresh加以区r分。[17]（3）人群聚集，两簇向量交点在两向量运动的正前方。图3-8人群聚集时运动向量关系[17]（4）人群疏散，两簇向量交点在两向量的正后方。图3-9人群疏散时运动向量关系对图像提取的所有簇向量两两求角点后，由于实际场景在某个时间点上簇向量的交点情况并非只有上述理想的四种情况中的一种交点，很多情况下都是几种交点并存的情况，我们提出了如下的事件识别方法，首先统计图像中上述四类点的个数，人群走动交点个数PtNumw，人群跑动交点个数PtNumr，人群聚集交点个数PtNumf，人群疏散交点个数PtNume。计算每类点在总的交点中所占的比例PtNumiP（3-14）EiTotalTotal表示场景中类簇交点数，假设一共有c个类簇角点向量，则总共的事件数为-28-万方数据 哈尔滨工业大学工学硕士学位论文Total1c(c1)（3-15）2在现实场景中，聚集类事件和疏散类事件发生的概率较其他事件少，所以不能完全根据比例P来抉择当前所发生的事件。所以需给每类事件加个权重系Ei数wiwPtNumiiP（3-16）EiTotal此时Total应该为4TotalwiPtNumi（3-17）i1使用上述的方法会出现由于单一行人（或其他运动目标）与另外一单一行人（或其他运动目标）或者独立个体和群体之间的相互运动形成的误报，这类误报有一个特点就是两个类簇的角点分布范围很小，或者是一两个人朝人群走去，虽然这种事件也有聚集的意义，但是我们这里值讨论人群之间的聚集，而非个体与人群之间的聚集。经过二次聚类后，我们求得了每个类簇的面积大小，然后通过每个类簇的面积大小进行误报降低，将小面积的聚集和疏散事件当作个体之间的相互运动而非群体之间的事件。这也是凸包表示法的另一个作用。3.4本章小结本章介绍了凸包表示法进行人群聚集事件检测方法。该方法首先对角点进行光流跟踪并计算每个角点的运动向量，然后对运动向量使用凸包表示法进行人群建模，最后进行事件检测。在人群建模中，我们首先通过DBSCAN聚类算法进行人群聚类，然后用凸包表示每个人群类簇。为了准确的描述具有相似运动形态但具有一定距离的类簇，我们进行了二次聚类。这样问题得到了进一步的简化，并减少了事件识别中相似运动形态交点的个数。-29-万方数据 哈尔滨工业大学工学硕士学位论文第4章聚类角点面积法检测人群聚集事件本章提出了一种基于聚类角点面积的人群聚散事件识别算法。之所以选择角点作为基础性特征，主要是基于角点的方法具有众多优点，例如不需处理阴影问题，不需要将人群进行个体分割和目标跟踪等优点。另一方面基于角点面积的事件检测算法适用范围广，可应用于各种公共场合，例如广场、车库等视野较开阔的地段。算法步骤简单，而且无需进行特定场合的视频训练阶段,使得算法的检测速度快，满足实际应用时的实时性要求，这样就能够在事件发生或者进一步恶化前通知有关部门进行适当控制，避免造成人员和财产的损失。算法需要设置的参数少，这样就减轻了工作人员操作的负担，应用简便，推广性好。[37]由于直接基于角点面积的聚散事件检测容易受到环境中运动物体的影响，造成角点面积变化的不稳定性，且当人群离开摄像头范围时，也会造成角点面积变小的现象。于是我们提出了基于聚类的角点面积检测方法，方法优点如下：一是通过聚类，我们可以将环境中的噪声点滤除掉，其次根据聚类的结果，我们可以锁定主要关注的类簇人群，对远离类簇的运动物体进行加权处理，减小其对我们关注人群的角点面积的影响；最后我们可以根据类簇个数的变化情况来判断角点面积变化是否真的是聚散事件，因为人群聚集的时候一般人群类簇由多变少，而人群疏散的时候类簇会增加，这样可以滤除由于人群离开摄像头监控范围而造成的角点面积变化事件。基于聚类角点面积的人群聚集事件检测算法流程图如图4-1所示。下面各小节对算法的每个步骤进行详细说明。4.1目标角点提取角点检测在第二章中已经说明了。角点掩膜算子使用视频的前景图像，我们使用混合高斯背景建模得到的前景区域作为掩膜算子，主要是因为基于角点面积的人群聚散事件检测需要较精确的人群角点，不仅需要运动角点，还需要静止人群的角点。帧差法不能够检测静止前景，背景差法很难获得纯净的背景，并且背景易受光照的影响，而混合高斯背景建模能够很好的解决上述这些问题，不仅能够获得静止人群前景，而且背景模型还随环境变化而变化，能够较好的检测前景。-30-万方数据 哈尔滨工业大学工学硕士学位论文视频帧图像角点检测角点聚类角点面积计算（加权）角点检测图4-1基于角点面积的人群聚散事件检测算法框架4.2角点面积计算获取角点之后，用角点坐标集的协方差矩阵行列式的值来表征目标角点的[37]面积，角点面积随时间的变化曲线即为人群的运动特征。假设目标角点坐标集为D，D为一个n2的矩阵，其每行为一个角点的横、纵坐标，设角点的坐标为x,y，令Sxx为所有角点横坐标x的方差，Syy为所有[37]角点纵坐标y的方差，S为角点集坐标x,y的协方差，则协方差矩阵定义为xySxxx,ySxyx,yx,y（4-1）Sx,ySx,yxyyy协方差矩阵的行列式值为2SSx,ySx,ySx,y（4-2）xxyyxy行列式的值S就表示场景中角点的面积。角点面积可以反映角点的分布情况，而角点的分别情况又反映了人群的分布情况。角点面积越大，说明角点越分散，人群也就越分散；反之，角点面积越小，说明角点越密集，人群也就越密集。角点面积从大逐渐变小，说明角点从分散到聚拢，人群正在聚集；反之如果角点面积从小变大，说明角点从聚拢到分散，人群正在分散；如果角点面积维持在一个特定水平上下波动，且波动范围很小，说明人群可能在原地活动或者同向移动等。总之，通过考察角点面积的变化情况，我们可以分析人群的运动情况。-31-万方数据 哈尔滨工业大学工学硕士学位论文4.3聚散事件检测通过计算视频图像序列的角点面积，我们画出人群从聚集到疏散的整个过程的角点面积图。由于没有真实公共场所的监控视频，目前进行的实验主要使用英国雷丁大学提供的PETS2013图像序列数据库（PerformanceEvaluationofTrackingandSurveillance）。该数据库包含3种类型的视频人群行为分析：1）群体人数统计和密度估计，2）人群跟踪个体，3）在实际环境下检测分流和特殊人群事件。图像序列采用多摄像头拍摄，拍摄视频内容与公共场所日常行为相似，所以在该数据库上研究的算法也可很好的移植到实际场景的各种监控视频系统中。用角点面积法主要可以检测两类事件：人群聚集和人群疏散事件。人群聚集指人群缓慢的向一个点（或者区域）靠拢，而人群疏散是指人群原先处于聚集状态，突然分散。人群在聚集的过程中，角点面积会逐渐变小，而人群在疏散时，人群的角点面积急剧增大。采用PETS2013的实验数据集中S3High_Level中的Time_14_33的聚散视频4组（从4个不同角度拍摄）中的view001进行效果说明，其中每组包括人群聚集、原点活动和疏散三段。视频整个过程的角点面积变化曲线如图4-2所示。a）人群聚集阶段b）聚集后原地活动c）人群疏散d）整个过程的角点面积变化图图4-2视频样例和整个过程的角点面积变化图视频整个过程分为3个阶段：聚集阶段，原地活动阶段和疏散阶段，图4-2-32-万方数据 哈尔滨工业大学工学硕士学位论文中a）、b）、c）分别对于相应的三个阶段。所以整个过程的角点面积变化就是首先角点面积很大，然后逐渐变小，维持在一个特定的水平，最后急剧增大，图4-2d）正好说明了角点面积在这个过程中的变化过程。为了描述角点面积的变化情况，并且根据其变化情况来进行聚散事件检测，我们通过角点面积曲线的斜率来进行区分，人群聚集时，角点面积是一个减少的过程，此时斜率为一个负值；人群疏散时，角点面积是一个增大的过程，此时斜率为一个很大的正值。由于每帧图像中计算的角点面积是一个离散的值，如果直接用连续两帧的[2]角点面积的比值当作斜率，误差较大。为此，我们提出了一种通过加权的方式估算斜率的方法，我们将视频帧序列进行分段，每T帧为一个视频段，如果我们用这T帧的平均角点面积当作当前帧的角点面积，这虽然是个可行的方案，但是无法达到实时性，当某个聚集事件或者疏散事件发生时，可能发生当前不会检测出来，而是过了几帧才被检测出来。于是，我们利用当前帧和其前T1帧w的角点面积的加权和作为当前帧的角点面积S，计算公式如下：tT1wStwiIti（4-3）i0其中w为权重系数，越接近第t帧贡献率越大，我们用公式（4-4）来计算权重i系数2iwe（4-4）iww然后斜率通过当前帧计算的角点面积S和前T帧计算的角点面积S的割ttT线的斜率进行估算ww(SS)KttT（4-5）T人群聚集必须满足KK，K为聚集阈值，为一个负值；人群疏散必须满ff足KK，K为疏散阈值，为一个大正值。ee4.4聚类角点面积法上述简单的角点面积法进行人群聚散事件检测会出现很多误报。当人群聚集以后，如果远处有人群个体朝人群走近时，会出现人群角点面积先变大，然后又逐渐减小，即可能出现聚集或者疏散误报。-33-万方数据 哈尔滨工业大学工学硕士学位论文4.4.1聚类角点面积算法流程这里我们提出了对角点聚类的方法进行部分误报滤除工作。当人群聚集以后，就相当于一个类簇，而远处的行人在聚类的过程中要么因为角点数少而被滤除，要么作为一个面积很小的类簇。如果人群很分散，通过聚类得到的类簇相应的也会很多。聚类角点面积法的流程主要如下：（1）首先通过角点检测算法检测出图像中的角点，并用前景滤除掉背景角点；（2）然后对角点用DBSCAN聚类算法进行聚类；（3）计算聚类数。如果类数很多的话，说明人群分布很疏散，在这种情况下，我们直接计算角点面积来表征人群分布情况；如果类别数很少时，说明人群已经聚成了几个小块，这时我们可以根据每个类别的大小进行相应的加权，计算加权后各个类的中心位置，进而计算协方差矩阵。（4）计算角点面积（5）根据角点面积变化情况进行聚散事件识别。如果角点面积变化的斜率小于Tf，并且类簇个数变少，决策为聚集事件；如果角点面积变化的斜率大于Te，并且类簇个数增加，决策为疏散事件。具体计算流程如图4-3所示。角点检测角点聚类类簇个数T计算角点面积斜率Te类簇减少类簇增加聚集事件疏散事件图4-3聚类角点面积法示意图-34-万方数据 哈尔滨工业大学工学硕士学位论文4.4.2权重计算方法添加权重的最主要作用就是在人群聚集以后，由于远处出现行人或者远处行人的走动造成角点面积的变化。如图4-4所示，当人群已经聚集在一起以后，远处出现了两个人，进入摄像头的视野范围，这时候角点面积会出现增大的趋势，具体增大程度视行人在图像中所占的比例。a)聚集后远处出现行人（圆圈位置）b）行人对角点面积曲线的影响（圆圈位置）图4-4远处行人对人群角点面积的影响上面所述的这种情况其实在实际场景中非常常见，但是我们可以发现，远处行人一般都是单个或者很少的个体。在我们提出的聚类角点面积法中，我们通过对提取的角点进行聚类处理，人群聚集以后，由于人群密度很大，所以通过聚类算法处理可以归为一类，而远处的行人要么因为其面积小，提取的角点个数很少而被滤除，要么就被聚类算法聚为几个小类，如图4-5所示。图4-5聚类算法将聚集人群和远处行人分为两类（大圈表示类1，为聚集人群，小圈为类2，为远处行人）-35-万方数据 哈尔滨工业大学工学硕士学位论文对人群角点进行聚类分析之后，我们提出一种加权机制，根据聚类后的类别数决定是否使用加权法。假设在第t帧图像时，通过聚类算法得到c个类，在tc个类中的第k个类含有n1kc个角点。当前帧类别数cT时，我们对ttkttc每个类别的人群角点进行加权处理。下面介绍下加权的具体实施步骤：（1）计算整个图像中的所有角点的中心MPx,y及每个类簇的中心位置CPx,y；kk（2）计算每个类簇到所有角点中心的距离D，并求出离中心最远的类簇k的距离D，D的计算采用欧几里德距离，计算公式为：maxk22Dxxyy（4-6）kkkDmaxD1kc（4-7）maxkt（3）对每个类簇设置权值w，计算公式为：kDw1k（4-8）kDmaxk（4）计算Sxx，每个类簇用权重wk进行加权kkSwS（4-9）xxkxxkkS,S的计算类似。yyxy图4-6为加权前后加权后的角点面积变化的对比图，对比两张图可以看出，加权后整个角点面积曲线变化都比较平稳，并且将人群聚集以后远处行人对角点面积产生的影响降低了。a)加权前b）加权后图4-6加权前后角点面积变化曲线-36-万方数据 哈尔滨工业大学工学硕士学位论文4.5本章小结本章主要介绍了人群聚散事件的聚类角点面积检测法。文中首先介绍一般的角点面积法进行事件检测的过程。即首先提取目标角点，然后通过计算所有角点的协方差矩阵来表征人群的聚散程度，最后根据角点面积的变化情况来进行事件决策。由于角点面积容易受到远处无关个体的影响，本章最后介绍了聚类法角点面积法。该方法通过对角点进行聚类，根据聚类结果决定是否需要对每个类簇进行加权处理。该方法可以较好的削弱远处个体对人群角点面积的影响。-37-万方数据 哈尔滨工业大学工学硕士学位论文第5章实验与分析在前面几章中已经介绍了人群聚集和疏散事件检测的方法，本章主要主要对第三章和第四章所提的方法进行编码实现，并进行大量实验对本文提的各种方法进行评测。5.1算法评测准备工作在进行算法评测之前，我们必须做一些准备工作，包括开发环境的选择、实验视频库的选择、事件检测算法的评价指标等。5.1.1开发环境本文进行的所有实验都是在Windows7系统上使用MicrosoftVisualStudio2008开发工具进行开发的。实验所使用的计算机的硬件配置为：IntelXeonCPU3.0GHz，3G内存，显卡为NVIDIAQuadroFX4600。算法使用的编程语言为C++语言，其中利用了IntelOpenCV开源计算机视觉库。OpenCV是由Intel公司发起并参与开发的跨平台的计算机视觉库，以BSD许可证授权发行，可以在商业和研究领域中免费使用，主要用来开发实时图像处理、计算机视觉和模式识别[49]程序。5.1.2视频数据库样本收集是课题研究的基础工作，由于条件的有限，无法得到发生在实际场景中的真实视频材料，从网络上收集到了人群行为分析的PETS公开库，该数据库录制的主要目的是用于人群分析，包括人数统计、人群密度估计、目标跟踪和事件识别。对于人群聚集事件和疏散事件，由于两类事件的行为是互逆，我们可以在一个算法中同时处理这两类事件。我们实验采用的是PETS2013库中的DatasetS3，包括流分析和事件识别。事件识别数据库包括4个时间戳14-16，14-17，14-31和14-33。主要包含以下这些事件：（1）人群同向行走：人群朝着相同的方向走动。（2）人群同向跑动：人群整体朝着某个方向跑动。（3）人群疏散：原本聚集在一起的人群突然分散，分散的方向至少有2个。-38-万方数据 哈尔滨工业大学工学硕士学位论文（4）人群局部分散：聚集在一起的人群，在某个时刻小范围的从聚集点从周边小范围分散。（5）人群聚集：人群从四周以个体或者小群体的形式向某个点或区域聚集。（6）人群分叉：同向行走的人群分成几个组走开。图5-1给出了以上六类事件的截图。a)事件（1）b)事件（2）c)事件（3）d)事件（4）e)事件（5）f)事件（6）图5-1PETS2013数据库中事件类型截图实验还使用了另一个在人群异常分析中常用的数据库UMN（具体可从http://mha.cs.umn.edu/movies/crowdactivity-all.avi获取）。UMN包含3个不同的人群逃跑事件的场景，共包括约2577帧。其中的有些逃跑事件可以认为是人群疏散，图5-2为三个场景的截图.a)户外场景1b)室内场景c)户外场景2图5-2UMN数据库3个场景截图5.1.3算法评价指标本文采用正确检测率，查准率和查全率作为人群聚集事件检测算法的评价-39-万方数据 哈尔滨工业大学工学硕士学位论文[50]指标。为了描述这些评价指标，表5-1是一个两类分类问题的分类结果。表5-1中，tp表示正确预测正类的概率，fp表示负类预测为正类的概率，fn表示正类预测为负类的概率，tn表示正确预测负类的概率。表5-1两类分类问题结果分析实际正类负类预正类tpfp测负类fntn（1）正确率（Accuracy）：正确率表示事件检测正确概率，包括tp和tn，[50]计算公式如式（5-1）tptnA（5-1）tpfpfntn（2）查准率（Precision）：查准率表示检测的正类事件中，有多少是检测[50]正确的，计算公式如式（5-2）tpP（5-2）tpfp（3）查全率（Recall）：查全率表示检测正确的正类事件数占总的正类事件[50]数的比例，计算公式如式（5-3）tpR（5-3）tpfn5.2凸包表示法的聚集检测实验使用凸包表示法进行聚散事件实验测试，实验视频采用了PETS2013DatasetS3：FlowAnalysisandEventRecognition数据库和UMD数据库Crowd-Activity-All，实验检测的聚集和疏散事件针对的场景是室外广场型，所以UMD数据库中，我们只取了室外的5段视频进行检测。对于数据库PETS2013DatasetS3，我们取了High_level中的全部视频和Multiple_Flow中的Time_14-37进行测试。其中，聚集事件主要包括High_level中的Time_14-33中的4段和Time_14-37中的4段总共8段，疏散事件主要包括High_level中的Time_14-33中的4段和UMD中5段视频中的4段总共8段。利用第三章介绍的凸包表示法聚散事件检测方法，我们得到如表5-1的实验结果。表5-2中第一列是视频类型。第二列表示在给定的视频类型中，检测为聚集事件的件数。第三列表示在给定的视频类型中，检测为疏散事件的件数。-40-万方数据 哈尔滨工业大学工学硕士学位论文根据表5-2，我们计算聚散事件的混淆矩阵，计算结果如表5-3所示。根据表5-3的混淆矩阵，我们可进一步计算出的聚散事件的Precision率和Recall率及实验对比，具体见表5-4所示。表5-2凸包表示法在各类事件中的检测情况视频类型（数量）聚集事件疏散事件聚集（8）80疏散（8）08聚集后原地活动（4）10正常行走（4）01人群跑动（9）00人群聚集后小幅度疏散（4）00正确率（总视频段数37）36/37=97.3%36/37=97.3%表5-3凸包表示法的混淆矩阵聚集疏散其他事件聚集801疏散081其他事件0019表5-4凸包表示法的实验结果及对比文献[39]文献[39]我们的方法（手动参数）（随机森林调参数）聚集0.890.590.65Precision疏散0.890.690.83聚集10.450.46Recall疏散10.821从表5-4的结果及对比上看，凸包表示法在聚集检测上较文献[39]有较大的优势，同时在人群疏散方面也有提高。所以在人群聚散事件的识别上，人群凸包表示法具有较好的效果，同时在时间和空间复杂度上较其他方法有了提高。5.3聚类角点面积法的聚集检测实验使用角点面积法进行聚散实验检测，实验所用到的视频与5.2节凸包表示法聚散检测相同，未对UMD数据库Crowd-Activity-All数据库进行测试。实验首先使用文献[37]提出的角点面积法，实验结果如表5-5所示。从表5-5可以看出聚集以后出现了一次聚集误报和一次疏散误报，主要原因是人群聚集以后容易受到远处运动物体影响，造成角点面积发生变化。还有人群跑动时，由于人群走出了摄像头区域而造成角点面积变小的特征，出现了2次聚集误报。针对以上问题，我们提出的基于聚类的角点面积法很好的解决了这个问题，聚类角点面积法的实验结果如表5-6所示。-41-万方数据 哈尔滨工业大学工学硕士学位论文根据表5-5，我们计算普通角点面积法检测聚散事件的混淆矩阵，如表5-7所示。同时，我们根据表5-6我们计算使用聚类角点面积法的混淆矩阵，如表5-8所示。针对上述两种方法，分别统计实验结果的Precision率和Recall率，实验对比如表5-9所示。表5-5角点面积法在各类事件中的检测情况视频类型（数量）聚集事件疏散事件聚集（8）71疏散（4）04聚集后原地活动（4）11正常行走（4）10人群跑动（8）20人群聚集后小幅度疏散（4）10正确率（总视频段数32）26/32=81.25%30/32=93.75%表5-6聚类角点面积法在各类事件中的检测情况视频类型（数量）聚集事件疏散事件聚集（8）80疏散（4）04聚集后原地活动（4）10正常行走（4）10人群跑动（8）00人群聚集后小幅度疏散（4）11正确率（总视频段数32）29/32=90.63%31/32=96.88%表5-7角点面积法的混淆矩阵聚集疏散其他事件聚集705疏散141其他事件0014表5-8聚类角点面积法的混淆矩阵聚集疏散其他事件聚集803疏散041其他事件0016表5-9角点面积法的实验结果及对比我们的方法文献[37]聚集0.730.58Precision疏散0.80.67聚集10.88Recall疏散11从表5-9中可以看出我们提出的改进的角点面积法在Precision和Recall率都较原始方法有所提高。虽然精度没有凸包表示法高，但是聚类角点面积法在-42-万方数据 哈尔滨工业大学工学硕士学位论文速率上较其快，而且方法简单，需要设置的参数少。5.4本章小结本章首先介绍了算法评判的几个基础工作，包括算法的开发环境、实验使用的视频数据库和算法检测结果的评价指标。接着分别使用第三章介绍的凸包表示法和第四章介绍的聚类角点面积法进行聚散检测实验。实验结果还和最新的聚散检测方法进行了对比。从实验结果可以看到我们提出的方法较已有的方法有较好的改进。-43-万方数据 哈尔滨工业大学工学硕士学位论文结论本文主要研究人群聚集相关的行为识别，研究内容为从现实生活提取而来，用以解决政府和人民日益关注的公共安全问题，研究内容集中人群引起的不良公共事件，比如游行示威，踩踏和聚众闹事等。通过抽取引发这类事件的一些相似因素，我们发现这类事件发生的前兆就是大量人群的聚集和疏散，于是如何检测人群聚集和疏散事件成为了课题的主要研究内容。由于在人群密度较大的场景下，人群个体分割较难，而角点却可以很好的表示人群分布和运动等信息，所以本文的事件检测方法是基于角点特征的。在绪论中我们介绍了课题的来源和意义，并对目前国内外在相关领域中的研究情况进行了阐述。接着我们介绍了论文后续事件分析方法用到的一些基础性工作，人群角点提取的方法和人群前景区域提取方法。在接下来的内容中，我们详细阐述了两种人群聚散事件检测的方法，一种是基于凸包表示法的人群聚散事件检测方法，另一种是基于角点面积的聚散事件检测方法。基于凸包表示法的人群聚散事件检测方法主要通过提取角点的运动向量，将具有相似运动形态的角点进行聚类，然后用凸包表示每个类簇，最后根据凸包之间的相互运动情况来考察人群的运动情况，这种方法较好的将复杂的人群问题进行了简化处理。基于角点面积的人群聚散检测主要利用角点的分布情况来考查人群的分布情况，然后用面积来衡量人群的聚散程度，进一步判断人群事件。由于直接计算整个场景的角点面积容易受无关运动个体的影响，我们提出了使用聚类加权法来对不同类簇的角点进行区别处理，这才当人群聚集以后减弱远处个体对人群影响有较好的效果。论文最后部分主要是对前面的算法进行实验和总结，从实验结果来看，算法在人群聚散检测方面较其他方法有较好的效果。由于事件仓促，而且人群事件检测也是一个非常复杂和具挑战性的工作，本文提出的两种改进的人群聚散事件检测算法还有一些可以改进的地方。今后主要在人群聚散事件检测方面还有很多工作需要做：（1）在人群表示方面，本文提出的用角点的表示人群虽然在一定程度上能够很好的描述人群分布，但是提取出的角点需要用前景掩膜去除背景中的角点，目前的前景提取算法还不是很精确，所以角点特征容易受到环境因素影响。在后续的工作中，如何更好的描述人群成为了提高事件检测率的关键。（2）在基于角点面积的聚散事件检测中，角点面积容易受非研究个体的影-44-万方数据 哈尔滨工业大学工学硕士学位论文响，如何根据实际场景的需要，选择出满足需要的角点，去除掉不需要的角点。对场景中的角点进行分类处理而非整个一起处理也是一个非常重要的方面。（3）在事件检测方面，我们目前检测的只有人群聚集和疏散事件，后续可以将现有的方法应用到处理其他群体性事件，包括正常人群行走、跑动、分叉等事件。（4）目前人群聚散事件检测的场景都是在比较理想的实验环境，如何将相关算法应用到真实场景中的异常事件检测，还需做很多工作。总之，目前的人群事件检测算法研究还刚刚起步，相关技术方案还很不成熟，离实际应用还有很长的路要走。随着政府和人民对公共场所安全性要求的不断提高，相关方面的研究也会得到越来越多的重视，相信在不久的将来，公共场所的人群事件检测将会得到普遍的应用，并在安防领域起到重要的作用。-45-万方数据 哈尔滨工业大学工学硕士学位论文参考文献[1]徐姗.基于视频分析的异常群体事件检测[D].武汉:华中科技大学硕士学位论文,2011.[2]杨建成.基于数据挖掘技术的智能视频监控异常分析方法研究[D].北京:华北电力大学硕士学位论文,2011.[3]钟志.基于异常行为辨识的智能监控技术研究[D].上海:上海交通大学博士学位论文,2008.[4]ZhanB,MonekossoDN,RemagninoP,etal.CrowdAnalysis:ASurvey[J].MachineVisionandApplications,2008,19(5):345-357.[5]DaviesAC,YinJH,VelastinSA.CrowdMonitoringUsingImageProcessing[J].Electronics&CommunicationEngineeringJournal,1995,7(1):37-47.[6]MaranaAN,VelastinSA,CostaLF,etal.AutomaticEstimationofCrowdDensityUsingTexture[J].SafetyScience,1998,28(3):165-175.[7]MehranR,OyamaA,ShahM.AbnormalCrowdBehaviorDetectionUsingSocialForceModel[C]//IEEEConferenceonComputerVisionandPatternRecognition(CVPR).IEEE,2009:935-942.[8]StillGK.CrowdDynamics[D].UniversityofWarwick,2000.[9]CollinsRT,LiptonAJ,FujiyoshiH,etal.AlgorithmsforCooperativeMultisensorSurveillance[J].ProceedingsoftheIEEE,2001,89(10):1456-1477.[10]HaritaogluI,HarwoodD,DavisLS.W4:Real-TimeSurveillanceofPeopleandTheirActivities[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,2000,22(8):809-830.[11]凌志刚，赵春晖，梁彦，等.基于视觉的人行为理解综述[J].计算机应用研究,2008,25(9):2570-2578.[12]FeiT,SunDongL,SenG.ANovelMethodofCrowdEstimationinPublicLocations[C]//InternationalConferenceonFutureBioMedicalInformationEngineering,2009.IEEE,2009:339-342.[13]LiW,WuX,MatsumotoK,etal.CrowdDensityEstimation:AnImprovedApproach[C]//2010IEEE10thInternationalConferenceonSignalProcessing(ICSP).IEEE,2010:1213-1216.[14]MaW,HuangL,LiuC.CrowdEstimationUsingMulti-ScaleLocalTextureAnalysisandConfidence-BasedSoftClassification[C]//SecondInternational-46-万方数据 哈尔滨工业大学工学硕士学位论文SymposiumonIntelligentInformationTechnologyApplication,2008.IEEE,2008:142-146.[15]GuoJ,WuX,CaoT,etal.CrowdDensityEstimationViaMarkovRandomField(Mrf)[C]//20108thWorldCongressonIntelligentControlandAutomation(WCICA).IEEE,2010:258-263.[16]MaoY,TongJ,XiangW.EstimationofCrowdDensityUsingMulti-LocalFeaturesandRegression[C]//20108thWorldCongressonIntelligentControlandAutomation(WCICA).IEEE,2010:6295-6300.[17]GuohuiL,JunC,BoliangS,etal.CrowdEventDetectionBasedonMotionVectorIntersectionPoints[C]//2012InternationalConferenceonComputerScienceandInformationProcessing(CSIP).IEEE,2012:411-415.[18]WangZ,WangW.Lhmm-BasedGatheringDetectioninVideoSurveillance[C]//2010InternationalConferenceonIntelligentComputingandIntegratedSystems(ICISS).IEEE,2010:213-216.[19]XiongG,WuX,ChenY-L,etal.AbnormalCrowdBehaviorDetectionBasedontheEnergyModel[C]//2011IEEEInternationalConferenceonInformationandAutomation(ICIA).IEEE,2011:495-500.[20]常庆龙，夏洪山.利用归一化前景和二维联合熵的人群聚集检测方法[J].武汉大学学报,2013,38(9):1126-1130.[21]万家兵,霍宏.智能视频监控中目标的检测与识别[M].上海:上海交通大学出版社,2010.[22]TekalpAM,TekalpAM.DigitalVideoProcessing[M].NJ:PrenticeHallPTRUpperSaddleriver,1995.[23]LiptonAJ,FujiyoshiH,PatilRS.MovingTargetClassificationandTrackingfromReal-TimeVideo[C]//FourthIEEEWorkshoponApplicationsofComputerVision,1998.WACV'98.IEEE,1998:8-14.[24]BenezethY,JodoinP-M,EmileB,etal.ReviewandEvaluationofCommonly-ImplementedBackgroundSubtractionAlgorithms[C]//19thInternationalConferenceonPatternRecognition,2008.IEEE,2008:1-4.[25]FriedmanN,RussellS.ImageSegmentationinVideoSequences:AProbabilisticApproach[C]//ProceedingsoftheThirteenthconferenceonUncertaintyinartificialintelligence.MorganKaufmannPublishersInc.,1997:175-181.[26]StaufferC,GrimsonWEL.AdaptiveBackgroundMixtureModelsforReal-TimeTracking[C]//IEEEComputerSocietyConferenceonComputerVisionandPatternRecognition.IEEE,1999:246-252.[27]BeaucheminSS,BarronJL.TheComputationofOpticalFlow[J].ACM-47-万方数据 哈尔滨工业大学工学硕士学位论文ComputingSurveys(CSUR),1995,27(3):433-466.[28]LucasBD,KanadeT.AnIterativeImageRegistrationTechniquewithanApplicationtoStereoVision[C]//Proceedingsofthe7thinternationaljointconferenceonArtificialintelligence.1981:674-679.[29]HornBKP,SchunckBG.DeterminingOpticalFlow[J].Artificialintelligence,1981,17(1):185-203.[30]王勇.基于统计方法的运动目标检测与跟踪技术研究[D].武汉:华中科技大学博士学位论文,2009.[31]ZhaoWB,ZhangY.SurveyonCornerDetection[J].ApplicationResearchofComputers,2006,10:17-19.[32]HarrisC,StephensM.ACombinedCornerandEdgeDetector[C]//Alveyvisionconference.Manchester,UK,1988:50.[33]FörstnerW,GülchE.AFastOperatorforDetectionandPreciseLocationofDistinctPoints,CornersandCentresofCircularFeatures[C]//Proc.ISPRSintercommissionconferenceonfastprocessingofphotogrammetricdata.1987:281-305.[34]SmithSM,BradyJM.Susan—NewApproachtoLowLevelImageProcessing[J].Internationaljournalofcomputervision,1997,23（1）:45-78.[35]TomasiC,KanadeT.DetectionandTrackingofPointFeatures[M].SchoolofComputerScience,CarnegieMellonUniv.,1991.[36]MoravecHP.ObstacleAvoidanceandNavigationintheRealWorldbyaSeeingRobotRover[R].STANFORDUNIVCADEPTOFCOMPUTERSCIENCE,1980.[37]AlbiolA,SillaMJ,AlbiolA,etal.VideoAnalysisUsingCornerMotionStatistics[C]//IEEEInternationalWorkshoponPerformanceEvaluationofTrackingandSurveillance.IEEE,2009:31-38.[38]SantoroF,PedroS,TanZ-H,etal.CrowdAnalysisbyUsingOpticalFlowandDensityBasedClustering[J].EuropeanAssociationforSignalProcessing(EURASIP),2010:269-273.[39]BenabbasY,IhaddadeneN,DjerabaC.MotionPatternExtractionandEventDetectionforAutomaticVisualSurveillance[J].JournalonImageandVideoProcessing,2011,2011:7:1-7:15.[40]BouguetJY.PyramidalImplementationoftheAffineLucasKanadeFeatureTrackerDescriptionoftheAlgorithm[J].IntelCorporation,2001,5.[41]AnderbergMR.ClusterAnalysisforApplications[R].OFFICEOFTHEASSISTANTFORSTUDYSUPPORTKIRTLANDAFBNMEX,1973.[42]EsterM,KriegelH-P,SanderJ,etal.ADensity-BasedAlgorithmfor-48-万方数据 哈尔滨工业大学工学硕士学位论文DiscoveringClustersinLargeSpatialDatabaseswithNoise[C]//KDD.1996:226-231.[43]GrünbaumB.ConvexPolytopes[M].Springer,2003.[44]JarvisRA.OntheIdentificationoftheConvexHullofaFiniteSetofPointsinthePlane[J].InformationProcessingLetters,1973,2(1):18-21.[45]GrahamRL.AnEfficientAlgorithmforDeterminingtheConvexHullofaFinitePlanarSet[J].InformationProcessingLetters,1972,1:132-133.[46]KirkpatrickDG,SeidelR.TheUltimatePlanarConvexHullAlgorithm?[J].SIAMjournaloncomputing,1986,15(1):287-299.[47]BourkeP.CalculatingtheAreaandCentroidofaPolygon[J].SwinburneUniv.ofTechnology,1988.[48]GaryL.GaileJEB.DirectionalStatistics(ConceptsandTechniquesinModernGeography)[M].GeoAbstractsLtd,1980.[49]BradskiG,KaehlerA.LearningOpencv:ComputerVisionwiththeOpencvLibrary[M].O'reilly,2008.[50]OlsonDL,DelenD.AdvancedDataMiningTechniques[M].Springer-Verlag,2008.-49-万方数据 哈尔滨工业大学工学硕士学位论文攻读学位期间发表的论文[1]HEL,XUY,CHENY,etal.RECENTADVANCEONMEANSHIFTTRACKING:ASURVEY[J].InternationalJournalofImageandGraphics,2013,13(03).-50-万方数据 万方数据
