基于局部不变特征的图像配准算法研究

《基于局部不变特征的图像配准算法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

万方数据ItESEARCHONIⅣ队GEItEGISTRATIONBASEDONIMAGELOCALINⅥUUANTFEATUREEXTRACTl0NThesisSubmittedtoZhejiangNormalUniversityinpartialfulfillmentoftherequirementforthedegreeofMasterofScienceinEngineeringbyJingNiu(ComputerSoftware&Theory)ThesisSupervisor：FanYangMay29，2014 万方数据基于局部不变特征的图像配准算法研究摘要图像配准是模式识别和图像处理的核心技术之一，广泛的应用于计算机视觉、军事、遥感和医学图像处理等众多领域。由于图像来源的多样性，待配准图像在尺度、角度、亮度等方面通常存在一种或多种变化，同时还受到复杂多变的成像畸变和噪声等因素的影响，因此，图像配准技术至今仍然面临严峻的挑战。局部不变特征提取技术不受图像旋转、尺寸、光照及模糊等因素的影响。与传统的基于灰度信息的配准技术相比，基于局部特征的配准方法具有更好的配准精度和鲁棒性，近年来已发展成为研究的热点和主流。传统的基于局部不变特征的配准算法在多源差异图像配准过程中，存在较多的冗余干扰信息，以及散落在相似局部结构的特征点误匹配率高等问题。本文主要围绕解决上述问题的算法改进开展研究：(1)SURF(Speeded—UpRobustFeatures)算法是一种较好的局部不变特征检测方法，比较适合处理多源差异图像的特征检测问题。传统的SURF算法需要对整幅图像进行检测，随着图像大小和数量的增多，算法的复杂度成几何级数增加。鉴于影响配准的有效特征点基本上都位于图像目标景物区域内，提出通过图像边缘检测和目标分割技术，来获取图像目标区域，并在此区域内进行SURF特征提取的算法改进思路。实验结果表明，基于目标区域的SURF特征配准算法，不仅有效的减少了特征检测区域和检测时间，同时还降低了冗余特征的干扰。(2)虽然局部特征描述符，能够描述图像所包含的具体景物的不同特性，但是对处于相似局部结构的特征点来说，易出现不正确的匹配。启发于全局特征描述符可以反映整幅图像的信息，提出了全局分布描述符，并结合局部特征描述符用来共同表征当前特征点的空间分布信息，以减少误匹配的算法改进思想。全局分布描述符仅对基于边缘轮廓区域内的特征点进行描述，通过引入光照敏感性较低的边缘积分图概念，由于求取边缘的积分图只需遍历一次原始图像，计算复杂度不高。通过对多组图像进行实验，发现本方法在没有明显增加算法计算复杂度的情况下，达 万方数据到了增强特征点的独特性和降低误匹配率的目的。(3)为了验证改进算法的有效性，我们将基于改进的SURF配准算法应用于图像拼接，对于拼接中可能产生的拼接痕迹，采用插值技术和多频段图像融合算法，并对拼接后的图像进行亮度调整，达到了较好的拼接效果。关键词：图像配准；局部不变特征；SURF；图像融合：图像拼接II 万方数据RESEARCHONIⅣ认GEI也GISTRATIONBASEDONIⅣ睑GELOCALINVARIANTFEATUREEXTRACTl0NABSTRACTImageregistrationisoneoftheimportanttechniquesinpatternrecognitionandimageprocessing．Itiswidelyappliedincomputervision，military,remotesensingandmedicalimageprocessing，etc．Thematchingimagesusuallyhaveoneormorechangesintheimagesource，size，angleandillumination，atthesametimetheyarealsoimpactedbythecompleximagingdistortionandnoisefactors．Therefore，imageregistrationtechniquesstillfaceseverechallenges．Imagerotation，size，illuminationandfuzzy，havenoimpactonthelocalinvariantfeatureextractiontechnology．Andcomparedtothetraditionalregistrationtechniquebasedongray·levelinformation，registrationmethodbasedonlocalfeaturehasbettermatchingprecisionandrobustness．Inrecentyears，ithasbecomeahotspotandmainstreamresearch．Intheprocessofmulti-sourceimageregistration，traditionalregistrationalgorithm，whichisbasedonlocalinvariantfeatures，existredundantinterferenceinformationandthemismatchingrateishighinthesimilarlocalfeaturematching．Thispaperfocusesonthesolutionoftheaboveproblemsandmainlyimprovementresearchesareasfollows：(1)SURF(Speeded·UpRobustFeatures)algorithmisabetterlocalinvariantfeaturedetectionmethod．Itissuitableforsolvingthefeaturedetectionproblemofthemulti-sourcedifferenceimages．ThetraditionalSURFdetectsfeatureinthewholeimage，withtheincreaseofimagenumberandsize，thecomplexityofthealgorithmhasageometricratiogrowth．Inviewoftheextractedfeaturepoints，whichhaveanimpactonimagematching，arelocatedintheobjectivescenery,SOweputforwardimprovementideas，thatis，weobtaintheedgeareaofobjectivebytheimageedgesegmentationIII 万方数据technologyandmathematicalmorphology,andthenapplySURFmethodtoextractfeatureintheseedgeareas．ExperimentalresultshowsthatSURFmethodbasedontheobjectiveedgeareaismoreavailable．Itnotonlyreducesthedetectionareasandtime，butalsoreducestheinterferenceoftheredundantfeatures．(2)Thelocalfeaturedescriptorcandescribedifferentcharacteristicsofthespecificsceneinimages，butthefeaturepoints，whichscatteredinthesimilarlocalstructure，areoftenmismatched．Inspiredbytheglobalfeaturedescriptorcanreflectthewholeimageinformation，weputforwardtheideaofcombiningtheglobaldescriptorswithlocaldescriptorstodescribethespacedistributionofcurrentfeaturepoints．Globaldistributiondescriptorsonlycanbeusedtodescribethefeaturepointswhichwereextractedintheedgeareas．Weintroduceaconceptofedgeintegralimagetotheglobaldistributiondescriptor．Andtheedgeintegralimagehasalowsensitivitytolight．Whencalculatetheedgeintegralimage，weonlytraversetheoriginalimageatatime．Sothecomputationalcomplexityisnothigh．Throughtheexperimentsofmultiplesetsofimages，wefoundthatthismethoddoesnotincreasethetimecomplexity,andachievethepurposesofstrengtheningtheuniquenessofthefeaturepointsandreducingthemismatchingrates．(3)Inordertoverifythevalidityoftheimprovedalgorithm，weputtheimprovedSURFregistrationalgorithmappliedtoimagestitching，andforsplicingtracespossiblygenerateintheprocess，weusethemethodsofinterpolatingtechniqueandmultibandimagefusionalgorithmtospliceimages，andthenadjustthebrightnessofsplicingimages．Experimentalresultshowsthatourmethodshaveagoodeffect．KEYWORDS：ImageRegistration；LocalInvariantFeatures；SURF；ImageFusion；ImageStitchingⅣ 万方数据目录摘要⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯一IABSTRACT⋯．⋯．．⋯．⋯．⋯．⋯．⋯．⋯．⋯⋯．⋯．．⋯．．⋯⋯．⋯．．⋯．⋯⋯．．⋯．．⋯⋯．．⋯．⋯⋯．⋯⋯．．⋯．⋯⋯⋯．⋯．⋯．⋯．⋯．．II!录⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯一V1绪论⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．11．1研究的背景及意义⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．11．1．1研究的背景⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯11．1．2研究的意义⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．11．2研究的国内外现状⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯21．3本文的主要工作⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯31．4论文的章节安排⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯42图像配准的理论基础⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯52．1局部不变特征检测方法⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．52．1．1角点特征检测方法⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．52．1．2斑状特征检测方法⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯72．1．3区域特征检测方法⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯一92．2空间坐标转换模型⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯一1l2．3柱面与球面全景图⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯122．4小结⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯一143SURF配准算法⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．153．1特征检测⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．153．1．1尺度空间特征点的检测⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．153．1．2特征点主方向的确定⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．183．1．3特征点描述符的生成⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．183．2特征点的匹配⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．193．2．1基于最近邻与次近邻比值匹配法⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯一19’3．2．2基于Hessian矩阵的快速匹配⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯203．3剔除误匹配⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．20V 万方数据3．4实验结果及分析⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯一213．5小结⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．244改进SURF配准算法⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯254．1边缘检测算法⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．254．2边缘轮廓区域的生成⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．284．3全局分布描述符⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯一284．4实验结果与分析⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．294．5小结⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯一335基于改进SURF配准算法的图像拼接应用⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯345．1图像插值⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯■⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯345．2图像融合⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．355．3拼接图像亮度调整⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯375．4实验结果与分析⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯一385．5小结⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯一4l6总结与展望⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯426．1总结⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯426．2展望⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯42参考文献⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯44攻读学位期间取得的研究成果⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．49致谢⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯50浙江师范大学学位论文独创性声明⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯一5I学位论文使用授权声明⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯51浙江师范大学学位论文诚信承诺书⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．52VI 万方数据1．1研究的背景及意义1．1．1研究的背景1绪论图像配准是模式识别和图像处理的核心技术之一，广泛的应用于计算机视觉、军事、遥感和医学图像处理等众多领域。图像配准主要解决具有重叠区域的两幅或多幅图像间的对齐叠加问题，其实现步骤有：特征空间、相似性度量、搜索空间和匹配策略【1】0即首先对图像进行特征检测，然后根据某种相似性度量准则和搜索策略建立搜索空间，并求取图像间的变换参数，最后根据参数对图像进行相应的变换。由于图像来源的多样性，待配准图像在尺度、角度、亮度等方面通常存在一种或多种变化，同时还受到复杂多变的成像畸变和噪声等因素的影响，因此，图像配准技术至今仍然面临严峻的挑战。1．1．2研究的意义随着现代科学技术的飞速发展和各种传感器不断更新换代，提高了图像获取的便捷性和多源性。由于成像环境的不同，多源图像间存在一定程度的差异性，那么在对这些图像进行拼接融合、目标变化检测、目标识别等图像分析和处理时，必须考虑消除多源图像的差异性。因此，如何提高多源图像配准的精度和效率一直是被关注的焦点。早期图像配准过程需要人的参与，但人工处理误差大，配准效果不理想。目前，虽然经过国内外众多研究人员的不懈努力，图像配准技术取得了长足的发展，对分辨率、目标景物等比较接近或一致的图像进行配准的技术比较成熟。由于高质量的多源图像不断地被应用于图像配准，这使得高精度大规模图像数据处理难度变大，而且针对较大差异的多源图像配准问题，尚没有很好的解决方法。通过提取图像之间共有的局部不变特征来进行配准的方法，具有很强的适应性和鲁棒性。近年来， 万方数据1绪论大多数的图像配准研究都集中在基于图像局部特征的匹配方法上。但是传统的基于局部不变特征的配准算法在多源差异图像的配准过程中，存在较多的冗余干扰信息，以及散落在相似局部结构的特征点误匹配率高等问题。所以本文主要围绕解决上述问题的算法改进开展研究，具有实用价值。1．2研究的国内外现状20世纪70年代，美国最早从对武器投射系统和飞行导航系统的研究中提出图像配准，由于军方对该项目的大力支持，图像配准取得了飞速的发展。随后，图像配准技术很快被用于不同的领域，如计算机视觉、模式识别、医学图像处理、遥感图像融合和自动导航等等。在国外，上个世纪图像配准的很多方法都是基于灰度值匹配理论的，也就是对预先设置好的窗口图像或整幅图像进行相似性计算口1，如：Rosenfeld∞1提出交叉互相关法进行配准。D．L．BarneaH3提出序贯相似检测SSDA(SequentialSimilarityDetectionAlgorithms)算法，该算法使用差值模板进行相似性度量，可有效的排除不匹配点。Flussr哺1提出自适应映射方法，对配准图像进行分割，依据相似子块的空间位置关系，对原图进行匹配。基于图像灰度值理论的配准方法，比较很容易实现，然而由于图像的灰度易受光照、旋转和比例等影响，所以匹配效果不稳定。进入2l世纪，学者们倾向于研究基于特征的图像配准技术，由于图像特征能够较好的反映图像信息，所以通过度量图像特征间的相似性来进行配准，具有较强的适应性和鲁棒性。如：2004年D．GLowe阳刮对之前提出的SIFT(ScaleInvariantFeatureTransform)算子进行改进，使得SIFT算子对图像旋转、亮度和尺度等变化，具有较好的不变性、可移植性和鲁棒性。但是该方法计算量大、实时性不高，无法准确提取边缘模糊的目标，于是很多学者尝试对其改进。Y．Ke阳1提出PCA．SIFT算法，该算法将主成分分析技术PCA(PrincipalComponetsAnalysis)用于SIFT算法中，来减少描述符维度，提高配准速度。Faragn们提出CSIFT(Coloredscaleinvariantfeaturetransform)彩色尺度特征不变变换算法，该算法可对彩色图像提取图像的不变特征。2008年H．Bay⋯1提出SURF(Speeded-UpRobustFeatures)算法，该算法计算量小、运算速率高，与SIFT算法的特征提取性能几乎等同，所以此后SURF算2 万方数据1绪论法得到了大量地研究和应用，如人脸识别n2侧、指纹配准n制、虹膜配准n引、车辆监控n6‘171等方面，提高了配准精度，满足了实时性要求。C．L．Zimickn踟等人通过对描述符的改进来提高匹配效率。Mariusn钔等人提出用二值特征代替SURF的矢量特征，以进行快速匹配。在国内，图像配准技术起步较晚，王小睿等人采用人工选取控制点，并采用互相关配准策略心引，对图像进行半自动配准，虽然效果较好，但还是不能满足自动配准的要求。朱近等人针对多光谱遥感图像，提出基于局部灰度极值的配准方法让¨，该方法是基于灰度相关配准算法的拓展，对多光谱图像配准精度较高。杨恒等人将Harris与DoG相结合，提出具有较高的可重复率和抗干扰能力的Harris．Difference算法瞳引。陈梦婷等人将Harris角点和SIFT描述符相结合，这样既保留了SIFT描述符对光照变化的适应性和对旋转的不变性，又现实了图像全自动配准乜3J。倪鼎等人提出基于区域生长的配准方法，对于灰度差异较大的遥感图像处理效果较好瞳引。由此可以看出，图像配准技术在国内外经过多年的发展，取得了大量的成果。目前，像素级的图像配准技术已经基本成熟，与此同时亚像素级的处理技术正受到越来越多的关注，由于图像获取方式不同，影响配准因素较多，对配准的复杂度和要求不同，所以图像配准的精度、速度、鲁棒性和自动化是图像配准领域研究者一直不懈努力的目标。1．3本文的主要工作本文对基于局部不变特征的图像配准问题进行研究，主要是为了解决在多源差异图像配准过程中，存在较多的冗余干扰信息，以及散落在相似局部结构的特征点误匹配率高的问题。本文主要研究工作如下：(1)对图像配准领域研究的背景和意义，国内外现状，以及目前面临的挑战等进行综述性分析。(2)对局部不变特征检测算法进行概括介绍，选取检测效果较好的SURF算法，进行局部不变特征检测。然而SURF算法的复杂度将随图像的大小和数量成几何级数变化，对于纹理比较丰富的图像，提取SURF特征点并非易事。鉴于影响配准的有效特征点基本上都位于图像目标景物区域内，提出通过图像边缘检测和目标3 万方数据1绪论分割技术，来获取图像目标区域，并在此区域内进行SURF特征提取的算法改进思路。目的是减少特征检测区域和检测时间和降低冗余特征的干扰。(3)针对处于相似局部结构的特征点来说，易出现不正确的匹配。启发于全局特征描述符可以反映整幅图像的信息，提出了全局分布描述符并结合局部特征描述符用来共同表征当前特征点的空间分布信息，以减少误匹配的算法改进思想。(4)为了验证改进算法的有效性，我们将基于改进的SURF配准算法应用于图像拼接，为了去掉拼接过程中可能会产生的拼接痕迹，我们采用插值技术和多频段图像融合算法，同时对于配准图像上在亮度上可能存在不一致问题，本文对拼接图像的整体亮度进行调整，以获得过渡比较自然的无缝拼接图像。1．4论文的章节安排第一章，介绍配准的概念、研究的背景和意义，并阐述了图像配准在国内外的研究现状，给出文章的段落安排。第二章，阐述了图像配准用到的各种局部不变特征检测方法，以及几种变换模型，并分析不同的变换模型的适用情况。第三章，详细介绍SURF算法的原理和实现过程，并通过实验来分析该算法的优点和不足。同时对比了基于最近邻与次近邻比值匹配法和基于Hessian矩阵的快速匹配法。对于误匹配，我们用RANSAC算法予以剔除。第四章，针对第三章分析的算法的不足之处，本章提出改进方法。一方面，为了有效减少检测区域和时间，提出在图像边缘轮廓区域内进行特征提取；另一方面，为了克服局部特征描述符易导致误匹配发生的问题，提出全局分布描述符并结合局部特征描述符用来共同表征当前特征点的空间分布信息，以减少误匹配。第五章，研究了图像插值和图像融合的有关技术，然后用基于改进的SURF配准算法实现全景图像的拼接，并通过图像插值、融合和亮度调整，以消除拼接痕迹。第六章，总结与展望。对本文所做工作进行总结，并就配准存在的问题指出了今后的研究方向。4 万方数据2图像配准的理论基础2．1局部不变特征检测方法图像特征，一般分为全局与局部这两种。全局特征描述的是整幅图像的信息，如颜色直方图、灰度共生矩阵和颜色矩等，其无法描述图像所包含的具体景物的不同特性；局部特征描述的是图像目标的局部区域信息，具有较好的区分度。近年来，使用图像局部不变特征进行配准的方法应用广泛乜51。这类特征，一方面具有不变性，即不受图像的旋转、平移、大小、模糊以及照度变化等因素的影响啪1；另一方面具有独特性和稳定性，即能够在背景杂乱以及目标遮挡中依然被检测到。基于局部不变特征的配准方法，主要有以下步骤：(1)局部不变特征的检测。主要是确定哪些像素点梯度变化较大，能够表征图像局部结构信息；(2)局部不变特征的描述。主要是对特征点求取特征向量，根据特征向量的描述来区别不同的特征点，且描述符不随图像的变换而变化；(3)局部不变特征的匹配。主要是对不同特征点的描述符进行比较，表示同一位置的描述符相似度较高，据此将特征点进行匹配。当前，局部不变特征检测方法主要有角点检测，斑状检测和区域特征检测三类‘2蚴]。2．1．1角点特征检测方法角点检测法可分为基于图像轮廓曲线，基于图像灰度和基于二值图像这三类方法。本小节将介绍基于图像灰度的角点检测方法，如Moravec、Harris和Harris-Laplace。(1)Moravec算法Moravec算法乜刚主要是利用图像灰度的方差值来检测角点。首先，在以当前像素点为中心的大小一定的窗口内，分别计算其上、下、左、右以及两对角线方向上的像素灰度差的平方和，将最小的方差值作为其响应值。其次，设定阈值，将像素响应值大于该阈值的角点，选为候选点。最后，再选大小一定的窗口，遍历整幅图5 万方数据2图像配准的理论基础像，并以相同的方法计算响应值，那么响应值最大的候选点就是最终角点啪1。Moravec算法是很多基于灰度特征检测方法的基础，然而，该算法的不足之处在于：1．每隔45。方向上计算得到的响应值不具有各向同性；2．二值的方形窗口，会增加噪声；3。边缘响应算法太简单，难以应对复杂的图像变换。所以，ChrisHarris等人提出了Harris算法b训，弥补Moravec算法的不足。(2)Harris算法1．为了减少噪声的影响，Harris使用高斯函数来代替Moravec中的二值窗函数，距离中心像素点越远权值越小。1(J2+r2)／高斯函数为：矿(j，y)=_≮P／2a2(2．1)Zzcr。2．为了解决Moravec算法不具备各向同性这个问题，Harris算法用泰勒展开式去近似任意方向。F(以y)=∑w(x，y)po+u，y+矿)一I(x，川2：。兰w(x，J，)l。Ⅳ+I+：，矿：)】2‘2·2’yVo(u=∑，J，)k￡，++2，矿2)jz矩阵形式表不如F：彤=驴d茄I．Iy]刊"，。lt等]亿3，脚，兰H,V】ll；，朗泣4，其中，_，，、，，分别表示X、Y方向的差分值。3．由于矩阵M的两个特征向量五和如与矩阵的主曲率相关，若A和五都很大，表示X方向和Y方向上的曲率变化都较大；若A和五其中一个很大一个很小，那么该点位于边缘上：如果五和五都小，则该点位于平滑区域内。由于矩阵的迹可以用两个特征向量的和表示，矩阵的行列式可以用两个向量的积表示，所以Harris用公式(2．5)判断是否是角点，如果该点的响应值大于设定的阈值，那么该点就是Harris角点。 万方数据2图像配准的理论基础cornernPss=det(∥)一lztrace(M)(2．5)用上述方法得到的HaiTis角点对图像的旋转或平移不敏感，但对尺度变化敏感。因此，又有学者研究提出了Harris．Laplace算法。(3)Harris—Laplace算法Mikolajezyk等人将Harris和LoG(LaplaceofGaussian)函数相结合，提出Harris．Laplace算法口¨。该算法首先对原始图像进行高斯卷积，构立尺度空间；然后对尺度空间的每一层Harris角点检测，那么将可能出现同一位置有多个特征点的现象；最后为了删除较多的冗余点，保留能够表示图像局部结构所在尺度的特征点，Mikolajezyk选取能够使LoG函数取得局部极值的点b引，作为最终的特征点。如此获得的特征点对缩放、平移和旋转都具有不变性。2．1．2斑状特征检测方法“斑状”特征是指由于使用各向同性算子检测而得到的一类特征的统称口引，LoG算子是典型的各向同性算子泓1，其公式如(2．6)所示，其中使用该算子的主流特征检测方法有Hessian、Hessian．Laplace、SIFT(ScaleInvariantFeatureTransfrorm)和SURF(Speeded-UpRobustFeatures)等。咄=士7／'0-(掣20-寸等眨6，4I2J、。(1)Hessian矩阵：Ⅳ=[乞二二{妻：三；芝二二{妻：：习c2．7，其中，乞、乞和Lyy表示对图像做高斯函数卷积和二阶微分。Hessian矩阵可用于检测图像的局部特征，如果像素点的Hessian矩阵的迹或行列式能取得极值，那么该像素点就是特征点。但是Hessian与Harris一样，也不具备尺度不变性，Mikolajczyk署障ISchmid模仿Harris-Laplace，推出了Hessian—Laplace特征检测算法口引。(2)Hessian-Laplace与Harris-Laplace不同的是，Hessian-Laplace算法使用的是尺度规范化的LoG，7 万方数据2图像配准的理论基础即盯2V26。Lindeberg和Mikolajczyk先后在文献中证明了用盯2V2a算子检测特征点具有非常好的稳定性b6’32。，研究还表明，基于Hessian矩阵的算子比Harris算子具有更高的重复率，所以Hessian—Laplace优于Harris—Laplace。(3)SIFT虽然盯2V2口算子检测得到的特征点具有很好的稳定性和可重复性，但是二阶微分会使得运算量变大，所以Lowe提出一种近似盯2V2a的DoG(DifferenceofGaussian)算法，DoG和仃2V2G的近似关系可由热扩散方程(2．8)推出：—a—G：oV26a仃其中，左侧的微分可近似为如下形式：a口a(x，Y，ktr)一G(x，Y，盯)aoktr一6(2．8)(2．9)所以，(k一1)tr2V2口≈a(x，Y，ko")一a(x，Y，盯)(2．10)Lowe用DoG表示相邻高斯尺度空间的差，式中k是常量，表示高斯卷积的变化倍数，由此可见用DoG近似盯2V2口不会影响函数效果，但可以大大降低运算量。SIFT算法就是运用DoG进行特征检测的，主要步骤：1．使用高斯尺度不同的函数对图像做卷积和降采样，构建图像尺度空间；2．将相邻高斯尺度空间的图像相减，以此构建差分尺度空间；3．将图像中的每一像素点和它同尺度、上下尺度邻域内的26个点比较，以寻找DoG函数的极值点。为了寻找首末两层的极值点，通常还需继续用高斯模糊在项层添加3层图，以便进行检测；4．为了精确定位特征点，还需要对特征点进行三维二次函数拟合，同时剔除低对比度和边缘上的响应特征点。5．确定特征点的主方向，并生成特征向量，以便特征点进行匹配。SIFT方法提取的特征点对图像旋转、平移、尺度以及模糊等变化都具有不变性，但是SIFT的特征描述符维度较高，构造尺度空间比较复杂。因此，Bay提出SURF方法，该方法采用积分图做卷积，用近似Hessian矩阵进行特征检测。SURF与SIFT检测到的特征点基本相同，但SURF算法运算速度快，复杂度低。本文的后续工作8 万方数据2图像配准的理论基础都是基于SURF算法进行的，具体算法分析，详见第三、四章。2．1．3区域特征检测方法区域特征检测得到的不是单个特征点，而是图像局部特征区域。区域特征检测常用方法有：有Harris．Affine、Hessian．Affine和MSER等。(1)Harris．Affine和Hessian．AffineHarris．Affine是由Harris．Laplace发展而来的口2’371，由于Harris．Laplace中用的是各向同性的高斯函数，当图像发生仿射变换时，Harris．Laplace不能准确定位特征点，而Harris．Affine正是基于此而产生的，该算子主要利用仿射高斯函数(公式2。11)与自相关矩阵，建立尺度空间。占(∑)：皇P一(学’(2．11)29x／det∑其中，X表示二维坐标，∑表示二维仿射高斯核。同时，自相关矩阵可由公式(2．3)改写成如下形式：肜(彤，∑』，∑刀)=det(∑口)F(∑』)术((V￡)(Z，∑口)(V￡)(z，∑口)7)(2．12)其中，∑口表示微分矩阵，L表示仿射高斯尺度空间，∑，表示积分矩阵，如下所示：z(x，∑口)=g(X，∑口)木，(J)(2．13)设点t经过几何变换A成为以，即彳斤=AX。，则两点的仿射自相关矩阵的关系如下(2．14)所示：M￡=ArM斤A，M厅=A-rMLA一1如果仿射变换前，微分和积分的尺度矩阵分别如下：∑口，￡=仃口∥j1，∑』，￡=仃JM-i1则仿射变换后，微分尺度和积分尺度矩阵分别为式(2．16)所示：∑口，斤=盯口∥i1，∑J。膏=盯』肜；19(2．14)(2．15)(2．16) 万方数据2图像配准的理论基础再假设仿射变换彳：肜膏一Z批％，则：J月：AX￡：肜斤一％胱￡％也(2．17)即：肜。％J，：RM，％J。(2．18)即：肜霄／2J霄=￡／2J￡(．)从上述过程可以看出，对点J。和以的邻域进行归一化处理(XR’：MeZ以、XL’：虬％以)后，区域仅存有旋转变换关系R。Harris．Affine就是利用Harris．Laplace来检测候选特征点，然后用迭代法确定最终特征点及特征区域。这两种检测算法具有很好的仿射不变性，且重复率较高，但这两种方法计算繁琐，复杂度较高。(2)MSERMSER(MaximallyStableExtremalRegion)是由Matas提出具有仿射不变性的最大稳定极值区域∞8。。该算法可简单地描述为口9。：对一副图像设定阈值M，用“白”表示灰度值大于M的像素点，用“黑”表示小于M的点。当M=0时，图像全被标为白色。当M从0’255逐渐增大时，陆续有“黑”点出现，有可能旧的“黑”点被新的“黑”点覆盖，也有可能重新出现“黑”点，在该过程“黑”点代表局部极小值。当M最大时，图像全被标为“黑”色。在此过程，如果M在一定的数值范围内变动时，“黑”点组成的连续区域基本保持不变，那么该区域就是极值区域。当M从255’0逐渐减小时，图像又会从“黑”色变成“白”色，若在两个过程中都出现的极值区域就称为最大稳定极值区域。判定MSER极值区域的标准如公式(2．19)所示：撕，=学(2．19)其中，皱，⋯⋯q一，，q，⋯⋯表示不同的嵌套极值区域，即qcq+。。若公式(2．19)在j’处取得局部极小值q(i’)，则称其对应的区域为MSER。Mikolajczyk和Tuytelaar比较了当前常用的几种局部不变特征检测方法，得出的结论是m1：没有任何一种配准算法能很好地适用于所有图像，应根据具体图像的具体配准要求选择合适的方法。10 万方数据2图像配准的理论基础2．2空间坐标转换模型对于存在重叠区域的两幅或多幅图像，使用相似性度量方法来计算图像间的变换参数，并对图像进行相应变换的过程称为图像配准。假设参考图像歹，上像素点的值为‘(工，y)，待配准图像‘上像素点的值为‘(z，y)，则两幅图像的映射关系为：，2(石，y)=g(il(，(z，y)))(2．20)其中，f是二维的几何变换函数，g是相机传感器的自身修正参数，在图像映射变换时，它一般是非线性的，且难以完全消除，在实际应用中，它的影响也不大，所以两图像的映射关系也可改为：厶(石，y)=球r(x，y))(2．21)平移、旋转、缩放、反射和错切是图像最基础的变换，将它们复合可形成以下几种变换模型：(1)刚体变换刚体变换由平移、旋转和反转组成，图像任意两点的欧氏距离不随图像的刚体变换而改变。点(z：，y。)到(x。，J，。)的刚体变换公式为：(；：)=、、sCO。nS0∥±±sc。ins秒O人yyx2：／／+(；：)c2．22，其中，臼为旋转角度，tx和芒，分别表示x轴和Y轴方向上的平移量。也可将刚体变换分解成平移和旋转的形式：(；：]=＼sCO。nS0∥--+sc。ins秒Oy八yx：2／／+(乏]c2．23，(2)相似变换刚性变换与缩放变换可复合成相似变换：(；：)=22cos0-+1名sc。insO秒y人yxe。、|／+(；：)c2．24，兄表示缩放因子，相似变换改变了场景的大小，但场景的形状能够保持不变。 万方数据2图像配准的理论基础(3)仿射变换图像问存在平移、反转、旋转、错切和缩放时，都可以采用仿射模型变换。由于它具有直线和平行关系特性，所以可以写成如下形式：(；：)=(惫：h红222)(Y石22)+(；：)=胃(；i)+歹(2．25)[三]=[荔荔车][萃]=肜[；]c2．26，其中：M表示投影变换矩阵，[三]为齐次坐标，(钐：)为对应的非齐次坐标，变换后图像对应的新坐标为ix1l，上式整理得：＼yl／x。：兰：堡生竺学，y。：三：型型卫堪(2．27)矿历6+历7+1矿m6X2+mTY2+12．3柱面与球面全景图柱面坐标与球面坐标是标准空间坐标，其可用于构造全景图像映射环境，即图像投影到柱面或球面坐标上，可相应地创建柱面或球面全景图。下面分别介绍柱面全景图和球面全景图变换模型。柱面全景[蛩(CylindricalMosaic)HH3l：先以旋转相机镜头的方式进行拍摄，并将采集到的多幅图像重新投影到一个柱面上，该柱面需以相机的焦距为半径。然后对投影到柱面上的图像进行平移调整，以便图像间对齐。最后对对齐的柱面投影图像进行反投影，就可以得到一个基于柱面投影的平面全景图像。柱面全景图在垂直方向的旋12 万方数据2图像配准的理论基础转度数一般小于1800，但水平方向可实现3600全视角环视。为了保持相机采集到的3600全视角环视景物信息的相对完整性，两幅相邻待拼接图重叠部分约为1／3，同时第一幅与最后一幅图像的重叠区域最好在50％以上。柱面全景图是比较典型的拼接方式，可实现任意视线场景的拼接，但对相机运动的方式有一定的要求，即：相机拍摄要绕中心转轴作水平转动，而垂直方向上只能在一个很小的范围转动。柱面投影的三维空间示意图如2．1所示：图2．1柱面投影示意图球面全景图nH引：相机可以在垂直和水平方向上自由拍摄，然后将拍摄的局部图像投影到球面模型上进行对齐，这种投影方式与人眼模型比较接近。由于球面全景图没有视域的限制，所以能够完整的表达整个视点空间。但将平面图片投影到球面上时，像素点并没有按行列均匀地排列，所以反投影时在球面两级的场景容易失真变形。如图2．2。图2．2球面投影示意图13 万方数据2图像配准的理论基础2．4小结本章首先按照角点检测、斑点检测和区域检测的分类方法，详细地阐述了多种局部不变特征检测方法，各种方法都有不同的应用领域，很难找出一种适合所有的情况的算法。然后阐述了几种基本坐标变换形式，以及由它们组合而成的刚体、仿射、投影和非线性等空间转换模型。最后，介绍了基于球面坐标和柱面坐标的全景图投影变换模型，并分析了不同投影变换模型所适用的不同情况。14 万方数据3SURF配准算法SURF算法是HerbertBay等人提出的一种快速图像特征提取算法。该算法对图像缩放、旋转、噪声和平移影响具有一定鲁棒性，用于对图像局部特征进行检测具有很强的不变性。SURF也常被认为是SIFT(ScaleInvariantFeatureTransfrorm)算法的升级版，SURF算法提取特征点的性能几乎与SIFT算法相同，但SURF算法的计算复杂度小，运算速度快，因此更受研究者的青睐。3．1特征检测3．1．1尺度空间特征点的检测SURF算法的特征点检测使用了积分图像和Hessian近似矩阵，积分图像的使用大幅提高了盒子滤波器的计算效率。1．积分图像的构建对于图像I上的某个像素点X(x，y)，从图像原点O到该像素点x的矩形区域内的所有像素值之和就是该像素点的积分图像(图3．1)。公式如下：i<>