基于稀疏表示和空间约束的高光谱遥感图像分类方法研究

《基于稀疏表示和空间约束的高光谱遥感图像分类方法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

基于稀疏表示和空间约束的高光谱遥感图像分类方法研究作者姓名查方兴导师姓名、职称张小华副教授一级学科控制科学与工程二级学科模式识别与智能系统申请学位类别工学硕士提交学位论文日期2014年11月 学校代码10701学号1202121211分类号TP75密级公开西安电子科技大学硕士学位论文基于稀疏表示和空间约束的高光谱遥感图像分类方法研究作者姓名：查方兴一级学科：控制科学与工程二级学科：模式识别与智能系统学位类别：工学硕士指导教师姓名、职称：张小华副教授提交日期：2014年11月 ResearchonSparseRepresentationandSpaceConstraintBasedClassificationofHyperspectralImageAthesissubmittedtoXIDIANUNIVERSITYinpartialfulfillmentoftherequirementsforthedegreeofMasterinControlScienceandEngineeringByZhaFangxingSupervisor:A.P.ZhangXiaohuaNovember2014 西安电子科技大学学位论文独创性（或创新性）声明秉承学校严谨的学风和优良的科学道德，本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研究成果；也不包含为获得西安电子科技大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。学位论文若有不实之处，本人承担一切法律责任。本人签名：日期：西安电子科技大学关于论文使用授权的说明本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究生在校攻读学位期间论文工作的知识产权单位属于西安电子科技大学。学校有权保留送交论文的复印件，允许查阅、借阅论文；学校可以公布论文的全部或部分内容，允许采用影印、缩印或其它复制手段保存论文。同时本人保证，获得学位后结合学位论文研究成果撰写的文章，署名单位为西安电子科技大学。保密的学位论文在年解密后适用本授权书。本人签名：导师签名：日期：日期： 摘要摘要随着科学技术的飞速发展以及人类处理数据能力的不断加强，高光谱图像处理已经成为图像处理技术中最受关注的领域之一。高光谱遥感影像图像包含大量的空间信息和光谱信息，具有很高的光谱分辨率和空间分辨率。光谱信息决定了地物的谱特性，空间信息决定了地物的几何特性，将高光谱图像的光谱信息和空间信息有机的结合起来，有利于对高光谱遥感图像进行分类。因此，充分利用高光谱遥感图像的光谱信息和空间信息进行地物分类已经成为最近的一个研究热点。最近，稀疏表示在模式识别、信号处理和图像处理等领域都取得了不错的成绩。本文围绕着稀疏表示理论的相关方法对高光谱遥感图像分类的相关问题进行探讨和研究，旨在搜索稀疏概念在高光谱遥感图像分类问题中的理论背景和具体应用，并对稀疏表示框架进行了改进。具体研究内容如下：(1)提出了一种基于半监督局部保留降维和改进的联合协同表示相结合的分类方法。首先，对每两类训练样本求得一个投影矩阵，该投影矩阵使得每两类样本之间同类的距离尽量小，不同类的距离尽量大，这样每两类之间都可以得到一个投影矩阵。在分类时，通过每两类样本的投影矩阵，我们可以判断测试样本和哪一类距离更接近，统计这些信息，我们可以得到测试样本的类别。在IndianPines和Salinas-A高光谱数据库上进行实验，从该算法实验结果可以看出，该算法在高光谱遥感图像上分类的正确率很高。(2)提出了一种基于半监督局部保留线性判别降维算法和改进最近邻分类器相结合的分类算法。该算法的基本思想是结合有标签样本和无标签的样本，得到一个最优的投影子空间，然后通过一个改进的最近邻分类器。先将数据通过得到的投影矩阵进行降维处理，然后用改进的最近邻分类器对测试样本进行分类。在IndianPines和KennedySpaceCenter高光谱数据库上进行了实验，与其他的分类算法相比，我们的算法有着明显的优势。(3)提出了一种基于两阶段非局部相似性联合协同表示分类的算法。首先，该算法利用光谱信息得到每个测试样本一定数目的近邻训练样本，把它作为该测试样本的字典，然后结合测试样本非局部相似性和已求得的字典对测试样本进行非局部相似性表示，最后得到测试样本的类别。我们通过IndianPines和KennedySpaceCenter验证了该算法的性能。关键字：稀疏表示，协同表示，高光谱图像分类，降维，非局部相似性I 西安电子科技大学硕士学位论文论文类型：应用基础研究类II ABSTRACTABSTRACTWiththerapiddevelopmentofscienceandtechnologyandthestrongerandstrongerabilityofhumantodealwithdata,hyperspectralimageclassificationhasbecomeoneofthemostpopularareasofimageprocessing.Hyperspectralremotesensingimagecontainsalargenumberofspatialinformationandspectralinformation,andhashighspectralresolutionandspatialresolution.Spectralinformationdecidesthespectrumcharacteristicsofgroundobjects,spatialinformationdecidesthegeometricfeaturesofobjects,combinethespectralinformationandthespatialinformationofhyperspectalremoteimageishelpfultoclassifyhyperspectalremoteimage.Therefore,makingfulluseofspectralinformationandspatialinformationofhyperspectralremotesensingimagetoclassifyobjectshasbecomeahotspotofrecentresearch.Recently,thesparserepresentationhasbeenwidelyusedinpatternrecognition,signalprocessingandalotoffieldsinimageprocessing.Thispaperdiscussesandresearchestherelatedproblemsofhyperspectralremotesensingimageclassificationaroundthesparserepresentationmethod,aimedatsearchtheoreticalbackgroundandspecificapplicationofsparseconceptioninhyperspectralremotesensingimageclassificationproblems,andimprovestheframeworkofsparserepresentation.Themainlyworksareasfollowing:Atfirst,thepaperputforwardasemi-supervisedlocalprotectivedimensionalityreductionandanimprovedjointcollaborativerepresentationclassificationmethod.Firstofall,wecanobtainaprojectionmatrixforeverytwotypesoftrainingsamples,theprojectionmatrixmakesthedistancebetweensamplesinthesameclassesaslittleaspossible,andasfaraspossibleindifferentclasses,andwecanobtainaprojectionmatrixforeachtwoclasses.Whenclassifying,wecanestimatewhichclassisclosetothetestsamplebyeveryprojectionmatrix.Statisticaltheinformation,wecangetthecategoryofthetestsample.SomeexperimentsaretakenonIndianPinesandSalinas-A,theexperimentalresultscanprovethatthisalgorithmcangetahigheraccuracyonhyperspectralremotesensingimageclassification.Secondly，weproposesaclassificationalgorithmwhichcombinessemi-supervisedlocalIII 西安电子科技大学硕士学位论文protectionlineardiscriminatedimensionreductionalgorithmandimprovednearestneighborclassifier.Thebasicideaofthealgorithmisthatthroughalllabeledsamplesandsomesamplesthatdonothavelabelimformationtofindanoptimalprojectionsubspace,thentrainedanimprovednearestneighborclassifier.Atfirst，weobtainthedimensionreductiondatawiththeprojectionmatrix,thenusethetrainingimproveclassifiertoclassifythetestsample.SometestsonIndianPinesandKennedySpaceCenteraretakentoprovethesuperiorityofourmethod.Comparedwithsomealgorithms,ouralgorithmcanobtainabetteraccuracy.Thirdly,thispaperproposesatwostagenonlocalsimilarityjointcollaborativerepresentationclassificationalgorithm.Atfirst,weobtainacertainnumberoftrainingsamplesforeachtestsamplebyusingthespectralinformation,andregardthemasthedictionaryofthetestsample,andcombinethenonlocalsimilarityoftestsamplesandthedictionariesoftestsamplestorepresentthetestsamples,andthenobtainthecategoryofthetestsamples.WeconfirmtheperformanceofthealgorithmthroughthedatasetofIndianPinesandKennedySpaceCenter.Keywords:Sparserepresentation,Collaborativerepresentation,Hyperspectralimageclassification,Dimensionreduction,NonlocalsimilarityTypeofDissertation:AppliedBasicResearchIV 插图索引插图索引图3.1本章方法和其比较的方法在Indian数据上的分类结果图...........................26图3.2本章方法和其比较的方法在Salinas-A数据上的分类结果图......................27图3.3在IndianPines数据上各种不同方法在不同维数下的分类结果..................28图4.1在IndianPines图上的分类结果.....................................................................35图4.2在KSC图上的分类结果..................................................................................36图4.3不同邻点数目下的分类正确率........................................................................37图5.1在IndianPines数据库上的分类结果图..........................................................44图5.2在KSC数据库上的分类结果图......................................................................45V 西安电子科技大学硕士学位论文VI 表格索引表格索引表2.1SP算法步骤.........................................................................................................9表2.2MP算法步骤......................................................................................................10表2.3OMP算法步骤...................................................................................................10表3.1基于协同表示分类模型.....................................................................................18表3.2基于局部保留的降维算法.................................................................................20表3.3改进的联合协同表示分类算法.........................................................................20表3.4基于半监督局部降维算法和改进的联合协同表示分类算法的结合.............21表3.5IndianPines数据集的各地物样本数目............................................................21表3.6实验选取IndianPinas的9类地物及样本数目...............................................22表3.7Salinas-A的6类地物及样本数目....................................................................22表3.8不同方法在IndianPines数据库上对应的不同维数的分类结果...................23表3.9在IndianPines数据库的分类结果...................................................................23表3.10在Salinas-A下的分类结果.............................................................................24表4.1局部保留LDA降维算法..................................................................................30表4.2局部保留LDA和改进的最近邻分类器相结合的分类算法..........................31表4.3实验选取IndianPinas高光谱数据集的各地物及样本数目...........................32表4.4KSC实验选取KSC高光谱数据集的各地物及样本数目..............................32表4.5在IndianPines上的结果...................................................................................33表4.6在KCS数据库上的结果...................................................................................33表5.1非局部相似性联合协同表示模型.....................................................................40表5.2两阶段协同表示模型.........................................................................................41表5.3两阶段非局部相似性联合协同表示模型.........................................................41表5.4实验选取IndianPines数据集以及训练样本数...............................................42表5.5IndianPines数据库上的实验结果...................................................................43表5.6实验选取KSC高光谱数据集以及训练样本数...............................................43表5.7KSC数据库上的实验结果................................................................................43VII 西安电子科技大学硕士学位论文VIII 缩略语对照表缩略语对照表缩略语英文全称中文对照LDALinearDiscriminantAnalysis线性判别分析LPPLocalityPreservingProjections局部保留投影JSRMJointSparseRepresentationModel联合稀疏表示模型CRMCollaborativeRepresentationModel协同表示模型CoSaMPCompressiveSamplingMatchingPursuit压缩采样匹配追踪MPMatchingPursuit匹配追踪OMPOrthogonalMatchingPursuit正交匹配追踪SVMSupportVectorMachine支撑向量机SPSubspacePursuit子空间追踪OAOverallAccuracy总分类精度CMConfusionMatrix混淆矩阵TP-JCRCTwoPhase两阶段PCAPrincipalComponentAnalysis主成分分析LFDALocalFisherDiscriminativeAnalysis局部Fisher判别分析KPCAKernelPrincipalComponentAnalysis核主成分分析KFDAKernelFisherDiscriminativeAnalysis核Fisher判别分析LPLocalPreserving局部保留IX 西安电子科技大学硕士学位论文X 目录目录摘要....................................................................................................................................IABSTRACT..................................................................................................................III插图索引..........................................................................................................................V表格索引.......................................................................................................................VII缩略语对照表.................................................................................................................IX目录.................................................................................................................................XI第一章绪论.....................................................................................................................11.1研究背景和现状········································································11.1.1高光谱遥感分类技术简介.....................................................................11.1.2高光谱遥感图像分类的研究成果.........................................................21.2研究目的与意义········································································51.3本文的主要研究内容··································································6第二章高光谱图像分类方法简介................................................................................72.1稀疏表示模型···········································································72.1.1稀疏表示问题简介.................................................................................72.1.2稀疏表示分类模型.................................................................................72.2稀疏表示系数求解方法·······························································82.2.1子空间追踪算法.....................................................................................92.2.2正交匹配追踪算法.................................................................................92.3遥感图像的降维方法·································································112.4本章小结················································································16第三章基于联合协同表示的高光谱分类算法..........................................................173.1协同表示分类模型····································································173.2基于半监督局部保留降维和改进的联合协同表示分类算法·················183.2.1半监督局部降维算法...........................................................................183.2.2改进的联合协同表示分类...................................................................203.2.3基于半监督局部保留降维和改进的联合协同表示分类算法...........203.3实验结果与分析·······································································213.3.1实验数据库介绍...................................................................................213.3.2分类精度评价指标...............................................................................223.3.3在IndianPines数据库的实验.............................................................23XI 西安电子科技大学硕士学位论文3.3.4在Salinas-A高光谱数据库的实验结果.............................................243.3.5实验结果分析.......................................................................................243.4本章小结················································································28第四章基于最近邻分类器的高光谱分类算法..........................................................294.1最近邻分类器··········································································294.1.1最小距离分类器...................................................................................294.1.2最近邻分类器.......................................................................................294.2半监督局部保留LDA与改进的最近邻分类器·································294.2.1半监督局部保留LDA.........................................................................294.2.2改进的最近邻分类器...........................................................................314.2.3半监督局部保留LDA与改进的最近邻分类器结合........................314.3实验结果与分析·······································································324.3.1实验数据集...........................................................................................324.3.2在IndianPines高光谱数据集上的实验结果.....................................334.3.3在KSC高光谱数据库的实验结果.....................................................334.3.4实验分析...............................................................................................344.4本章小结················································································37第五章基于两阶段非局部相似性联合协同表示分类算法......................................395.1非局部相似性联合稀疏模型·······················································395.2两阶段非局部相似性联合协同表示分类········································405.2.1两阶段协同表示模型...........................................................................405.2.2非局部相似性联合协同表示分类模型...............................................415.3实验结果与分析·······································································425.3.1在IndianPines高光谱数据库上的实验结果....................................425.3.2在KSC高光谱数据库上的实验结果.................................................435.3.3实验结果分析.......................................................................................455.4本章小结················································································46第六章总结与展望.......................................................................................................476.1本文内容总结··········································································476.2展望······················································································47参考文献.........................................................................................................................49致谢.................................................................................................................................53作者简介.........................................................................................................................551.基本情况·················································································55XII 目录2.教育背景··················································································55XIII 西安电子科技大学硕士学位论文XIV 第一章绪论第一章绪论本章首先介绍了高光谱遥感图像分类的研究背景和现状，并具体介绍了高光谱遥感图像分类的研究成果；接着简单的说明了研究的意义，最后给出了本论文的工作内容及论文安排。1.1研究背景和现状1.1.1高光谱遥感分类技术简介20世纪60年代，遥感技术逐渐成为一门新兴的探测技术，该探测技术通过对远程目标所反射回来的电磁波信息进行采集、处理以及成像，进而对地表的各种物体进行识别和探测。任何物体对对光谱都有着不同的辐射、反射和吸收的特性，也就是说它们有着不一样的光谱特性。遥感技术是通过机载或者星载收集到的地物信息来获得遥感图像的。图像中的每个像素点都是含有高维的信息，这些信息的用途非常广泛，例如对地物的识别和分类。经过几十年的发展，遥感图像现在已经被延伸到很多领域，包括军事测绘、气象观测、地球资源普查、土地规划、农作物产量调查和地震监测等方面。本文主要研究的目标是高光谱遥感。高光谱技术在20世纪90年代得到发展，我们可以利用传感器得到非常窄的几百条在一定范围内的光谱信息。高光谱遥感数据包含了丰富的代表高光谱遥感图像几何空间特征的空间信息和表示高光谱遥感图像光谱特征的光谱信息。因为高光谱遥感图像的信息量非常丰富，所以被广泛应用于各种领域。科学技术在飞速的发展，高光谱遥感技术也会有更好的前景，高光谱遥感技术已经发展为遥感技术中非常重要的部分。高光谱传感器的发展为高光谱图像的处理提供了丰富的信息，从而促进了高光谱图像处理技术的发展，但是和传统的遥感图像一样，丰富的信息也为高光谱图像带来了新的难题。海量的信息使得高光谱数据的处理非常的复杂，而且距离很近的波段的相互影响非常强。与此同时，同一类样本之间的差异比较明显，并且训练样本不容易获得。该问题将会导致很多分类器的分类性能下降。针对这些问题，我们主要通过两个方面来解决这类问题：(1)通过对高光谱数据进行提取主要特征的降维处理，这类方法可以有效的减少了分类的复杂度，而且分类的正确[1]率也有显著地提高，典型的降维算法有线性判别降维算法（LinearDiscriminant[2]Analysis，LDA）和局部保留投影降维算法（LocalityPreservingProjections，LPP）等等；(2)改进一些效果比较好的分类器和提出新的分类器模型，这类方法主要是[3-4]为了提高分类器的分类性能，典型的算法有联合稀疏表示模型（JointSparse[5-6]RepresentationModel，JSRM）和协同表示模型（CollaborativeRepresentation1 西安电子科技大学硕士学位论文Model，CRM）等等。近年来，由于研究者的不懈努力，稀疏表示理论得到了很好的发展，基于稀疏表示模型的高光谱遥感图像分类也得到了很大的发展，基于稀疏表示模型的分类器与一些传统的分类器相比，能够取得了更好的结果。2010年，YiChen等人提[3-4]出了基于稀疏表示模型的高光谱图像分类方法，该方法在考虑使用稀疏表示的同时也将高光谱图像相邻像素之间具有高度相似特征的特点考虑到分类模型中，提出了分类效果更好的联合稀疏表示分类模型。该文通过对IndianPines、UniversityofPavia和KennedySpaceCenter三幅高光谱图像实验，表明了该方法比现有的SVM方法更有优势。1.1.2高光谱遥感图像分类的研究成果高光谱遥感图象地物分类，既是通过对此高光谱遥感图像进行处理，提取高光谱遥感数据的各种特征，然后根据某种分类标准对高光谱遥感图像进行判别处理，用来实现对地物的分类。对高光谱遥感图像进行分类的方法分为有监督分类方法和无监督分类方法。有监督分类方法首先对具有先验知识的样本进行学习，然后对不具有先验知识的样本进行分类的方法。通常我们用到的有监督分类方法有k近邻的分类模型、最大似然分类算法、基于光谱散度的分类模型、人工神经网络分类模型和支持向量机。[7]K近邻分类器：k近邻方法就是在训练样本中取测试样本的k个近邻点，看这k个近邻点中哪一类样本的个数占优势，这个类别就是测试样本的分类类别。最小距离法就是通过训练样本计算出每一类样本的一个中心点，对每一个测试样本在这些中心点了求它的最近邻点，该近邻点是哪一类的中心点，就把测试样本归于哪一类。[8]最大似然分类算法：最大似然是由高斯最早提出的，该方法的主要思想是：在进行类别判决中，假设每个类别的样本的都符合正态分布，通过计算各个类别的归属概率来对样本分类的一种方法。[9-10]基于光谱散度的分类模型：该方法计算样本与样本光谱矢量夹角，并且根据样本之间夹角的大小来判断测试样本与训练样本之间的相似程度，根据该相似程度来判别样本类别的方法。两个样本之间的夹角越小，就表示两个样本之间的特性越相似。[11]人工神经网络的分类模型：人工神经网络属于人工智能，并且在其中占据了很重要的地位，通过一定数量简单的单元组成相互有联系的网络，模拟生物神经系统对真实物体的感应。20世纪80年代，该分类方法开始在遥感影像分类领域得到应用，它通过学习训练样本，不断的改善一些参数，直到能够把测试样本正2 第一章绪论确的分类。通过不断的调整来得到训练样本的内在特性，然后对测试样本用训练好的神经网络进行分类。[12]支持向量机（SupportVectorMachine，SVM）：CorinnaCortes和Vapnik等人于1995年第一次提出支持向量机的概念，它主要被用来处理小样本数据和高维的识别问题，该方法通过VC维原理和统计学习等原理，把样本的原始空间通过非线性映射映射到另外一个空间中（Hilbert空间），在该空间中，样本是线性可分的。无监督分类方法是在不包含先验知识的条件下进行的分类方法，根据样本与样本之间的光谱特征的相互联系对样本进行分类。我们通常使用的无监督方法有[13-14][15]K-means（K均值）和ISODATA。[13-14]K-means：K均值算法是一种经典的简单易操作的聚类算法。算法的基本思想是：在已知数据库的类别总数k的条件下，根据数据与数据之间的相似度把数据划分为k个类别。K-means的基本操作过程是：首先从数据集中任意选择k个样本点，我们把这些点做为初始的中心点，然后针对数据集中所有的点，我们可以根据他们与聚类中心点的相似度分别把每一个点划分到某一个类别。然后再计算获得的类别的聚类中心，重新得到k个聚类中心，重复上述操作，直到达到算法的终止条件。算法的终止条件不唯一，我们一般把均方差作为算法终止的标准。K-means所得到的聚类具有不同类样本之间的距离尽可能的大，并且同一类样本之间的距离尽可能的小的特点。[15]ISODATA(Iterativeself-organizingdataanalysistechniquesalgorithm，迭代自组织数据分析技术)：IOSDATA是一种经典的无监督聚类算法。算法的基本步骤是：首先选取一些特殊的点作为该算法的中心点，然后根据聚类中心点将每一个样本划分到离它最近的一个类别中，接着计算新的中心点。然后就是迭代之前的步骤，直到迭代次数超过了设定的迭代次数或者参数达到了我们设定的阈值，聚类过程到此结束。IOSDATA算法在每次循环的过程中都有可能合并或者分离类别。当两个类别中心点的距离小于我们预先设定的阈值时，我们就把他们合并为同一个类别；当某一个类别的标注差大于我们预先设定的一个阈值的时候我们把这类样本分离为两类；同样的，当某一个类别的样本总数超过了我们设定的一个阈值的时候，我们也把该类别得样本分离成两类；另外，在某一个聚类集的样本总数小于一个我们设定的阈值时，这个集合就会被其他的聚类集合并。随着成像光谱仪的不断发展，获取更多的遥感数据已经非常的容易，但是这些数据中的样本点一般都是不含标签信息的。在有监督分类过程中，通过学习训练样本得到数据的各种信息，进而对不含标签信息的样本进行类别的预测。然而，在遥感图像中，样本标签信息的获取是需要花费庞大的人力和物力，付出的代价实在太大。当含有标签信息的训练样本数目太少时，在对训练样本的学习过程中3 西安电子科技大学硕士学位论文我们很难找到数据的真实信息，从而在对无标签样本进行预测时会产生很多错误的预测。在有标签样本数目较少的情况下，为了得到良好的分类结果，半监督学习方法被发掘，它在含有标签信息的样本很少的情况下，结合其他不含标签信息的样本改善学习过程的性能，在很大程度上提高了分类器的分类性能。近年来，国内外的研究人员对半监督学习进行了深入的学习和研究，取得了很多不错的研[16-17]究成果。目前，比较经典的半监督分类方法有：基于图的半监督算法、协同训练半监督模型算法、自训练半监督模型算法和生成式模型算法等。[18-20]基于图的模型算法：基于图的半监督学习方法在样本之间构建一个连接图，该图的顶点为有标签样本和无标签样本的集合，图的边为顶点与顶点之间的相似性，分类的依据为连接边对应的权值越大，说明该条边对应的两个样本越相似，也就是说这两个样本应该属于同一类别的概率也就越大。在图的半监督算法中，不同的图将会产生很不一样的分类的效果，常见的构造图的方法有全连接图(fullyconnectedgraph)、K近邻图(K-NearestNeighborsGraph)和ε近邻图。全连接图是将所有的顶点之间都用边连接起来，每个边都有一个与样本相似性相关的权值，从而构建一个全连接图。全连接图的构建过程非常简单，但是求解的计算量非常大。K近邻图的每个样本只与自己的K个近邻点进行连接，从而得到一个连接图。通常，近邻点选取的是与样本点欧氏距离最小的K个样本点。ε近邻图是设定一个函数，每两个样本之间都可以得到一个数值，当该数值小于ε时，这两个样本之间就存在连接关系，否则就不存在连接关系。存在连接关系的样本之间的权值一般用高斯核函数来求解。[21-23]协同训练模型算法：协同训练算法的应用是基于三个前提条件下的。首先，假设每一个子集都能得到一个分类性能不错的分类器；其次，每个集合都可以被分解为两个子集；最后，已知类别标签的两个特征子集之间相互独立。该算法的基本步骤是：利用含有标签信息的样本在特征集合分解的两个子集上得到两个不同的分类器，然后利用这两个得到的分类器对没有标签信息的样本分类，将分类结果比较可信的样本及其对应的标签信息再进行重复学习，一直循环上述操作，直到算法的分类结果稳定。该方法可以避免自训练模型算法中的错误不断积累的过程，相对于自训练半监督学习算法，该算法有着很好的分类结果。但是，该算法有许多的限制条件，特别是对样本的特征的选择条件很苛刻。[24-25]自训练半监督算法：自训练半监督算法是一种简单且容易实现的半监督学习方法。该算法的基本步骤是：首先通过含有标签信息的样本训练得到一个分类器，然后通过该分类器对其他的的样本进行分类，将得到的分类结果可信度较高的的样本和该样本的标签信息加入到训练样本中，对新的训练样本进行重新学习，得到新的分类器，用新的分类器对无标签样本进行分类，重复该操作一直到4 第一章绪论该算法性能稳定。我们不难看出，在第一次执行该操作时，如果加入训练样本集的无标签样本的类别信息是错误的，该错误信息会一直延续，从而得到更多的错误分类结果。所以，该算法的分类性能不是很好。一些算法会通过选择性的把一些没有标签信息的样本加入到训练样本中，从而提高分类器的分类性能。[26-27]生成式模型算法：基于生成模型的算法是半监督学习方法中最早被提出的方法，该算法将没有标签信息的样本属于每一个类别的概率当做是一组未知的数，接着用最大期望分类器在生成式模型的基础上对这些未知的数极大似然估计。基于生成式模型的算法非常容易理解和实现，并且在只有少量的含有标签信息的样本的情况有着很好的分类效果，但是，当模型假设选取不当时，大量没有标签信息的样本被用来计算模型中参数会很大程度上降低该模型的分类效果。由于，选择合适的模型来对来预测数据的结构是一个非常困难的过程，所以该方法在现实中的应用非常有限。1.2研究目的与意义高光谱遥感技术是一种现代化的高科技技术，已被各种领域所广泛应用。然而，相对于传感器等硬件设备而言，高光谱遥感数据处理技术相对比较落后，这对高光谱遥感技术的应用和发展起阻碍作用。高光谱遥感图像分类技术也是高光谱遥感数据处理技术的一种很重要的组成部分。高光谱遥感图像含有大量的地物信息，并且具有很高的空间分辨率和光谱分[28]辨率。我们将高光谱遥感图像的光谱信息和空间信息结合起来可以有效的提高地物分类的准确率，有时候，我们用传统的方法无法识别的地物可以通过高光谱遥感进行很精确的地物分类。高光谱遥感数据为我们提供大量的信息，同样也给我们带来了很多需要解决[28]的问题。首先，在高光谱遥感图像分类算法中，有监督算法需要大量的有标签样本来训练，如果样本数目不够多，分类的精度会很低，而且大量的有标签样本不仅数目多而且维数很高，这对我们训练样本的计算量是个很大的挑战，同时运算速度也会很慢。因此，如何在减小样本训练的运算量的同时保证分类的准确度是高光谱遥感领域的一个热点问题。其次，高光谱遥感数据中，波段与波段之间有着千丝万缕的联系，这对高光谱遥感图像的分类有不利的影响，因此，在对高光谱遥感图像进行分类之前，需要对数据进行一些处理，在削弱冗余信息的同时得到更加真实更加准确的信息，为分类过程的实施提供了更好的信息。人们在研究信号的时候，发现了稀疏表示这个概念。经典的信号表示的方法有小波变换和傅里叶变换等等，这些方法的基本思想都是在特定的正交基上对信号进行分解。根据这个思想，Mallat在1993年提出了通过字典来分解信号的理念[29]，并且要求该字典是过完备的，也就是说字典中的原子是线性相关的，所以信5 西安电子科技大学硕士学位论文号在该字典上的表示系数有很多都是零，也就是说表示系数是稀疏的，该表示方法就是稀疏表示。稀疏表示理论已经在很多领域得到了应用，例如模式识别、自然图像去噪以及高光谱图像分类等等。稀疏表示理论的应用在降低原来的算法的复杂度的同时提高了算法的性能，从而大大的提高了原来的算法的应用范围。本文通过对一些现有一些分类算法的研究和实践，提出一些在高光谱遥感图像中分类精度更高的算法。1.3本文的主要研究内容本文的主要内容安排如下：第一章介绍了高光谱遥感图像分类技术的研究背景、研究目的和意义，同时介绍了高光谱遥感技术的研究成果和遇到的问题以及本文的框架安排。第二章重点介绍了常见的稀疏表示模型和经典的稀疏系数求解算法以及几种常见的降维方法。第三章简单的叙述了基于稀疏模型分类算法的改进算法协同表示分类算法，并重点介绍了我们提出来的一种基于半监督局部保留降维和改进的联合协同表示分类方法。该算法首先对每两类训练样本求得一个使两类样本之间同类的距离尽量小，不同类别的距离尽量大投影矩阵。在对测试样本进行分类时，我们可以判断测试样本和每两类的哪一类距离更接近，统计这些信息，我们可以得到测试样本的类别。在IndianPines和Salinas-A高光谱数据库上进行仿真实验，实验表明，该算法能够显著的提高高光谱遥感图像分类的正确率。第四章简单的介绍了线性判别算法和K近邻分类器，重点介绍了我们提出的一种基于半监督局部保留LDA算法和改进最近邻分类器相结合的分类算法。该算法的基本思想是通过有标签和无标签的样本，找到一个最优的投影子空间，然后训练了一个改进的最近邻分类器。先将数据通过得到的投影矩阵进行降维处理，然后用训练的改进分类器对测试样本进行分类。在IndianPines和KennedySpaceCenter高光谱数据库上进行了仿真实验，结果显示，与其他的算法相比，分类器的识别率有明显的改善。第五章在协同表示分类模型的基础上进一步提出了一种基于两阶段非局部相似性联合协同表示分类的算法。该算法通过特定的方法得到每个测试样本一定数目的近邻训练样本，把它作为该测试样本的字典，然后结合测试样本非局部相似性和已求得的字典对测试样本进行非局部相似性表示，最后得到测试样本的类别。我们通过IndianPines和KennedySpaceCenter验证了该算法的性能。第六章的工作是对本文的全部工作的一个总结，并且对今后的工作提出了一些可行的展望。6 第二章高光谱图像分类方法简介第二章高光谱图像分类方法简介随着科学技术的不断发展，遥感技术已经被应用到各个领域，遥感图像分类技术更是得到了广泛的关注。本章首先主要详细介绍了近期在高光谱分类领域备受关注的稀疏表示模型及经典的稀疏表示系数的求解算法，接着介绍了一些经典的降维方法。2.1稀疏表示模型2.1.1稀疏表示问题简介稀疏表示的应用是基于一个假设，该假设认为信号都是可以被压缩表示的，[30]从数学的角度来看，稀疏表示是信号的一种线性分解过程。稀疏表示方法必须具有备过完备性，也就是说字典中包含的原子的总个数必须大于单个原子的维数。当我们把信号看成是一个列向量，字典看成是一个矩阵，该特性在字典所对应的矩阵中的表现为：字典的列数比行数大。稀疏表示方法所具备的另一个特性是稀疏性，是指在对信号进行表示的时候，所得到的系数必须是稀疏的，也就是说在表示信号时，字典中只有少数的原子起作用。2.1.2稀疏表示分类模型稀疏表示模型在很多问题上有很好的效果，最近有很多研究者都在致力于研究与稀疏表示模型框架相关的问题。例如：稀疏表示模型在人脸识别、自然图像重构等都有很好的应用，在高光谱遥感图像分类上也有很好的应用。特别是YiChen[3-4]等人首先提出将稀疏表示模型应用到高光谱遥感图像分类的领域，该方法将稀疏性和高光谱图像的相邻像素点的相似性结合起来，在高光谱遥感图像分类上取得了很好的效果。本小节将详细介绍基于稀疏表示的分类模型以及该模型在高光谱遥感图像分类领域的应用。假设一个数据集有n类样本集，我们在第i类样本中取n个样本做i为训练样本，每一类训练样本构成一个子训练样本集合D，然后我们将将所有类i别的训练样本放在一起构成一个训练样本集DR{D},i1,2,...,n,Ddni。每给定iid一个测试样本yR，我们的任务就是预测输入的测试样本的类别。稀疏表示分类模型首先引入了稀疏的概念，对测试样本进行稀疏表示编码，该方法认为在对某一个训练样本进行稀疏表示时，与该测试样本属于同一类的训练样本的贡献值应该很大，而与该样本不同类的训练样本的贡献值应该很小。稀疏表示的数学表达式如下：7 西安电子科技大学硕士学位论文yD11D22...DnnD(2-1)稀疏表示模型要求待测样本在所有类别组合而成的字典D上的表示系数应该是稀疏的，也就是说该系数只有少部分原子不为零。它所表示的物理意义就是只有少数训练样本在表示该测试样本时起到了作用，作用的大小和表示系数所对应的原子值成正线性关系。由于稀疏表示理论认为和测试样本属于同一个类别的训练样本在表示该测试样本时所起到的作用比较大，所以与测试样本属于同一类的训练样本对应的系数原子值相对比较大。因此，稀疏表示的的求解过程可以[31-32]等价于求解如下优化问题：argminsty..D(2-2)0由于该问题是一个NP难问题，通常我们用l范数代替该问题中的l范数10[31][33]，于是可以得到如下式子：argminsty..D(2-3)1当我们获得测试样本相对于字典D的稀疏表示系数后，我们的任务就是要根据所得到的系数对该样本进行分类。在分类过程中，我们依据的标准是测试样本相对于每一类训练样本集的重构误差，重构误差最小的那一类别即为该测试样本的类别：2class(y)argminyDii2(2-4)i由此可见，稀疏表示分类方法首先将所有的训练样本组合成一个字典，然后用该字典对测试样本进行稀疏表示，假设每一个测试样本都可以被少数与该样本属于同一类的训练样本表示出来，则我们可以通过每一类的重构误差来判断该样本属于哪一类。2.2稀疏表示系数求解方法稀疏表示系数求解算法就是在已知字典和输入信号，求解稀疏表示系数的过程。通常，我们采用的稀疏表示系数求解算方法可以分为三个类别：第一类是线性规划算法，第二种是统计算法，第三种是贪心算法。在对稀疏模型进行稀疏表示系数求解时，我们采用的是匹配追踪类算法，常见的匹配追踪算法有MP算法、SP算法、OMP算法以及其改进算法。匹配追踪类算法通过多次迭代找到一个最匹配的结果，一般求解的都是目标函数的局部最优解。匹配追踪算法的最大优点就是结构简单而且效率很高，因此，匹配追踪算法在很多计算精度要求不高的工程中有很强的实用性。近年来，该类算法被广泛用到了稀疏系数的求解上，本节主要是介绍SP算法和OMP算法。8 第二章高光谱图像分类方法简介2.2.1子空间追踪算法[34]2008年，压缩采样匹配追踪(CoSaMP)算法被提出，该算法的思想是在迭代寻找最优解的过程中加入了回溯的思想。在迭代寻找最优解的过程中，每次得到两倍的符合要求的解，然后再在里面挑选所需要的解集，最后找到最符合条件的最优解。其寻找最优解的迭代过程因为引入了回溯思想，在提高了算法精度的同时大大的减少了算法的求解时间。之后，W.Dai等人在该算法的基础上提出了子空[35]间追踪(SubspacePursuit,SP)算法。SP算法也将回溯的思想运用到了迭代求解最优解的过程中，该算法的过程与CoSaMP算法的过程基本上是一样的，只是在最后重构信号时，SP算法采用的是伪逆，该算法相比于CoSaMP算法而言，收敛速度和迭代次数都更有优势，同时，时间的复杂度也更低。SP算法的步骤如表2.1所示。表2.1SP算法步骤输入：字典D[,,...,ddd]，测量信号y，稀疏度K。12N输出:稀疏表示系数。第一步：对字典中的所有样本进行归一化处理，使得每一列样本的2-范数为1。0TTT1第二步：初始化支撑索引集Targmax(Dy)，初始化冗余残差ryD()DDDy，0T0T0T0T0K初始迭代次数k1。第三步：开始迭代，迭代在第k次循环时运行以下步骤：(1)通过回溯的思想来构造新的支撑索引集：kTkk11kTargmax(Dr),TTTk1K(2)利用最小均方准则进行筛选：kTTargmax(Dr)k1K(3)更新残差：TT1ryD()DDDykTkTkTkTk(4)kk1，返回到(1)，直到满足特定的迭代终止条件：rr。kk1TT1第四步：得到输出D()DDDy。kkkkTTTT2.2.2正交匹配追踪算法[36-38]正交匹配追踪(OrthogonalMatchingPursuit,OMP)算法是一种经典的贪心[36]算法，该算法是MP算法的一种经典的改进算法。下面我们首先简单的介绍MP算法，接着介绍OMP算法。[36-38]匹配追踪(MatchingPursuit,MP)算法是Mallat最先提出来的，它被用作信号的稀疏分解。MP算法在每次迭代中，从字典中通过求解找到与已知的输入信号最合适的原子进行稀疏求解，计算出信号的重构误差，然后重新选择与已知的输9 西安电子科技大学硕士学位论文入信号最合适的原子，如此循环该过程，最终找到求解的系数。假定稀疏度为K，MP算法在寻找最优解的过程中最少需要通过K此迭代过程。通常，我们需要通过更多的迭代次数来找到最为匹配的信号。下面我们通过表2.2对稀疏重构中的MP算法的过程进行详细的介绍。表2.2MP算法步骤输入：字典D[,,...,ddd]，测量信号y，稀疏度K。12N输出:稀疏表示系数。第一步：对字典中的所有样本进行归一化处理，使得每一列样本的l范数为1。2第二步：初始化冗余ry，支撑索引集，初始迭代次数k1。00第三步：开始迭代，迭代在第k次循环时运行以下步骤：(1)通过相关计算求解支撑索引：argmaxrd,kk1iiN1,2,...,(2)将(1)中的支撑索引加入到信号支撑集：()kk1k(3)估计信号：T1yy(DD)Dkk1kkk(4)更新残差：TT1rrD()DDDrkk11kkkkk(5)kk1，返回到(1)，直到满足特定的迭代终止条件：kK。TT1第四步：得到输出D()DDDy。kkkk由表2.2可以看出，MP算法计算的残差始终是与前一次迭代过程的残差是正交的，但是选定的字典原子与原信号之间不一定是正交的，所以所得到的结果不能保证是最优的，因此，MP算法需要迭代很多次。正交匹配追踪(OMP)算法是对MP算法的一种完善，该算法的基本运行过程是和MP算法大致一样的，与MP算法不一样的地方有两点。第一，OMP算法在每次迭代寻找最优解的过程中都需要对已选取的原子进行正交化处理，这样可以保证每次迭代所得到的结果都是最优解；第二，OMP算法采用伪逆和观测信号得到更新的残差。所以，与MP算法相比，OMP算法所需要的迭代次数会更少，并且，需要的观测样本也要少。OMP算法的基本流程如表2.3所示。表2.3OMP算法步骤输入：字典D[,,...,ddd]，测量信号y，稀疏度K。12N输出:稀疏表示系数。第一步：对字典中的所有样本进行归一化处理，使得每一列样本的l范数为1。210 第二章高光谱图像分类方法简介第二步：初始化冗余ry，支撑索引集，初始迭代次数k1。00第三步：开始迭代，迭代在第k次循环时运行以下步骤：(1)通过相关计算求解支撑索引：argmaxrd,kk1iiN1,2,...,(2)将(1)中的支撑索引加入到信号支撑集：()kk1k(3)更新残差：TT1ryD()DDDykkkkk(4)kk1，返回到(1)，直到满足特定的迭代终止条件：kK。TT1第四步：得到输出D()DDDy。kkkk从表2.3可以看出，重构信号始终是与残差正交的，这样在每次迭代的过程中，OMP算法都会找到新的最合适的原子，不需要进行重复寻找，从而大大的降低了算法的复杂度，提高了算法的时间效率。从表2.2和表2.3可以看出，OMP算法和SP算法有着很大的不同，SP算法每次迭代的过程中都会估计出K个信号支撑索引，通过回溯的思想，每次迭代过程都是在上一次迭代过程找到的信号支撑集中选取K个信号索引。而OMP每次迭代求解过程之得到一个原子做为信号的支撑索引，并且，因为OMP算法没有采用回溯的思想导致如果在迭代过程中找到的支撑索引是不准确的，那么这将会产生错误的结果。所以，两个算法相比，SP算法相对于OMP算法更有优势，同时SP算法的时间复杂度也相对较低。2.3遥感图像的降维方法遥感图像的降维方法主要有两个类别：特征提取降维方法和特征选择降维方法。特征提取降维方法是通过一个特定的投影矩阵将数据从原始的特征空间映射到另一个维数较低的空间来表示，使得通过映射生成的特征可以囊括原始数据中的大部分的有用信息。特征选择降维是原始的特征集合中选取一部分特征做为新的特征,然后用选取[39]的新的特征代替原始的特征集合。根据一些特定的方法，在原始的特征中保留一些有用的特征，去除一些多余的特征。在特征选择方法中，选取适当的评价标准是最重要的。我们通常利用距离、[40]一致性和关联性等特性来衡量特征选择的方法是否得当。利用距离特性来衡量：在模式识别领域中，属于同一个类别的样本之间的距离越小，并且，属于不同类别的样本之间的距离越大，说明类与类之间的可以被11 西安电子科技大学硕士学位论文有效的分开。所以，在特征集合中，使不同类别的距离越大，并且使同一类的距离越小的特征，就是我们要选择的特征。利用一致性特性来衡量：如果原本属于不同类别的两个样本在某些特征上的取值相同，我们就认为该特征与原始特征不一致。也就是说，假如两个不同类别的样本在某些特征集合上的取值是很相似的，那么在特征选择的过程中，这些特征集合是不应该被选取。利用关联性特性来衡量：关联性就是表示两个样本的相关程度。相关性度量做为最常见的关联性衡量方法，在度量特征与特征之间的相关性的同时也度量特征与类别之间的相关性。也就是说类别之间的相关性要尽量大，而特征之间的相关性要尽量小。我们经常见到的降维算法都是特征提取降维算法。我们经常用到的特征提取[41]降维方法有奇异值分解（SVD），线性判别算法（LDA），局部保留投影（LPP），[42-43][44]主成分分析（PCA），局部Fisher线性判别方法（LFDA）等等。这些算法的思想都是通过对训练样本进行学习，得到一个投影矩阵，根据我们求得的投影矩阵可以将原始特征投影到另外一个空间，新的特征包含了原始特征绝大多数的信息，并且朝着我们想要的方向改变。这些方法都是通过线性变换把原始数据变换到低维空间，只能提取数据的线性信息，我们把他们统称为线性变换方法。而实际上，现实生活在大部分的数据的分布都是非线性的，通过线性变换方法我们只能得到数据的线性信息，所以，我们还使用一些非线性变换方法。常见的非线[45][46]性变换方法有核Fisher线性判别算法（KFDA），核主成分分析方法（KPCA）等等。下面我们主要介绍线性判别算法（LDA），局部线性判别算法（LFDA），主成分分析方法（PCA）。线性判别算法（LDA）是一种有监督降维算法。该算法在目标函数取极值的情况下，可以求解到一个投影矩阵，然后将原始的特征通过求得的投影矩阵投影到我们想要的一个低维空间，于是我们把分类问题转化到该低维空间进行。简而言之，该方法的目的就是找到一个投影方向，使得样本在这个投影方向上能被分的最准确，问题是我们怎么根据实际数据找到这个投影方向。d该算法的数学表达为：假设有n个训练样本xx,,...,xR，该训练集总共有12nN类：cc,,...,c，假定第i类有n个训练样本。LDA的目标就是找到一个投影矩12Ni阵w，使得训练样本在该投影矩阵上的投影，同一类别样本的散度矩阵最小，不同类别样本的散度矩阵最大。定义m为所有样本的均值向量，m为第i类样本的均值：i12 第二章高光谱图像分类方法简介n1mxi(2-5)ni11mixi,1,2,...,N(2-6)nixci定义同一个类别中样本之间的散度矩阵为S，不同类别样本之间的散度矩阵w为S：bNTSw(xm)(xm)ii(2-7)i1xciNTSnbi(mim)(mim)(2-8)i1T样本x在经过最优投影矩阵w投影之后可以得到样本ywx，投影之后的每**类样本均值为m，投影后的总样本均值为m，投影后的同一个类别样本之间的散i**度矩阵为S，不同类别样本之间的散度矩阵为S：wbn*1myi(2-9)ni1*1miyi,1,2,...N(2-10)niyciN***TSw(ym)(iym)ii1yciN*TT(2-11)Sww(xm)(ixm)iwi1xci*TSwSwwwN*****TSnbi(mim)(mim)i1N*TT(2-12)Sbniw(mim)(mim)wi1*TSwSwbb我们希望通过投影矩阵投影之后，属于同一类的样本之间的差距越小越好，不同类样本之间的差距越大越好，也就是同一类样本尽可能集中，不同类样本尽可能分离。定义的目标函数为：T*wSwbJ(w)(2-13)T*wSww我们可以使用拉格朗日参数法求解上面的式子来得到最佳投影矩阵w。近年来，在LDA的基础上进行改进的算法有很多，例如：核Fisher判别算法13 西安电子科技大学硕士学位论文（KFDA），正则化线性判别分析（RLDA），改进线性判别分析（MLDA），局部线性判别分析（LFDA）等等。其中以LFDA的效果最好，下面我们具体介绍一下LFDA。LFDA是一种在LDA上的改进算法，该算法将LDA与数据的局部信息结合起来，可以有效的解决数据是多峰值的问题，在高光谱遥感图像分类上的效果比dLDA明显要好。该算法的基本步骤是：假设有n个训练样本xx,,...,xR，该训12n练集总共有N类：cc,,...,c，假定第i类有n个训练样本。假定同一个类别样本12Ni()lb(l)w之间的局部散度矩阵为S，不同类别的样本之间的局部散度矩阵为S：n()lb1()lbTSWij,(xix)(xjix)j(2-14)2ij,1n(lw)1(lw)TSWij,(xix)(xjix)j(2-15)2ij,1()lb()lw其中，W和W定义为：ij,ij,A(1/n1/n),ifyyl,ij,lij()lbWij,1(2-16),,ifyyijnAij,,ifyyl,()lwijWij,nl(2-17)0,ifyy,ij其中，矩阵A的定义为：ij,2xxijAexp()(2-18)ij,ij()knn()knn其中xx表示样本的近邻样本点的局部拓展，x表示点x的K个iiiii近邻样本点的均值。n()lb1()lbTSWij,(yiyj)(yiyj)(2-19)2ij,1()lbT()lbSWSW(2-20)n(lw)1(lw)TSWij,(yiyj)(yiyj)(2-21)2ij,1(lw)T(lw)SWSW(2-22)后面的步骤和LDA的是一样的，我们希望通过投影矩阵投影之后，属于同一类别的样本之间的差距越小越好，不属于同一类别的样本之间的差距越大越好，14 第二章高光谱图像分类方法简介也就是同一类样本尽可能集中，不同类样本尽可能分离。定义的目标函数为：T()lbWSWJ(w)(2-23)T()lwWSW我们同样可以使用拉格朗日参数法求解求解上面的式子来得到最佳投影矩阵W。主成分分析（PrincipalComponentAnalysis）是一种通过一些数学方法找出数据中一些最主要的分量，去除一些次要的分量或者杂质，将原始数据进行降维处理。从数学的角度来说，PCA就是将原始数据通过一组基投影到新的空间，而新找到的基要尽可能保留原来数据的主要信息。PCA的主要流程如下：nd1原始数据有n个训练样本xx12,,...,xnR，求得数据的平均值mxi。在ni1T每个样本x上减去所有样本的平均值m后，我们能够得到一个矩阵Y。对YY进行i特征值分解，得到特征向量和特征向量对应的特征值。假定需要把原始数据降维降到N维，我们只需要提取最大的N个特征值对应的特征向量作为投影矩阵，就可以将原始数据投影到新的特征空间。PCA是一种经典的无监督降维算法，但是它是线性的，所以，为了解决一些非线性问题，我们将核的概念加入到在PCA上，从而得到KPCA降维算法，我们用得到KPCA方法来解决一些非线性问题。假设我们通过核函数将数据投影到新的空间，并且我们把投影到新的空间的数据进行中心化处理得到数据集yy,y,....,，在高维空间中，数据的协方差矩阵12n为：n1TCxxii(2-24)ni1我们可以通过特征值分解找到大于零的特征值0和这些特征值对应的特征向量P，我们可以得到：(yiiPP)(yC),i1,2,...,n(2-25)由于P在数据集yy12,y,....,n组成的空间中，P可以被数据集yy12,y,....,n线性表示，所以：nPyii(2-26)i1我们定义一个核矩阵K(yy)，将公式(2-24)和(2-26)代入到式子(2-25)中ij,ij可以得到：15 西安电子科技大学硕士学位论文2nKK(2-27)T其中，[,,...,]，我们可以把公式(2-27)化简为：12nnK(2-28)通过求解公式(2-27)的特征值分解问题，我们可以求得数据集的主成分方向，从而实现了对样本的非线性降维处理。2.4本章小结高光谱遥感图像的飞速发展为我们带来了大量的光谱信息和空间信息，为高光谱遥感技术的发展创造了有利的条件，同时也为高光谱遥感图像的研究和处理带来了问题，大量的数据处理不仅运算复杂，而且信息之间的高度相关性也为数据的处理设置了阻碍，由此我们引入了降维算法。本章针对高光谱遥感图像遇到的问题，介绍了一些已有的解决方案。首先介绍了传统的稀疏表示模型以及稀疏表示系数求解算法，接着详细的介绍了一些常见的降维算法。16 第三章基于联合协同表示的高光谱分类算法第三章基于联合协同表示的高光谱分类算法把LDA降维算法应用于高光谱遥感图像分类时，当训练样本较少或者数据集是多峰值的时候，分类的效果非常差。同时，有文献[5]提出稀疏表示分类模型在应用于分类时，稀疏性约束并不起决定性作用，并且表示稀疏表示模型可能不是分类问题的最优建模准则。因此，本章提出了基于半监督局部保留降维和改进的联合协同表示分类相结合的算法。该算法通过局部保留降维和改进的联合协同表示分类算法想结合起来，用极少的标记样本，使得分类效果得到改善。通过在标准高光谱数据库的实验结果表明，该算法在高光谱遥感图像分类问题上的分类正确率很高。3.1协同表示分类模型本节主要介绍基于协同表示的分类模型，通过对该模型的深入了解我们可以发现SRC在求解稀疏表示的系数时，主要强调了稀疏性约束并且通过重构误差进行分类。然而分类问题中是协同表示起着决定性的作用，而稀疏表示只是起着微[5-6]小的作用，基于这个理论，Zhang提出了协同表示分类模型，该模型最初被用在人脸识别上，并且该模型在人类识别上具有良好的识别效果。下面我们简单的介绍一下协同表示分类模型。假设一个数据集有n类样本集，我们在第i类样本中取n个样本做为训练样本，i每一类训练样本构成一个训练样本集合D，将训练样本全部放在一起组成训练样i本集DR{D},i1,2,...,n,Ddni。每输入一个待测样本yRd，协同表示的目标ii函数为：22=argminyD(3-1)22该函数可以通过最小二乘法求解，得到：T1(DDI)y(3-2)其中，I为单位矩阵，为表示稀疏性的权值参数。在得到测试样本在训练样本组成的字典的协同表示系数之后，我们可以计算每一类训练样本在与之对应的稀疏系数的乘积，接着求解每一类训练样本得到的乘积与测试样本的差距，通过比较这些差距的大小得到测试样本的类别，差距越小就表示测试样本与之越相似，也就是说测试样本就被判别为该类别：2class(y)argminyDii2(3-3)i其中，为测试样本在第i类训练样本集D上对应的表示系数。ii17 西安电子科技大学硕士学位论文表3.1基于协同表示分类模型d输入：测试样本yR(d是样本维数),包含全部的训练样本所构成的字典D。test输出:测试样本的类别label(y)。test第一步：对样本集的所有样本进行归一化处理，使得每一列样本的l范数为1。2第二步：通过(3-2)计算测试样本的协同表示系数。第三步：通过(3-3)比较测试样本与每个类别测试样本的重构信号的差别，并且通过差别的大小划分测试样本的类别。3.2基于半监督局部保留降维和改进的联合协同表示分类算法3.2.1半监督局部降维算法在高光谱遥感图像降维过程中，标记样本的过程不仅费时费力，而且代价太大，而标记的样本数目太少时，降维后数据的分类准确率又太低。显然，半监督降维算法可以很好的解决此类问题。半监督的思想就是将少数的含有类别信息的样本和大量的没有类别信息的样本结合起来，通过训练来得到数据集的分布信息。本文提出了一种半监督局部降维算法，下面是该降维算法的详细介绍。该算法的数学表达为：假设有n个训练样本[x,x,...,x]和m个无标签样本12n***[,,...,xxx]，该训练样本总共有N类：cc,,...,c，假定第i类有n个训练样本。12m12Ni该算法的目标就是找到一个投影矩阵w，使得训练样本在该投影矩阵上的投影，同一类别的样本之间的局部散度矩阵最小，不同类别的样本之间的局部散度矩阵最大。定义同一类别样本之间的局部散度矩阵为A，不同类别样本之间的局部散度矩阵为C：N11TAWij,(xix)(xjix)j(3-4)p1xcxipjcpnNpiN11TC(xix)(xjix)j(3-5)p1xcxipjcpnMpi其中，W表示样本x和样本x之间的相似度，N表示样本x的同类相似点ij,ijii的数据集数目，M表示样本x的异类相似点的数据集数目。样本的相似度W的iiij,定义如下：18 第三章基于联合协同表示的高光谱分类算法pfWij.1WWij,ij,(3-6)2ppxxpijW1exp(2)(3-7)ij,t12ffxxfijW1exp(2)(3-8)ij,t2fp其中，x表示样本x的光谱特征，x则表示样本x的空间特征。tt,分别对iiii12应的是光谱特征和空间特征的高斯函数的参数。对于已求得的W，我们设置两个ij,阈值WW和，当W的大于阈值W时，我们认为样本x和样本x是非常的相似，12ij,1ij此时我们把W设定为1；当W的小于阈值W时，我们认为样本x和样本x是极ij,ij,2ij其的不相似，此时我们把W设定为0；其他的情况下，W的值保持不变。如下ij,ij,所示：1ifWWij,1Wij,0ifWij,W2(3-9)Welseij,由于，在高光谱遥感图像中，获取有标签样本的代价是非常巨大的，所以我们结合少数有标签样本和大量的无标签样本进行训练，我们的具体做法是，对于同类样本之间的差距，我们在有标签样本的基础上添加了少量的无标签样本。对于每一个测试样本x我们通过相似度公式(3-6)求出与该样本最相似的K个测试样i本。我们定义了一个新的类内的散度矩阵AˆAA*(3-10)*其中，A如公式(3-4)所定义，而A的定义如下：N*11TAWij,(xix)(xjix)j(3-11)p1xcxipjN(x)inKp其中，N(x)为训练样本x的K个测试邻点集合。ii我们把该算法的目标函数定义为：Wargmin(W(AC)CW)trTˆ1(3-12)W对于公式(3-12)的求解问题，我们可以把它转化为下面的式子:(AC)WˆjjCWjj,1,2,...,d(3-13)d是我们降维需要降到的维数，为了解决公式(3-13)，我们先将矩阵(AˆCC)1进行特征值分解，我们取d个最大的特征值对应的特征向量，把它们组合起来，即为我们要求的投影矩阵W。19 西安电子科技大学硕士学位论文表3.2基于局部保留的降维算法输入：测试样本集y，全部的训练样本所构成的字典D[DD12,,...DL]。输出:投影矩阵W。第一步：对数据库的所有样本进行归一化处理，使得每一列样本的l范数为1。2第二步：通过(3-4)(3-5)和(3-11)计算出数据集的局部类内散度矩阵和局部类间散度矩阵。第三步：通过(3-12)求得使得类内方差最小和类间方差最大的投影矩阵。3.2.2改进的联合协同表示分类该算法通过对每两类在协同表示样本的贡献上进行了直接的比较，把其他类的干扰都排除掉了。该算法的基本流程是：给定一个测试样本x，我们首先通过样本与样本之间的空间关系，在测试样本中找出与该样本最相近的K个邻域点，将该样本和它的邻域点组成矩阵T，对于训练样本集D[DD,,...,D]，其中L为样12L2本集的类别数，D为第i训练样本组成的字典，我们将每两类训练样本组成C个iL字典D[DD,]，我们将每两类样本组成的字典都对测试样本矩阵T进行协同mn,mn表示，通过重构误差判断每两类训练样本在表示测试样本时的贡献值的大小，然后统计每一类样本的贡献值，最后给出该测试样本的类别。该算法的具体流程如表3.3所示。表3.3改进的联合协同表示分类算法d输入：测试样本yR(d是样本的维数),包含所有类的训练样本组成的字典testD[DD,,...,D]。12L输出:测试样本y的类别。test第一步：对数据库的所有样本进行归一化处理，使得每一列样本的l范数为1。2第二步：对于测试样本y，通过空间信息求得该测试样本的K近邻点，组成矩阵T。test2第三步：每两类测试样本集构成一个字典D[DD]，总共构成了C个字典。mn,mnL2第四步：每两类测试样本构成的C个字典都对T进行协同表示，如公式(3-1)所示。L第五步：通过(3-2)式所示的方法求解每个字典的协同表示系数，并且根据(3-3)式所示的准则对每两类样本在重构测试样本的贡献值上做一个比较，统计每类样本与其他类的比较结果，并判断测试样本所属的类别。3.2.3基于半监督局部保留降维和改进的联合协同表示分类算法由于3.3.2所述的改进的联合协同表示算法所用的数据是没有经过处理的原始高光谱数据，在做处理时不仅计算量巨大，而且相邻波段间的相互影响会对分类的过程有不利的影响，这样对整个高光谱遥感图像的分类过程是很不利的。所以，我们把我们提出的基于半监督局部降维(LPDR)算法和改进的联合协同表示分类(IJCRC)算法结合(LPDR+IJCRC)起来，从而在对高光谱遥感图像的分类效果上有明20 第三章基于联合协同表示的高光谱分类算法显的提高。具体算法流程如表3.4所示。表3.4基于半监督局部降维算法和改进的联合协同表示分类算法的结合d输入：测试样本yR(d是样本的维数),所有的训练样本组成的字典testD[DD,,...,D]。12L输出:测试样本y的类别。test第一步：对样本集的所有样本进行归一化处理，使得每一列样本的l范数为1。22第二步：每两类测试样本集构成一个字典D[DD]，总共构成了C个字典。mn,mnL第三步：对于每两类测试样本集构成的字典D[DD]，我们可以通过(3-4)(3-5)和(3-11)mn,mn计算出数据集的局部类内散度矩阵和局部类间散度矩阵，然后根据(3-12)式的方2法为每两类测试样本集组成的字典求得一个投影矩阵W，总共可以求得C个这mn,L样的投影矩阵。第四步：对于每一个测试样本y，通过空间信息求得该测试样本的K近邻点，组成矩阵T2第五步：在每两类测试样本构成的C个字典都对T进行协同表示时，我们先将字典D和Lmn,测试样本矩阵T在与之对应的投影矩阵W上进行投影，将投影后的数据通过如mn,公式(3-1)所示进行协同表示。第六步：通过(3-2)式所示的方法求解每个字典的协同表示系数，并且根据(3-3)式所示的准则对每两类样本在重构测试样本的贡献值上做一个比较，统计每类样本与其他类的比较结果，并判断测试样本所属的类别。3.3实验结果与分析在本节中，我们用最常用的高光谱数据集：IndianPines数据集和Salinas-A数据集为测试数据，进行实验分析。我们算法用到的高斯核函数的参数是通过多次试验选出来的最优的参数，我们把20此独立试验的平均结果作为该算法的最终结果。3.3.1实验数据库介绍IndianPines高光谱数据(92AV3C)：该数据是1992年在印第安纳西北部的IndianPines测试地使用AVIRIS传感器得到的，该数据总共有145*145个像素点，而且有224个差距很小的波段，为了去掉一些受噪声影响的波段后，还保留有200个波段。该数据总共有16类地物，如表3.5所示。本章算法的实验选取的是该数据集的9类样本来做实验的，地物类别如表3.6所示。表3.5IndianPines数据集的各地物样本数目IndianPines地区类别类名中文对应名数目1Corn-notill兔耕玉米地14342Corn-min玉米幼苗83421 西安电子科技大学硕士学位论文3Grass/Pasture草地、牧场4974Grass/Trees草地、树林7475Hay-windrowed干草、料堆4896Soybeans-notill兔耕大豆地9687Soybeans-min大豆幼苗24688Soybeans-clean整理过的大豆地6149Woods木材129410Alfalfa苜蓿5411Corn玉米23412Grass/pasture-mowed修剪过的草地2613Oats燕麦2014Wheat小麦21215Bldg-Grass-Tree-Drives大厦-草-树-机器38016Stone-steeltower石钢塔95表3.6实验选取IndianPinas的9类地物及样本数目IndianPines地区类别类名数目训练样本数1Corn-notill1434202Corn-min834203Grass/Pasture497204Grass/Tree747205Hay-windrowed489206Soybean-notill968207Soybeans-min2468208Soybean-clean614209Wood129420Salinas-A高光谱数据：Salinas图像数据是在加利福利亚萨利纳斯山谷通过AVIRIS传感器获得的，该数据总共有224个波段，去掉被噪声影响的波段后，还有剩下204个波段的16类地物。Salinas-A图像是Salinas图像的一部分，该图像总共有83*86个像素点，数据总共包含6类地物信息。如表3.7所示。表3.7Salinas-A的6类地物及样本数目Salinas-A地区类别类名数目训练样本数1Brocoli_green_weeds_139162Corn_sensced_green_weeds134363Lettuce_romaine_4wk61664Lettuce_romaine_5wk152565Lettuce_romaine_6wk67466Lettuce_romaine_7wk79963.3.2分类精度评价指标高光谱遥感图像的分类精度评价指标就是用来评价算法的准确性的准则。根22 第三章基于联合协同表示的高光谱分类算法据分类算法的到的预测分类结果，对比实际地物的真实类别，统计分类结果的正确性。在本文中，我们采用的是总分类精度(OverallAccuracy,OA)。[47]总分类精度(OverallAccuracy,OA)：总体分类精度的数值等于在判别样本类别时，判别正确的样本个数除以测试样本的总个数。该指标可以很直观的评价算法的分类正确率。3.3.3在IndianPines数据库的实验从每类样本随机的选取如表3.6所示数目的样本做为训练样本，公式(3-7)和(3-8)的核函数的参数分别选择的是15和0.005。本章降维算法(LPDR)、LDA、PCA和LFDA算法分别在IJCRC分类器和JCRC分类器下进行了比较。在不同分类方法下，实验选择的9类IndianPines数据库上得到的实验结果如表3.8和表3.9所示。表3.8不同方法在IndianPines数据库上对应的不同维数的分类结果OverallAccuracyDimension(%)5D10D15D20D25D30DMethodsLPDR+IJCRC72.9481.0783.0384.1785.0184.98LFDA+IJCRC71.8277.9479.0280.4780.9780.75PCA+IJCRC68.4377.1678.2379.5080.4580.88LPDR+JCRC54.3366.8771.0374.2574.2574.13LFDA+JCRC53.6565.5469.6572.2971.6171.35PCA+JCRC54.3665.6168.4271.5471.1071.23表3.9在IndianPines数据库的分类结果OverallAccuracy(%)MethodsC1C2C3C4C5C6C7C8C9OALPDR+IJCR78.093.296.299.310085.865.998.399.685.0C(29)143163213LFDA+IJCR76.885.597.299.710074.159.295.199.681.0C(29)007267296PCA+IJCRC76.485.797.299.510071.859.895.299.680.9(28)557949995LDA+JCRC73.210.669.199.510068.742.787.399.966.9(8)798983725PCA+JCRC85.335.766.010010059.753.667.599.571.5(20)65404134LFDA+JCR79.49.0984.910010080.749.198.310072.2C(20)210829LPDR+JCR86.930.266.010010072.355.087.310074.3C(27)924677523 西安电子科技大学硕士学位论文3.3.4在Salinas-A高光谱数据库的实验结果每类样本随机取一定数目的样本做为该类的训练样本，具体如表3.7所示，公式(3-7)和(3-8)的核函数的参数分别选择的是15和0.01。本章的降维算法(LPDR)、LDA、PCA和LFDA算法分别在IJCRC分类器和JCRC分类器下进行了比较。在选取不同分类方法时，实验选择的Salinas-A数据库上六类样本所对应的实验结果如表3.10所示。表3.10在Salinas-A下的分类结果OverallAccuracy(%)MethodsC1C2C3C4C5C6OALPDR+IJCRC(25)10010010099.8010099.1299.81LFDA+IJCRC(19)10099.9310099.5410099.1299.72PCA+IJCRC(15)10099.7810099.2810099.1299.60LDA+JCRC(5)10098.1390.4998.8295.5110097.53PCA+JCRC(10)10099.0391.8099.2191.9299.8797.55LFDA+JCRC(15)10099.1093.2899.1496.1199.8798.25LPDR+JCRC(22)10099.1095.4199.7496.8610098.783.3.5实验结果分析首先我们把本章提出的降维算法、LDA降维和PCA降维以及LFDA降维进行比较，图3.1、图3.2、图3.3、表3.8、表3.9和表3.10的实验结果表明，在使用相同的分类方法JCRC时，本章提出的降维算法可以得到更好的结果。同时，表3.9和表3.10还将本章提出的分类方法和JCRC分类方法在不同的降维方法下进行了比较，实验结果表明，本章的分类算法优于JCRC分类算法。表3.9和表3.10分别给出了两个数据集IndianPines和Salinas-A在不同分类方法下的分类结果。从表3.9中可以看出，本方法在IndianPines数据集的分类性能是最好的。图3.1显示选取如表3.6所示数目的训练样本时，在IndianPines数据库上各种的分类方法下的结果图。从图中我们可以看出，本方法所得到的预测图与原始的地物参考图是最接近的。从表3.10我们可以看出，几种方法在Salinas-A地区的分类正确率都非常高，但是，本方法的分类正确率依然是最高的。从图3.2中我们依然可以看出，本方法得到的预测图与原始的地物参考图是最接近的。图3.3显示的是在IndianPines数据库上选取不同的维数时，不同的方法对应的分类结果图。因为LDA降维算法的降维维数最多只能比数据集的类别数小1，也就是说LDA算法在IndianPines数据库上只能被降到8维，所以LDA算法不列入其中。从图3.3我们可以看出，本章的分类算法相对于PCA算法和LFDA算法有明显的优势，当我们只把我们的降维算法和PCA算法以及LFDA算法进行对比时，我们降维算法的实验结果也是占优势的。同时，把本章的分类方法和JCRC分类器进行比较时，本章的分类方法有着明显的优势。本章降维算法因为加入了无标签样本的信息以及在空间上对样本进行了约束，所以在降维维数变化时，本章24 第三章基于联合协同表示的高光谱分类算法算法的分类性能相对比较稳定。本实验通过五种不同的方法在IndianPines数据集和Salinas-A数据集中的分别选取一定数量的训练样本情况下的对比，分别对各个类别实验所得数据进行对比。其中，每个类别的样本在五种方法下的实验结果如表3.8、表3.9和表3.10所示。从表3.8我们可以看出，我们的方法因为加入了一定数目的无标签样本，所以当我们通过降维方法降到不同的维数时，我们的方法的分类精度在一定程度上保持了比较高的稳定性。从表3.9中可以看出，分别选取一定数量的训练样本时，在9个类别中，每个方法都有自己分得比较好的类别，我们发现，LFDA方法的性能明显优于LDA方法，LFDA方法的性能略好于PCA方法，本章的降维方法在大多数的类别的分类效果优于LFDA方法和LDA方法以及PCA方法，并且本方法在总体样本的分类正确率是最高的。从表3.10中我们可以看出，在训练样本数为6时，Salinas-A数据库中的6类样本中，我们的降维算法是优于另外三个降维算法的，而在加入了改进的协同表示模型的时候，我们的算法的正确率进一步提高了。可以得出结论，我们的算法在分类正确率上相对于其他的算法是有一定的优势的。(a)(b)(c)(d)25 西安电子科技大学硕士学位论文(e)(f)(g)(h)图3.1本章方法和其比较的方法在Indian数据上的分类结果图(a)参考图(b)LDA+JCRC(c)LFDA+JCRC(d)LPDR+JCRC(e)PCA+JCRC(f)LFDA+IJCRC(g)PCA+IJCRC(h)LPDR+IJCRC(a)(b)(c)(d)26 第三章基于联合协同表示的高光谱分类算法(e)(f)(g)(h)图3.2本章方法和其比较的方法在Salinas-A数据上的分类结果图(a)参考图(b)LDA+JCRC(c)LFDA+JCRC(d)LPDR+JCRC(e)PCA+JCRC(f)LFDA+IJCRC(g)PCA+IJCRC(h)LPDR+IJCRC27 西安电子科技大学硕士学位论文图3.3在IndianPines数据上各种不同方法在不同维数下的分类结果3.4本章小结本章从半监督入手，提出了一种半监督局部保留降维算法和改进的协同表示相结合的分类算法，该算法先将训练样本空间与光谱信息相结合，然后再结合测试样本的光谱信息，得到一个降维矩阵，再用特定的分类方法对测试样本进行分类。在IndianPines和Salines-A数据库的实验表明，该算法在降维和分类方面都有着不错的效果。28 第四章基于最近邻分类器的高光谱分类算法第四章基于最近邻分类器的高光谱分类算法最近邻分类器是一个传统的分类器，它不仅思想简单易懂，操作流程简单，而且分类效果也不错。本章针对最近邻分类器的一些特点对最近邻分类器进行了改进。同时，本章还在LDA算法上进行了改进，然后把两种改进的算法结合起来对高光谱遥感图像进行分类。4.1最近邻分类器4.1.1最小距离分类器[48]最小距离分类，是指求出测试样本到各类别训练样本中心点的距离，将与测试样本距离最小的中心点的类别作为测试样本类别的一种分类方法。最小距离分类是根据测试样本与每一类训练样本之间的距离进行分类的一种统计识别方法。在该方法中，测试样本的类别取决于与它距离最小的训练样本。假设在所有的样本中提取m个样本作为训练样本，提取的训练样本包含所有的类别，训练样本组成集合D[DD,,...,D]，其中D表示第i类训练样本的集合，12ni1对于第i类训练样本集，求的该样本集的均值txi，ni为第i类训练样本集nixDi的样本数目。每输入一个测试样本，我们求取该测试样本与每一类训练样本中心的距离，该测试样本与哪一类训练样本中心最接近，我们就把该样本划分为哪一类。4.1.2最近邻分类器[49]最近邻分类器是在最小距离分类器的基础上的一个改进，该方法不再是将每一类的训练样本中心点作为基准，而是将训练集的每一个样本作为一个基准，寻找与待分类样本最接近的样本点，我们根据最接近的训练样本点的类别来估计待测点的类别。训练集包括n个训练样本[,,...,xxx]，该训练集的样本分别属于m个类别，12n没给出一个测试样本，我们首先计算该测试样本与每一个训练样本的距离，然后找出与该测试样本最近的训练样本，然后把该测试样本归于与之最近的训练样本的类别。4.2半监督局部保留LDA与改进的最近邻分类器4.2.1半监督局部保留LDA为了克服LDA算法在对小样本数据进行降维的缺陷，本章结合高光谱数据的29 西安电子科技大学硕士学位论文局部信息将有标签样本和无标签样本进行结合，提出了一种半监督局部保留LDA降维算法。该算法不仅在LDA的基础上保留了相似样本的局部结构信息，同时将无标签样本也应用到了数据的训练中，下面是该算法的详细介绍。该算法的数学表达为：假设有训练样本集[x,x,...,x]和无标签样本集12n***[,,...,xxx]，该训练样本集总共有N类样本：cc,,...,c，假定第i类训练样本的12m12N数目为n。该算法的目的和大多数的降维算法的目标是一样的，就是找到一个满i足要求的投影矩阵w，使得训练样本在该投影矩阵上的投影，在一定的范围内，属于同一类别的样本的散度矩阵最小，不属于同一类别的样本的散度矩阵最大。我们定义属于同一类别样本的局部散度矩阵为A，不属于同一类别样本的局部散度矩阵为C。对于每一个训练样本x，我们在训练样本集中，找出与它在空间上i最近的K个同类训练样本点，并且求它们的均值m，同时找出在空间上与它最近1i的K个异类训练样本点，也求出它们的均值r。通过对高光谱图像的分析，一个2i像素点的周围的点一般是和该样本属于同一类的。所以，对于测试样本点，我们通过该样本的空间信息和光谱信息，先找出空间上最近的K个近邻点，然后再在4这些近邻点中找出欧氏距离最小的K个与它最近的测试样本点，并且求得它们的3均值h。iN11TC(xir)(xiir)i(4-1)Nnp1xcippNm11TT1**A(ximi)(ximi)(xjh)(xjjh)j(4-2)Np11xcipnpjm局部保留LDA算法的目标函数如下所示：T1Wargmax(W(AC)CW)tr(4-3)W1针对公式(4-3)的求解，我们首先对矩阵(AC)C进行特征值和特征向量分解，如果我们要把数据降维降到d维，我们只需要取最大的d个特征值组成的特征向量，把这些向量组成一个矩阵W[w,w,...,w]，矩阵W就是我们要求得投影12d矩阵。局部保留LDA算法的具体步骤如表4.1所示。表4.1局部保留LDA降维算法***输入：训练样本集[x,x,...,x]和无标签样本集[,xx,...,x]。12n12m输出:投影矩阵W。第一步：对所有样本集的样本进行归一化处理，使得每一列样本的l范数为1。2第二步：对于每一个训练样本x，我们在训练样本集中，找出与它在空间上最近的K个i1同类训练样本点，并且求它们的均值m，同时找出在空间上与它最近的K个异i2类训练样本点，也求出它们的均值r，对于测试样本点，我们通过该样本的空i30 第四章基于最近邻分类器的高光谱分类算法间信息和光谱信息，先找出空间上最近的K个近邻点，然后再在这些近邻点中4找出欧氏距离最小的K个与它最近的测试样本点，并且求得它们的均值h。3i第三步：通过(4-1)和(4-2)计算出数据集的局部类内散度矩阵和局部类间散度矩阵。第四步：通过求解(4-3)求得使得类内方差最小并且类间方差最大的投影矩阵。4.2.2改进的最近邻分类器因为最近邻分类器的分类结果太依赖像素点的光谱信息而忽略了像素点的空间信息，而在高光谱遥感图像中，像素点和它的邻点一般是属于同一类别的，针对这些问题，本章提出了一种将空间信息引入的最近邻分类器。该分类器将像素点的光谱信息和空间信息结合起来，用来对待测像素点分类。下面是该分类器的具体步骤。该算法的数学表达为：假设有一个训练集D{},Di1,2,...,n和测试样本集i[,yy,...,y]，其中D表示第i类的训练样本集。当我们要对一个测试样本y进行12mii分类时，我们先通过该测试样本的空间信息和光谱信息找到该点的K个近邻点(如表4.1第二步所示)，然后对每一个近邻点找出一个与它光谱特征的欧氏距离最小的一个训练样本点，总共可以找到K个这样的训练样本点，然后对这K个训练样本点进行统计，统计这些训练样本中哪个类别的样本数目最多，该测试样本被判别为这个类别。4.2.3半监督局部保留LDA与改进的最近邻分类器结合利用改进的最近邻分类器对高光谱数据进行分类处理，虽然在分类效果上有所改进，但是由于我们用的是原始的高光谱数据，所以高光谱数据的相邻波段之间的很强的干扰性对改进的最近邻分类器的分类效果有影响，并且，原始的数据在处理上代价太大，针对此类问题，本章将提出的半监督局部保留LDA降维算法和改进的最近邻分类器结合起来，提出了一种基于半监督局部保留LDA和改进的最近邻分类器相结合的高光谱分类算法。该算法的步骤如表4.2所示。表4.2局部保留LDA和改进的最近邻分类器相结合的分类算法***输入：训练样本集[x,x,...,x]，测试样本集[,yy,...,y]和无标签样本集[,xx,...,x]。12n12m12m输出:测试样本的类别。第一步：对所有的样本进行归一化处理，使得每一列样本的l范数为1。2第二步：对于每一个训练样本x，我们在训练样本集中，找出与它在空间上最近的K个i1同类训练样本点，并且求它们的均值m，同时找出在空间上与它最近的K个异i2类训练样本点，也求出它们的均值r，对于测试样本点，我们通过该样本的空间i信息和光谱信息，先找出空间上最近的K个近邻点，然后再在这些近邻点中找4出欧氏距离最小的K个与它最近的测试样本点，并且求得它们的均值h3i。31 西安电子科技大学硕士学位论文第三步：通过(4-1)和(4-1)计算出数据集的局部类内散度矩阵和局部类间散度矩阵。第四步：通过求解(4-3)求得使得类内方差最小并且类间方差最大的投影矩阵。第五步：通过已经求出来的投影矩阵，我们分别对测试样本和训练样本进行降维，得到新的测试集和训练集。第六步：在第二步中我们找到的测试样本的K最近邻测试样本点，我们通过求解每一个3点和训练集中每一个训练样本点的距离，求出每一个点的最近邻点，组成集合T。第七步：统计T各类样本的数目，然后把与之对应的测试样本归属于数目最多的那一类。4.3实验结果与分析4.3.1实验数据集本章主要是在数据集IndianPines和KSC上进行实验。本章算法的实验选取的是IndianPines数据集的9类样本和部分的KSC数据库来做实验的，地物类别以及选取的训练样本数目如表4.3和4.4所示。KSC数据集：该数据库是1996年使用AVIRIS成像光谱仪在佛罗里达州肯尼迪空间中心(KennedySpaceCenter,Florida)采集到的。该成像仪将范围为400-2500nm的波段划分为224个区段，该数据集光谱分辨率为101nm，，并且有18nm的空间分辨率。通过在舍弃一些信噪比比较低以及被水吸收的波段等一系列操作后，该数据集还保留有176个波段。KSC图像原始大小为512*614，本实验选择了其中大小为512*455的部分，该数据集总共有13个类别的地物。表4.3实验选取IndianPinas高光谱数据集的各地物及样本数目IndianPines地区类别类名数目训练样本数1Corn-notill1434142Corn-min834143Grass/Pasture497144Grass/Tree747145Hay-windrowed489146Soybean-notill968147Soybeans-min2468148Soybean-clean614149Wood129414表4.4KSC实验选取KSC高光谱数据集的各地物及样本数目KennedySpaceCenter(KSC)数据类别类名数目训练样本数1Scrub761142Willowswamp243143Cabbagepalmhammock256144Cabbagepalm/oakhammock252145Slashpine1611432 第四章基于最近邻分类器的高光谱分类算法6Oak/broadleafhammock229147Hardwoodswamp105148Graminoidmarsh431149Spartinamarsh5201410Cattailmarsh4041411Saltmarsh4191412Mudflats5031413Water927144.3.2在IndianPines高光谱数据集上的实验结果在本次实验中，我们从每一类样本中选取的训练样本数目如表4.3所示，其他的样本作为测试样本。对于实验数据中的参数，KKKK,,,的取值分别为12349,25,45,81，实验结果为30次独立实验的平均值。我们提出的降维算法(LPLDA)在降维上与LDA算法和LFDA降维算法进行了比较，并且在最近邻分类器(1-NN)和我们提出的改进的最近邻分类器(I1-NN)上做了实验，实验结果如表4.5所示，括号中的数字为降维的维数，在该维数下，实验的分类效果最好。表4.5在IndianPines上的结果OverallAccuracy(%)MethodsC1C2C3C4C5C6C7C8C9OALPLDA+I1-N58.979.894.410010090.773.399.610083.5N(8)4818572LDA+I1-NN(855.659.878.610010076.364.472.696.974.3)38713756LFDA+I1-NN(67.370.391.910010080.466.486.810080.112)9730230LPLDA+1-NN49.766.389.098.799.576.559.586.696.273.9(8)9437824759LDA+1-NN(8)42.242.976.494.010058.248.351.589.261.6530087020LFDA+1-NN(49.652.487.599.199.559.347.961.096.166.112)54888360754.3.3在KSC高光谱数据库的实验结果在本次实验中，我们在每一类样本中选取训练样本数如表4.4所示，其他的样本作为测试样本。对于本次实验的参数，与在IndianPines数据库中KKKK,,,的1234取值是一样的，实验结果为30次独立实验的平均值。我们提出的算法在降维上与LDA算法和LFDA降维算法进行了比较，并且在最近邻分类器和我们提出的改进的最近邻分类器上做了实验，实验结果如表4.6所示，括号中的数字为降维的维数，在该维数下，实验的分类效果最好。表4.6在KCS数据库上的结果OverallAccuracy(%)LPLDA+I1LDA+I1-NLFDA+I1-LPLDA+1-LDA+1-NLFDA+1-NMethods-NNNNNNNNN(30)(12)(15)(30)(12)(15)C193.5798.6697.1982.3377.6484.07C282.5366.3888.6586.9055.0275.5533 西安电子科技大学硕士学位论文C310010010091.3264.8876.86C461.3441.6041.1852.9429.8333.19C510090.4874.8378.2350.3456.46C610072.5688.3774.4253.0260.00C710010010097.8092.3183.52C898.5667.3982.9783.9341.9765.71C910010010099.8083.6092.09C1010010099.7491.0384.1085.64C1110010010091.8589.8893.83C1296.5280.1687.7391.2145.6059.71C1310010010098.0397.9297.92OA95.9689.4292.4288.4571.8479.424.3.4实验分析我们对比本章提出的降维算法和传统的LDA降维算法以及LFDA降维算法在最近邻分类器和我们改进的最近邻分类器上的分类结果，然后再对比我们提出的改进最近邻分类器和传统的最近邻分类器的性能，我们分别将这两个分类器在三种降维算法降维后的数据上进行了比较。表4.5给出了IndianPines数据集在不同实验方法下的实验结果。从表4.5中我们可以看出，本章方法在IndianPines数据集的实验中有着非常不错的效果。此外，图4.1显示IndianPines数据库通过使用不同的分类方法所得到的结果图。从图4.1中可以看出，本方法所得到的分类结果图与实际中的地物参考图是最接近的。表4.6显示的是KSC数据集在不同分类方法下的实验结果。从表4.6中我们同样可以看出，本方法在KSC数据集的实验结果与在IndianPines数据库上的实验结果是一样的，也是最好的。此外，图4.2显示KSC地区通过不同的分类方法的实验结果图。从图4.2中我们可以看出，本方法所得到的分类结果图与实际中的地物参考图也是最接近的。本实验通过六种不同的方法在IndianPines数据库和KSC数据集中的训练样本数目均为每一类14个的情况下的对比，分别比较了每个类别在不同方法下的分类结果。从表4.5可以看出，在9个类别中，每个方法都有其分类效果比较好的类别，我们可以发现，本章的降维算法在最近邻分类器上的分类正确率优于LFDA方法方法以及LDA方法在最近邻分类器上的分类结果，当引入了本章提出的一种改进的最近邻分类器时，我们可以通过表4.5的分类结果看出，该分类器在三种降维方法上的分类性能均优于在最近邻分类器上的分类性能。而本章方法在IndianPines数据库上的分类正确率是最高的。从表4.6可以看出，在KSC数据库的13个类别中，每种方法在分类效果上都有其占优势的类别，同样，我们可以发现，本章的降维算法在最近邻分类器上的分类正确率明显优于LFDA方法方法以及LDA方法在最近邻分类器上的分类结果，我们通过表4.6的结果可以看出，该我们提出的改进的最近邻分类器在三种降维方法上的分类性能也是均优于在最近邻分类器上的分类性能。而本章方法在KSC数据库上的分类正确率同样是最高。34 第四章基于最近邻分类器的高光谱分类算法(a)(b)(c)(d)(e)(f)(g)图4.1在IndianPines图上的分类结果(a)参考图.(b)LFDA+I1-NN.(c)LDA+I1-NN.(d)LDA+1-NN.(e)LFDA+1-NN.(f)LPLDA+1-NN(g)LPLDA+I1-NN35 西安电子科技大学硕士学位论文(a)(b)(c)(d)(e)(f)(g)图4.2在KSC图上的分类结果(a)参考图.(b)LFDA+I1-NN.(c)LDA+I1-NN.(d)LDA+1-NN.(e)LFDA+1-NN.(f)LPLDA+1-NN(g)LPLDA+I1-NN最后，我们主要分析的是邻点数目K对实验结果的影响。我们以IndianPines3数据库为实验数据库，当我们在K分别取10、20、30、40、45和50的时候，在336 第四章基于最近邻分类器的高光谱分类算法IndianPines数据库上的分类结果分别是78.50%、80.92%、81.92%、82.89%、83.52%以及83.31%，我们选取的有标签样本数目还是每一类14个样本，降维的维数是8。具体的实验结果如图4.3所示，从图中我们可以看出，随着K的逐渐增长，我们3的方法的分类正确率是先增加后减小的。我们可以得到结论，合适的邻点数目对分类结果影响很大。图4.3不同邻点数目下的分类正确率4.4本章小结本章在现有的降维算法LDA和现有的最近邻分类器的基础上提出了半监督局部保留LDA和改进的最近邻分类器相结合的半监督降维分类算法。通过投影矩阵将数据投影到低维空间，然后用改进的最近邻分类器对降维后的数据进行分类，实验结果表明该算法在取很少的训练样本的时候就能得到很好的分类效果。37 西安电子科技大学硕士学位论文38 第五章基于两阶段非局部相似性联合协同表示分类算法第五章基于两阶段非局部相似性联合协同表示分类算法稀疏表示被广泛用于图像的分类，但是由于稀疏表示消耗太多的时间，并且在长期的实践中人们发现稀疏性对分类不起决定性作用，所以在稀疏表示的基础上人们提出了协同表示。在协同表示的基础上，我们提出了两阶段协同表示分类方法并且还加入了非局部相似性的约束。集成两阶段协同表示和非局部相似性约束，我们提出了两阶段非局部相似性联合协同表示分类。本章提出的算法分别在两幅高光谱图上进行了实验测试，本章算法在这两个高光谱图像上得到的分类正确率要优于很多算法。5.1非局部相似性联合稀疏模型在高光谱遥感图像中，相似的光谱特性表示相同的地物，最近的学习表明，高光谱遥感图像的非局部相似性结果在图像处理中发挥着至关重要的作用。在对样本进行稀疏表示的时候，相似的样本可能会得到不相似的稀疏表示稀疏。针对这个问题，我们将非局部相似性被应用到稀疏表示的约束中，提出了非局部联合[50]稀疏表示模型。其中，非局部约束的数学表达式为：2Nsiwsji,j(5-1)ij12xxij其中，s为测试样本x在字典的稀疏表示系数，wexp()表示样iiji,本x和样本x之间的相似性，是用来控制相似性的参数。公式(5-1)可以转化为：ji2Nsiwsji,jSSWij1(5-2)TT=Tr(S(E-W)(E-W)S)T=Tr(SMS)T其中，矩阵E为单位矩阵，矩阵M(E-W)(E-W)。我们把公式(5-2)作为约束加到稀疏表示模型上，构成非局部联合稀疏模型，该模型的目标函数如下：12TSargminXDSTrSMS()F2(5-3)s.tSKrow,0在公式(5-3)中，X为测试样本集，D为训练样本组成的字典，为非局部相39 西安电子科技大学硕士学位论文[51]似性约束的权值参数。我们可以通过NS-SOMP算法求解公式(5-3)。该算法的基本步骤如表5.1所示。表5.1非局部相似性联合协同表示模型输入：测试样本集[x,x,...,x]和训练字典D。12n输出:测试样本的非局部相似性稀疏表示系数S。第一步：对所有的样本进行归一化处理，使得每一列样本的l范数为1。2第二步：对于每一个测试样本x，我们在训练样本集中，我们用高斯核函数求得该样本i与其它所有测试样本的相似性，得到相似性矩阵W。第三步：通过相似性矩阵，非局部相似性和稀疏表示模型的结合，我们可以得到公式(5-3)所示的目标函数。第四步：通过算法NS-SOMP求解公式(5-3)的最优解，得到非局部相似性联合稀疏表示系数S。5.2两阶段非局部相似性联合协同表示分类5.2.1两阶段协同表示模型通过稀疏表示模型的分析，不难发现稀疏表示模型结合稀疏性约束求解稀疏表示系数，然后对测试样本进行分类。然而张磊等人提出在分类问题中起关键作[5-6]用的是协同表示而不是我们以前所认为稀疏表示，基于这个观点，张磊等人提出了协同表示模型，该模型在避开稀疏性约束的同时依然具有良好的分类效果。可是，协同表示在对样本进行表示的时候，认为所有的训练样本对测试样本的贡献是一样的。但是，很明显，不同的训练样本在对测试样本进行表示的时候所起的作用是不一样的。本文认为，稀疏表示模型的稀疏性约束并不是阻碍分类效果的约束，更不是不必要的。稀疏表示模型中的稀疏性约束对协同表示约束有促进的作用，可以使得分类效果变得更好。只是因为求解代价较大，所以被人们所放弃。基于这个问题，如何能避开稀疏性约束的同时又对原子的贡献有一个区分，应该是基于字典[52]分类问题中一种受欢迎的模型。为此，文献提出了基于人脸识别的两阶段协同表示分类模型。在该算法的第一个阶段，我们首先通过测试样本与训练样本之间的相似性，为每一个测试样本选取K个与之欧氏距离最小的训练样本点，组成该测试样本的字典。在第二阶段，我们用已求得的字典对与之对应的测试样本进行协同表示，然后根据重构误差判断该样本属于哪一类。该算法的基本步骤如表5.2所示。40 第五章基于两阶段非局部相似性联合协同表示分类算法表5.2两阶段协同表示模型输入：测试样本集[x,x,...,x]和训练字典D。12n输出:测试样本协同表示系数S，并得到测试样本的类别。第一步：对所有样本进行归一化处理，使得每一列样本的l范数为1。2第二步：对于每一个测试样本x，我们在训练样本集中，我们求得与之欧氏距离最小的Ki个训练样本点，组成字典D。i第三步：对于每一个测试样本x，我们用它对应的字典D对它进行协同表示，得到每一个ii样本的协同表示系数s。i第四步：通过公式(3-3)我们可以计算每个测试样本的类别。5.2.2非局部相似性联合协同表示分类模型利用非局部联合稀疏模型对测试样本进行表示虽然思想较为简单，但实际运用起来仍存在问题，例如字典的样本数太多导致的计算量非常大，同时稀疏性约束在求解过程中也消耗了大量的时间。针对此类问题，本文把非局部相似性约束和两阶段协同表示分类模型集成，提出了两阶段非局部相似性联合协同表示分类算法(TPNS-JCRC)。在介绍本章提出的两阶段非局部相似性联合协同表示分类算法之前，我们首先得介绍一些点与块的距离定义，该定义如下所示：2dis(T,y)minxy,xT(5-4)2公式(5-4)中，y表示一个像素点，T表示一个像素块，x表示属于该像素块的像素点，下面我们开始介绍我们提出的两阶段非局部相似性联合协同表示分类算法。我们先把数据库的每一个样本进行归一化，使得么一列样本的2范数都为1。对于每一个测试样本x，我们先根据它的空间信息求解K个在空间上与它最接近i1的测试样本点，然后在这些测试样本点中找出与该测试样本点光谱距离最小的K2测试样本点，组成矩阵T。然后再根据表5.3的步骤对测试样本进行分类。该算法i的基本思想就是通过测试样本的空间几何结构约束测试样本在选取的训练样本组成的字典上的系数的结构，让相同类别的像素点在同一个字典上具有相似结构的表示系数。表5.3两阶段非局部相似性联合协同表示模型输入：测试样本集[x,x,...,x]和训练字典D。12n输出:测试样本的类别。第一步：对所有样本集x对应的邻点组成的矩阵T，然后根据公式(5-4)定义的点与块的距ii41 西安电子科技大学硕士学位论文离在训练字典中找出与该矩阵最近的K个训练样本点，构成字典D。.3i第二步：由于矩阵T中的像素点在空间和光谱上都是非常接近的，所以我们把它们的相似i1性设置为相等的常值。K2第三步：对于每一个测试样本x，我们用与它对应的字典D对它的邻点矩阵T进行非局iii部相似性联合协同表示，该表示方法的目标函数为与公式(5-3)很类似，具体表达12T式如下所示：SargminDSTTr(SMS)。iiF212T第四步：针对上面的式子的求解，我们假定一个方程式f(S)DSTTr(SMS)，iiF2我们求解的就是在该方程式取最小值时S的值是多少。'TTT第五步：我们先将fS()对S进行求导，得到fS()DDSDTS(MM)，该表达式iiii取值为0时S的取值即为我们要求的值。我们可以通过文献[51]中的方法求解该表达式。第六步：在求得T的表达式后，我们根据（3-3）所定义的公式，求取测试样本的类别。i5.3实验结果与分析本章算法选取的高光谱数据集和第四章所选取的数据集是一样的，都是IndianPines数据集和KSC数据集。在IndianPines和KSC中，邻点数K和K的值都是1281和45，在IndianPines数据集中K的值为60，而在KSC数据集中K的值为30，33实验结果为独立实验30次所取的平均值。5.3.1在IndianPines高光谱数据库上的实验结果在本实验中，每类带标签的样本个数为该类样本总数的10%，具体的样本数如表5.4所示。本章提出的方法与协同表示分类算法(CRC)，联合协同表示分类算法(JCRC),两阶段联合协同表示(TP-JCRC)以及最近邻分类算法(1-NN)做了比较。实验结果如表5.5所示，实验的分类结果图如图5.1所示。表5.4实验选取IndianPines数据集以及训练样本数IndianPines地区类别类名数目训练样本数1Corn-notill14341432Corn-min834843Grass/Pasture497504Grass/Trees747755Hay-windrowed489496Soybean-notill9681007Soybeans-min24682508Soybean-clean614619Wood129413042 第五章基于两阶段非局部相似性联合协同表示分类算法表5.5IndianPines数据库上的实验结果OverallAccuracy(%)MethodsC1C2C3C4C5C6C7C8C9OAJCRC93.8839.3365.7799.5510058.4196.2163.8310084.11CRC78.7027.0771.8096.4310046.2080.0347.0298.9773.971-NN63.2166.0093.2997.3299.7777.6578.5855.5297.6879.52TP-JCRC88.9290.9395.5399.5510094.4794.8686.8010094.42TPNS-JCRC93.2694.9395.0899.7010096.4397.2994.7610096.805.3.2在KSC高光谱数据库上的实验结果在KSC数据库上，本实验同样是取每一类样本的10%的样本作为训练样本，其他的样本作为测试样本，具体的样本数目如表5.6所示，在该数据库上本章提出的方法同样是和CRC，JCRC以及1-NN做比较，具体的分类结果如表5.7所示，实验的分类结果图如图5.2所示。表5.6实验选取KSC高光谱数据集以及训练样本数KennedySpaceCenter(KSC)数据类别类名数目训练样本数1Scrub761762Willowswamp243243Cabbagepalmhammock256264Cabbagepalm/oakhammock252255Slashpine161166Oak/broadleafhammock229237Hardwoodswamp105118Graminoidmarsh431439Spartinamarsh5205210Cattailmarsh4044011Saltmarsh4194212Mudflats5035013Water92793表5.7KSC数据库上的实验结果OverallAccuracy(%)MethodsJCRCCRC1-NNTP-JCRCTPNS-JCRCC110098.3990.6698.5499.42C296.8899.0084.9383.5676.26C399.5792.6184.3598.70100C4012.7860.3598.6898.24C5019.3153.1071.0391.03C62.915.3437.3861.6585.92C724.4729.7980.85100100C894.3376.8086.8688.9294.85C910093.5997.01100100C1010094.2392.0310098.90C1110094.4396.02100100C1293.3873.9578.8176.8288.74C1310098.56199.6410098.92OA85.1080.8586.2393.1696.0343 西安电子科技大学硕士学位论文(a)(b)(c)(d)(e)(f)图5.1在IndianPines数据库上的分类结果图(a)参考图.(b)CRC.(c)1-NN.(d)TPNS-JCRC.(e)TP-JCRC(f)JCRC(a)(b)44 第五章基于两阶段非局部相似性联合协同表示分类算法(c)(d)(e)(f)图5.2在KSC数据库上的分类结果图(a)参考图.(b)CRC.(c)1-NN.(d)TPNS-JCRC.(e)TP-JCRC(f)JCRC5.3.3实验结果分析表5.5给出了IndianPines数据集在不同分类方法下的实验结果。从表5.5中可以看出，本方法在IndianPines数据集的分类效果是最好的。此外，图5.1显示IndianPines地区将不同分类方法所得到的分类预测结果图进行比较。从图5.1中可以看出，本方法所得到的预测结果图与实际中的地物参考图的视觉效果是最一致的。表5.7给出了KSC数据集在选取不同实验方法所得到的实验结果。从表5.7中我们同样可以看出，本章的方法在KSC数据集的分类正确率是最高的。此外，图5.2显示KSC地区通过对不同分类方法的分类预测结果图进行对比。从图5.2中可以看出，本章的方法所得到的预测结果图与实际中的地物参考图的视觉效果同样也是最一致的。本实验通过四种不同的方法在IndianPines数据库和KSC数据库中选取10%的样本做为训练样本的情况下的实验结果对比，分别对各一个类别在不同的分类方法上的实验结果进行了比较。其中，IndianPines数据库每一类选取的训练样本数目如表5.4所示，KSC数据库的训练样本数如表5.6所示。另外，各种方法在每一个类别下的分类效果如表5.5和表5.7所示。从表5.5可以看出，在IndianPines数据库的9个类别中，每种分类方法都有其分得比较好的类别，我们可以发现，协同表示分类模型在加入了联合信息的时候，IndianPines数据库上的分类结果明显更好，相比于最近邻分类器，联合协同表示分类效果稍微差一点，两阶段联合45 西安电子科技大学硕士学位论文协同表示方法的性能要优于联合协同表示的性能，而本章的方法在总体样本的分类正确率是最高的。从表5.7中我们可以得出，在KSC数据库的13个类别中，联合协同表示分类的效果优于协同表示分类，但是最近邻分类器的分类效果却比联合协同表示略差，两阶段联合协同表示的分类正确率同样比联合协同表示方法的正确率要好，而本章的方法的实验结果仍然是最好的。通过将本章的方法和两阶段联合协同表示分类方法的结果进行比较，我们可以看出，在加入了非局部相似性的约束之后，数据库的分类正确率有了明显的提高，我们可以得出结论，非局部相似性约束对高光谱遥感图像分类有促进的作用。在这五个高光谱遥感图像的实验中，我们并没有数据库的像素点进行特征选择或者特征提取等降维处理。但是，本章的方法的分类结果是非常的不错的。尽管我们所选取数据库的像素点的波段信息具有一定的冗余性，而这种冗余性对我们分类的实验结果是具有一定的阻碍作用的。由两阶段非局部相似性联合协同表示模型在选择第二阶段的原子数目的处理所得到的实验结果可以看出，在高光谱遥感图像的分类问题中，对系数进行稀疏性约束的是非常有必要的，通过一定的方法选择与测试样本距离更小的原子的操作对高光谱遥感图像的分类起到了一定的促进作用，在一定的程度上减小了那些对分类结果有阻碍作用的训练样本的表示能力，加强与测试样本距离更小的训练样本在分类过程中所起到的作用。在选取好第二阶段的原子后，我们利用测试样本之间的相似性对测试样本在已选取的原子组成的字典上的表示系数进行了约束，这些约束同样是对实验的结果有利的。尽管协同表示的模型的提出者认为稀疏性约束在基于字典的分类框架中不起决定性作用，但是通过本章的实验结果，我们可以看出选取有利的原子组成字典对分类有促进作用的。5.4本章小结本章针对协同表示模型进行改进，提出了非局部相似性联合协同表示模型。该模型在协同表示模型的基础上，加入了相似样本在字典上的表示系数也相似的约束条件。然后，结合两阶段的思想提出了两阶段非局部相似性联合协同表示算法。该算法的分类性能在高光谱数据库上得到了很好的验证，实验结果表明，该算法两阶段非局部相似性联合协同表示算法在高光谱遥感图像分类中能够获得更高的分类正确率。46 第六章总结与展望第六章总结与展望6.1本文内容总结近年来，高光谱遥感图像分类问题得到了广泛的关注，而稀疏性理论在模式识别领域的应用也越来越受到多，本文的研究主题是基于稀疏理论和空间约束的高光谱遥感图像分类方法，主要研究的工作包括以后内容：1.提出了一种基于半监督局部保留降维和改进的联合协同表示分类方法。首先，对每两类训练样本求得一个投影矩阵，该投影矩阵使得两类样本之间同类的距离尽量小，不同类的距离尽量大，这样每两类之间都可以得到一个投影矩阵。在分类时，通过每两个样本的投影矩阵，我们可以判断测试样本和哪一类距离更接近，统计这些信息，我们可以得到测试样本的类别。在IndianPines和Salinas-A高光谱数据库上进行仿真实验，实验表明，该算法能够有效的提高高光谱遥感图像分类的正确率。2.提出了一种基于半监督局部保留线性判别降维算法和改进最近邻分类器相结合的分类算法。该算法的基本思想是通过有标签和无标签的样本，找到一个最优的投影子空间，然后训练了一个改进的最近邻分类器。先将数据通过得到的投影矩阵进行降维处理，然后用训练的改进分类器对测试样本进行分类。在IndianPines和KennedySpaceCenter高光谱数据库上进行了仿真实验，结果显示，与同类算法相比，分类器的识别率有显著的提高。3.提出了一种基于两阶段非局部相似性联合协同表示分类的算法。首先，该算法利用光谱信息得到每个测试样本一定数目的近邻训练样本，把它作为该测试样本的字典，然后结合测试样本非局部相似性和已求得的字典对测试样本进行非局部相似性表示，最后得到测试样本的类别。我们通过IndianPines和KennedySpaceCenter验证了该算法的性能。6.2展望本文利用了高光谱遥感图像样本的光谱信息和空间信息相结合的思想在稀疏性理论方法的基础上进行了改进，在一定的程度上对高光谱遥感图像分类的性能有所改进，但是也存在着一些需要进一步改善的地方，主要包括以下几个方面：1.在利用无标签样本的信息时，提取的是所有的无标签样本的信息，这样导致程序运行的时间复杂度太高，很大程度上增加了训练过程的代价。2.判断两个样本是否相似所设置的阈值以及光谱信息和空间信息之间的权值参数，都是是通过大量的实验凭经验选取的，在选取最有参数是消耗了大量的时间，降低时间复杂度问题仍然需要解决。47 西安电子科技大学硕士学位论文3.在求解每个样本的邻域点时，都需要计算该样本点与其他所有点之间的相似性，这样消耗的时间太多。以上提出的几个问题都是有关时间复杂度的问题，针对这些问题，未来考虑尝试以下的方法来解决：1.提取无标签样本的信息时，先在所有的样本中随机挑选一部分样本出来，然后再对这些样本的信息进行提取和训练。2.尝试寻求一直自适应的方法，对实验参数进行迭代更新。例如，可以考虑用深度学习。3.先用一些简单的标准对所有的样本进行一些筛选，然后再计算要训练的样本点与筛选后的样本点之间的相似性，这样可以减少不少时间。48 参考文献参考文献[1]R.A.Fisher,Theuseofmultiplemeasurementsintaxonomicproblems.[J].AnnalsofEugenics,1936,7(2):179–188.[2]NiyogiX.Localitypreservingprojections[C].Neuralinformationprocessingsystems.2004,16:153.[3]ChenY,NasrabadiNM,TranTD.Classificationforhyperspectralimagerybasedonsparserepresentation[C]//HyperspectralImageandSignalProcessing:EvolutioninRemoteSensing(WHISPERS),20102ndWorkshopon.IEEE,2010:1-4.[4]ChenY,NasrabadiNM,TranTD.Hyperspectralimageclassificationusingdictionary-basedsparserepresentation[J].GeoscienceandRemoteSensing,IEEETransactionson,2011,49(10):3973-3985.[5]ZhangL,YangM,FengX,etal.Collaborativerepresentationbasedclassificationforfacerecognition[J].arXivpreprintarXiv:1204.2358,2012.[6]ZhangL,YangM,FengX.Sparserepresentationorcollaborativerepresentation:Whichhelpsfacerecognition?[C].ComputerVision(ICCV),2011IEEEInternationalConferenceon.IEEE,2011:471-478.[7]边肇祺,张学工.模式识别[M].清华大学出版社有限公司,2000.[8]JiaX,RichardsJA.Efficientmaximumlikelihoodclassificationforimagingspectrometerdatasets[J].GeoscienceandRemoteSensing,IEEETransactionson,1994,32(2):274-281.[9]ChangCI.Spectralinformationdivergenceforhyperspectralimageanalysis[C].GeoscienceandRemoteSensingSymposium,1999.IGARSS'99Proceedings.IEEE1999International.IEEE,1999,1:509-511.[10]QinJ,BurksTF,RitenourMA,etal.Detectionofcitruscankerusinghyperspectralreflectanceimagingwithspectralinformationdivergence[J].JournalofFoodEngineering,2009,93(2):183-191.[11]焦李成.神经网络系统理论[M].西安电子科技大学出版社,1990.[12]VapnikV.EstimationofDependenciesBasedonEmpiricalData,translatedbyS.Kotz[J].1982.[13]FahimAM,SalemAM,TorkeyFA,etal.Anefficientenhancedk-meansclusteringalgorithm[J].JournalofZhejiangUniversitySCIENCEA,2006,7(10):1626-1633.[14]SiddiquiFU,IsaNAM.EnhancedmovingK-means(EMKM)algorithmforimagesegmentation[J].ConsumerElectronics,IEEETransactionson,2011,57(2):833-841.[15]LiB,ZhaoH,LvZH.ParallelISODATAclusteringofremotesensingimagesbasedon49 西安电子科技大学硕士学位论文MapReduce[C].Cyber-EnabledDistributedComputingandKnowledgeDiscovery(CyberC),2010InternationalConferenceon.IEEE,2010:380-383.[16]MitchellTM.Machinelearning.WCB[J].1997.[17]CherkasskyV,FriedmanJH,WechslerH.Fromstatisticstoneuralnetworks:theoryandpatternrecognitionapplications[M].SpringerPublishingCompany,Incorporated,2012.[18]GrandvaletY,BengioY.Semi-supervisedlearningbyentropyminimization[J].2005.[19]ZhuX,GhahramaniZ,LaffertyJ.Semi-supervisedlearningusinggaussianfieldsandharmonicfunctions[C].ICML.2003,3:912-919.[20]ZhouD,BousquetO,LalTN,etal.Learningwithlocalandglobalconsistency[J].Advancesinneuralinformationprocessingsystems,2004,16(16):321-328.[21]BlumA,MitchellT.Combininglabeledandunlabeleddatawithco-training[C].ProceedingsoftheeleventhannualconferenceonComputationallearningtheory.ACM,1998:92-100.[22]JonesR.Learningtoextractentitiesfromlabeledandunlabeledtext[D].UniversityofUtah,2005.[23]ZhouZH,ZhanDC,YangQ.Semi-supervisedlearningwithveryfewlabeledtrainingexamples[C].Proceedingsofthenationalconferenceonartificialintelligence.MenloPark,CA;Cambridge,MA;London;AAAIPress;MITPress;1999,2007,22(1):675.[24]YarowskyD.Unsupervisedwordsensedisambiguationrivalingsupervisedmethods[C].Proceedingsofthe33rdannualmeetingonAssociationforComputationalLinguistics.AssociationforComputationalLinguistics,1995:189-196.[25]RosenbergC,HebertM,SchneidermanH.Semi-supervisedself-trainingofobjectdetectionmodels[J].2005.[26]NigamK,McCallumAK,ThrunS,etal.TextclassificationfromlabeledandunlabeleddocumentsusingEM[J].Machinelearning,2000,39(2-3):103-134.[27]CozmanFG,CohenI,CireloM.UnlabeledDataCanDegradeClassificationPerformanceofGenerativeClassifiers[C].FLAIRSConference.2002:327-331.[28]PalM,FoodyGM.FeatureselectionforclassificationofhyperspectraldatabySVM[J].GeoscienceandRemoteSensing,IEEETransactionson,2010,48(5):2297-2307.[29]MallatSG,ZhangZ.Matchingpursuitswithtime-frequencydictionaries[J].SignalProcessing,IEEETransactionson,1993,41(12):3397-3415.[30]DonohoDL.Formostlargeunderdeterminedsystemsoflinearequationstheminimal𝓁1‐normsolutionisalsothesparsestsolution[J].Communicationsonpureandappliedmathematics,2006,59(6):797-829.[31]CandesEJ,TaoT.Near-optimalsignalrecoveryfromrandomprojections:Universalencoding50 参考文献strategies?[J].InformationTheory,IEEETransactionson,2006,52(12):5406-5425.[32]ChenY,NasrabadiNM,TranTD.Sparserepresentationfortargetdetectioninhyperspectralimagery[J].SelectedTopicsinSignalProcessing,IEEEJournalof,2011,5(3):629-640.[33]BrucksteinAM,DonohoDL,EladM.Fromsparsesolutionsofsystemsofequationstosparsemodelingofsignalsandimages[J].SIAMreview,2009,51(1):34-81.[34]DaiW,MilenkovicO.Subspacepursuitforcompressivesensingsignalreconstruction[J].InformationTheory,IEEETransactionson,2009,55(5):2230-2249.[35]BellAJ,SejnowskiTJ.The―independentcomponents‖ofnaturalscenesareedgefilters[J].Visionresearch,1997,37(23):3327-3338.[36]TroppJA,GilbertAC.Signalrecoveryfromrandommeasurementsviaorthogonalmatchingpursuit[J].InformationTheory,IEEETransactionson,2007,53(12):4655-4666.[37]NeedellD,VershyninR.Greedysignalrecoveryanduncertaintyprinciples[C].ElectronicImaging2008.InternationalSocietyforOpticsandPhotonics,2008:68140J-68140J-12.[38]PatiYC,RezaiifarR,KrishnaprasadPS.Orthogonalmatchingpursuit:Recursivefunctionapproximationwithapplicationstowaveletdecomposition[C].Signals,SystemsandComputers,1993.1993ConferenceRecordofTheTwenty-SeventhAsilomarConferenceon.IEEE,1993:40-44.[39]WaskeB,vanderLindenS,BenediktssonJA,etal.Sensitivityofsupportvectormachinestorandomfeatureselectioninclassificationofhyperspectraldata[J].GeoscienceandRemoteSensing,IEEETransactionson,2010,48(7):2880-2889.[40]MolinaLC,BelancheL,NebotÀ.Featureselectionalgorithms:Asurveyandexperimentalevaluation[C].DataMining,2002.ICDM2003.Proceedings.2002IEEEInternationalConferenceon.IEEE,2002:306-313.[41]WeilandS,vanBelzenF.Singularvaluedecompositionsandlowrankapproximationsoftensors[J].SignalProcessing,IEEETransactionson,2010,58(3):1171-1182.[42]JolliffeI.Principalcomponentanalysis[M].JohnWiley&Sons,Ltd,2005.[43]HoneineP.Onlinekernelprincipalcomponentanalysis:Areduced-ordermodel[J].PatternAnalysisandMachineIntelligence,IEEETransactionson,2012,34(9):1814-1826.[44]CuiM,PrasadS,LiW,etal.Localitypreservinggeneticalgorithmsforspatial-spectralhyperspectralimageclassification[J].SelectedTopicsinAppliedEarthObservationsandRemoteSensing,IEEEJournalof,2013,6(3):1688-1697.[45]KimSW,OommenBJ.Onusingprototypereductionschemestooptimizekernel-basednonlinearsubspacemethods[J].PatternRecognition,2004,37(2):227-239.[46]SchölkopfB,SmolaA,MüllerKR.Kernelprincipalcomponentanalysis[M].ArtificialNeural51 西安电子科技大学硕士学位论文Networks—ICANN'97.SpringerBerlinHeidelberg,1997:583-588.[47]高恒振.高光谱遥感图像分类技术研究[J].长沙:[目防科学技术大学,2011:4—4,2011.[48]任靖,李春平.最小距离分类器的改进算法——加权最小距离分类器[J].计算机应用,2005,25(05):992-994.[49]王卫东,郑宇杰,杨静宇,等.一种基于预分类的高效最近邻分类器算法[J].计算机科学,2007,34(2):198-200.[50]HuangZ,ShiZ,YangS.NonlocalSimilarityRegularizedSparsityModelforHyperspectralTargetDetection[J].GeoscienceandRemoteSensingLetters,IEEE,2013,10(6):1532-1536.[51]JamesonA.SolutionoftheequationAX+XB=CbyinversionofanM*MorN*Nmatrix[J].SIAMJournalonAppliedMathematics,1968,16(5):1020-1023[52]XuY,ZhangD,YangJ,etal.Atwo-phasetestsamplesparserepresentationmethodforusewithfacerecognition[J].CircuitsandSystemsforVideoTechnology,IEEETransactionson,2011,21(9):1255-1262.52 致谢致谢时光飞逝，岁月如梭，转眼间我的研究生生涯已经接近尾声了。回忆起两年来的这段充满挑战而又难忘的美好学习时光中，有迷茫、有兴奋、有挫折、也有收获。在这段时光里，老师和同学们的帮助和家人的支持和鼓励让我受益匪浅。在此我向他们表示深深地谢意，感谢他们对我学习生活的关心。首先我要感谢智能感知与图像理解实验室为我们提供了这么好的学习环境和学术氛围。在好多次的小组讨论中，我聆听到了各位大牛有关学术所独有的见解，从中得到了不少的启发。衷心感谢焦李成教授！焦老师学识渊博，思想眼界高，并且平易近人。对我的研究生生涯提供了很大的帮助。焦老师是我们实验室工作生活中的学习榜样，影响着我们智能感知和图像理解实验室的所有人。在此，我谨向焦老师表示深深的谢意！感谢我的导师张小华副教授！张老师一丝不苟的治学态度和认真负责的态度让我们敬佩。尽管张老师整天忙于科研工作，但是他每周和我们一起讨论我们的工作，并且耐心的为每一个人提出有建设性的意见，对我们的学习有很大的帮助。做为张老师的学生，我感到非常的荣幸，希望我以后能够像张老师一样脚踏实地，认真工作。再次衷心的祝福老师在工作和生活中能取得更高的成就。感谢师兄师姐在我的科研过程中给予的帮助和鼓励。感谢孟珂、何攀辉、侯臻、温阳、王美妙、郭洧华等同学及室友的关心与帮助，大家互相学习，共同进步。感谢智能感知与图像理解实验室的全体老师，感谢老师们的悉心指导，老师们在科研工作中所投入的热情让我深深钦佩。最后要特别感谢我的父母和妹妹，感谢他们对我的支持和鼓励！53 西安电子科技大学硕士学位论文54 作者简介作者简介1.基本情况男，湖北黄冈人，1990年4月出生，西安电子科技大学电子工程学院模式识别与智能系统专业2012级硕士研究生。2.教育背景2007.09～2011.07就读于西安电子科技大学机电工程学院自动化专业，获工学学士学位2012.08～西安电子科技大学电子工程学院模式识别与智能系统专业硕士研究生55 西安电子科技大学硕士学位论文56