具有局部结构保留性质的PCA改进算法

《具有局部结构保留性质的PCA改进算法》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、万方数据第22卷第3期2009年6月模式识别与人工智能PR&AIV01．22JunNo．32009具有局部结构保留性质的PCA改进算法王庆刚1李见为1'2(重庆大学光电工程学院光电技术及系统教育部蕈点实验室重庆400030)2(重庆理工大学重庆400050)摘要保局投影(LPP)是一种局部结构保留算法，它使得每个数据点和它的近邻点在投影空间中尽可能地保持相近．结合LPP的几何思想，本文提出一种具有局部结构保留特性的PCA改进算法——保局PCA(LP-PCA)．该算法通过构造数据集的邻接图及其补图，对近邻点和非近邻点采取不同的处理方式．在获

2、得数据集全局结构的同时，可有效保留数据集的局部结构．在模拟数据集和现实数据集上进行实验，实验结果验证该算法的有效性．关键词维数约减，主成分分析(PCA)，保局投影(LPP)，流形学习中图法分类号TP391．4AnImprovedPCAAlgorithmwithLocalStructurePreservingWANGQing．Gan91．LIJian—Weil·21(KeyLaboratoryofOptoelectronicTechnologyandSystem,ofMinistryofEducation，CollegeofOptoelec

3、tronicEngineering，ChongqingUniversity，Chongqing400030)2(ChongqingUniversityofTechnology，Chongqing400050)ABSTRACTLocalitypreservingprojection(LPP)isalocalstructurepreservingmethodandthedistancesofneighboringpointsareminimizedinthesubspaceofLPP．Combinedwiththegeometricideao

4、fLPP．觚improvedPCAwithlocalstructurepreservingisproposedcalledlocalitypreservingPCA(LP-PCA)．Byconstructingtheneighborhoodgraphanditscomplement，LP-PCAdealswiththeneighboringpointsandthefarpointsdistinguishingly．LP—PCAminimizesthedistancesbetweentheneighboringpointsandsimult

5、aneouslymaximizesthedistancesbetweenthefarpoints．Theimprovedalgorithmcallfindtheglobalstructureofthehighdimensionaldatasetwithpreservingitslocalstructure．Someexamplesoftheimprovedalgorithmaregivenontoydatasets船wellasonactualdatasets．Experimentalresultsshowtheeffectiveness

6、off．P．PCA．KeyWordsDimensionalityReduction．PrincipalComponentAnalysis(PCA)，LocalityPreservingProjection(LPP)，ManifoldLearning收稿日期：2008—05—04；修回日期：2008—08—25作者简介王庆刚，男，1978年生，博上研究生。主要研究方向为流形学习、统计模式识别、图像处理．E-mail：ygest@hotmail．corn．李见为，男，1947年生，教授，博士生导师，主要研究方向为模式识别、图像处理、地理信息系

7、统．万方数据3期王庆刚等：具有局部结构保留性质的PCA改进算法3891引言随着信息技术的发展，高维数据的获取较以往更为方便和普及．这种高维性质在提供关于客观世界更多丰富信息的同时，也导致维数灾难的发生．如何将高维数据表示在低维空间中，并由此发现其内在结构已成为机器学习领域的一个重要研究方向．主成分分析(PCA)⋯是一种经典的线性维数约减算法，其核心思想是在一组高维数据集中寻找低维投影子空间，使得原始数据集与它们在这个子空间中投影的均方差最小．PCA是一种全局算法旧J，它可以较好地揭示具有线性结构的高维数据集的全局分布．然而对于嵌入在高维空

8、间中具有非线性流形结构的数据，PCA很难学习出隐含在数据集中的低维流形结构旧]．流形结构一般通过数据点间的邻近关系来描述．为了在低维空间中有效保留数据集的邻近关系，He等人在2003年提出了保