基于正则化秩k矩阵逼近的稀疏主成分分析

《基于正则化秩k矩阵逼近的稀疏主成分分析》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、2017年6月北京航空航天大学学报June2017第43卷第6期JournalofBeijingUniversityofAeronauticsandAstronauticsV01．43No．6http：∥bhxb．buaa．edu．cnjbuaa@buaa．edu．cnDOI：10．13700／j．bh．1001—5965．2016．0462基于正则化秩死矩阵逼近的稀疏主成分分析杨茜，刘红英+(北京航空航天大学数学与系统科学学院，北京100083)摘要：在计算稀疏主成分(PCs)时，由于同时求k个主成分的做法可以减少计算所产生的累积误差，因此提出了基于

2、正则化秩k矩阵逼近的稀疏主成分模型，并设计了求解该模型的块坐标下降法(BCD—sPCA．rSVD)。该算法的主要思想是先把变量按坐标分成2丘个块，当固定其他2k一1个坐标块的变量时，求解关于单个坐标块的子问题并给出子问题的显式解，循环地求解这些子问题直至满足终止条件。该算法每次迭代的计算复杂度关于样本个数与变量维数都是线性的，并且证明了它是收敛的。该算法不仅易于实现，数值仿真结果表明，该算法应用到真实数据与合成数据上都是可行且有效的。它不仅使累积误差降低，而且具有较低的计算复杂度，因而可以有效地求解大规模稀疏主成分分析问题。关键词：降维；稀疏主成分；正

3、则化；块坐标下降法；奇异值分解；阈值中图分类号：0212．4；TPl81；0221．2文献标识码：A文章编号：1001—5965(2017)06．1239-08主成分分析(PrincipalComponentAnalysis，PCA)是一种重要的数据分析与降维工具，它在科学与工程领域都有着广泛的应用。然而，由于传统PCA中的主成分(PrincipalComponent，PC)是所有原始变量的线性组合，即PC载荷一般都是非零的¨1。因此，很难对与主成分相关的原始因素进行解释。而稀疏主成分分析就是为了解决主成分的这一缺陷而提出的，它使得PC载荷中零元素的个

4、数变多，使主成分的可解释性增强。当需要计算五(>1)个稀疏主成分时，主要有2种做法：第1种做法是依次求单个主成分，即求解“单个稀疏主成分”模型，并通过压缩的(deflated)数据矩阵或数据协方差阵来依次获得更多的稀疏主成分，包括基于LASSO(LeastAbso．1uteShrinkageandSelectionOperator)约束的投影梯度法(SCoTLASS)C2]、稀疏主成分分析的半定规划直接表述法(DSPCA)¨1、基于正则化奇异值分解模型的稀疏主成分分析(sPCA—rSVD)H。、贪心法”刮、单位步长条件梯度法(ConGradU)⋯、拉格

5、朗日对偶法旧1和期望最大化稀疏主成分分析(EMPCA)‘9o等。第2种做法是同时求多个主成分，即建立合适的优化模型一次获得多个稀疏主成分，包括稀疏主成分分析法(SPCA)⋯、广义幂法(Gpowerf¨，Gpower％．^)¨0

6、、稀疏主成分分析的增广拉格朗日函数法(ALSPCA)。11]和块坐标下降稀疏主成分分析法(BCD．SPCA)。12]等。虽然在给定不同的稀疏性参数下，依次求解单个主成分较为容易，但这种计算方式会产生累积误差，而同时计算多个主成分则减少了累积误差，并且这类做法对解决大规模稀疏PCA问题更有效且实用¨⋯。因而研究同时求多个稀疏主成分

7、的算法具有应用价值。本文提出了基于z．正则化秩k矩阵逼近的稀疏PCA模型，并设计了求解该模型的块坐标下收稿日期：2016-05·31；录用日期：2016-09-02；网络出版时间：2016—10-1009：03网络出版地址：WWW．cnki．net／kcms／detail／11．2625．V．20161010．0903．004．html基金项目：国家自然科学基金(61172060，61403011)}通讯作者：E-mail：liuhongying@buaa．edu．cn；f用格式：杨茜，刘缸英．基于正则化秩k矩阵逼近的稀疏主成分分析fJJ．北京航空航天

8、大学学报，2017，43∞)：1239．1246．YANGQ，LIU14Y．SpaBeprlncipalcomponentanalysisviaregularizedrank—kmatrixapproximation【J]．JournalofBeijingUni—versityofAeronauticsandAstronautics，2017，43∞)：1239—1246(inChinese)．1240北京航空航天大学学报2017年降法(BCD-sPCA—rSVD)。该算法的主要思想是利用块坐标下降法把变量按坐标分成2

9、j}个块，当固定其他2k一1个坐

10、标块的变量时，求解关于单个坐标块的子问题并给出子问题的显式解，循环地求解这些子问题直至满足终止