PCA原理及应用

《PCA原理及应用》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、PCA原理与应用PCA是Principalcomponentanalysis的缩写，中文翻译为主元分析/主成分分析。它是一种对数据进行分析的技术，最重要的应用是对原有数据进行简化。正如它的名字：主元分析，这种方法可以有效的找出数据中最“主要”的元素和结构，去除噪音和冗余，将原有的复杂数据降维，揭示隐藏在复杂数据背后的简单结构。它的优点是简单，而且无参数限制，可以方便的应用与各个场合。因此应用极其广泛，从神经科学到计算机图形学都有它的用武之地。被誉为应用线性代数最有价值的结果之一。1、PCA原理从线形代数

2、的角度来看，PCA的目标就是使用另一组基去重新描述得到的数据空间。而新的基要能尽量揭示原有的数据间的关系，而这个基即最重要的“主元”。PCA的目标就是找到这样的“主元”，最大程度的去除冗余和噪音的干扰。设：Y=PX（1）并定义：pi表示P的行向量，xi表示X的列向量，yi表示Y的列向量。公式1表示不同基之间的转换，在线性代数中，它表示P从X到Y的转换矩阵，在几何上，P对X进行旋转和拉伸得到Y。将公式1展开：,列向量可得到yi表示xi与P中对应列的点积，相当于是在对应向量上的投影。因此，P的行向量事实上就

3、是一组新的基，P的行向量就是PCA中所谓的“主元”。为了使得获得Y具有类间方差大，类内方差小，冗余信息少的特点，下面将对P的求解进行分析。1.1最大化方差假设我们还是将一个空间中的点投影到一个向量中去。首先，给出原空间的中心点：假设u1为投影向量，投影之后的方差：根据，利用拉格朗日乘子法：对上式求导，使之为0： 这是一个标准的特征值表达式了，λ对应的特征值，u对应的特征向量。上式的左边取得最大值的条件就是λ1最大，也就是取得最大的特征值的时候。其中，S可以看做X的协方差矩阵。1.1最小化冗余信息通常在试

4、验中引入了一些不必要的变量，从而造成数据的冗余，对于复杂的情况，需要借助协方差来进行衡量和判断：A,B分别表示不同的观测变量所记录的一组值，在统计学中，由协方差的性质可以得到：，且当且仅当观测变量A，B独立。将A,B写成行向量：,协方差可以表示为：那么，对于一组具有m个观测值，n个采样时间点的采样数据X，将每个观测变量的值写成行向量，可以得到m*n的矩阵：,定义协方差矩阵如下：Cx是m*n的平方对称矩阵。Cx对角线上的元素是对应的观测变量方差。非对角线上的元素是对应的观测变量之间的协方差。协方差矩阵Cx

5、包含了所有观测变量之间的相关性度量。更重要的是，包含了所有观测变量之间的相关性度量。一般情况下，初始数据的协方差矩阵总是不太好的，表现为信噪比不高且变量间相关度大。PCA的目标就是通过基变换对协方差矩阵进行优化。在线性代数中，上述问题可以描述成：寻找一组正交基组成的矩阵P，有Y=PX，使得是对角阵。则P的行向量（也就是一组正交基），就是数据X的主元向量。对于进行推导：定义,则A是一个对称阵，对A进行对角化求取特征值得，A=EDET，D是一个对角阵，E是对称阵A的特征向量排成的矩阵。取P=ET，则，由线形

6、代数可知矩阵P有性质，从而进行如下计算：可知此时的P就是我们需要求得变换基。X的主元即是的特征向量，也就是P的行向量。矩阵对角线上的第i个元素是数据X在方向Pi的方差。1.1最小化损失 假设输入数据x是在D维空间中的点，那么，我们可以用D个正交的D维向量去完全的表示这个空间（这个空间中所有的向量都可以用这D个向量的线性组合得到）。在D维空间中，有无穷多种可能找这D个正交的D维向量。假设找到了这D个向量，(ui为列向量)可以得到：用近似法来表示投影后的点：上式表示，得到的新的x是由前M个基的线性组合加上后

7、D-M个基的线性组合，注意这里的z是对于每个x都不同的，而b对于每个x是相同的，这样我们就可以用M个数来表示空间中的一个点，也就是使得数据降维了。但是这样降维后的数据，必然会产生一些扭曲，我们用J描述这种扭曲，我们的目标是，使得J最小：其含义是对于每一个点，将降维后的点与原始的点之间的距离的平方和加起来，求平均值，我们就要使得这个平均值最小。令：将上面得到的z与b带入降维的表达式：将上式带入J的表达式得到:再用上拉普拉斯乘子法，可以得到，取得我们想要的投影基的表达式为：这里又是一个特征值的表达式，我们想

8、要的前M个向量其实就是这里最大的M个特征值所对应的特征向量。J可以化简为：也就是说当误差J是由最小的D-M个特征值组成的时候，J取得最小值。根据1.1、1.2、1.3节，如果X矩阵的列向量代表m维空间的数据，共有n组，对X的协方差矩阵求解特征方程，特征向量按特征值的由大到小排列构成P矩阵的行向量，令Y=PX，这个过程称作PCA主成分分析，同时我们很容易得到如下结论：（1）P矩阵的行向量代表X的主元，若用P矩阵前k列作为描述X的基，其误差J是