主成份分析ppt课件.ppt

《主成份分析ppt课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、主成分分析统计建模方法之二主成分分析§1引言§2总体的主成分§3样本的主成分§1引言主成分分析(或称主分量分析，principalcomponentanalysis)由皮尔逊(Pearson,1901)首先引入，后来被霍特林(Hotelling,1933)发展了。主成分分析是一种通过降维技术把多个变量化为少数几个主成分(即综合变量)的统计分析方法。这些主成分能够反映原始变量的绝大部分信息，它们通常表示为原始变量的某种线性组合。主成分分析的一般目的是：(1)变量的降维；(2)主成分的解释。寻找主成分的正交旋转旋转公式：§2总体的主成分一、主成分的定义及导出二、主成分

2、的性质三、从相关阵出发求主成分一、主成分的定义及导出设为一个维随机向量，，。考虑如下的线性变换希望在约束条件下寻求向量，使得达到最大，就称为第一主成分。设为的特征值，为相应的单位特征向量，且相互正交。则可求得第一主成分为它的方差具有最大值。如果第一主成分所含信息不够多，还不足以代表原始的个变量，则需考虑再使用一个综合变量，为使所含的信息与不重叠，应要求我们在此条件和约束条件下寻求向量，使得达到最大，所求的称为第二主成分。求得的第二主成分为其方差为。一般来说，的第主成分是指：在约束条件和下寻求，使得达到最大。第主成分为主成分的几何意义在几何上，表明了第主成分的方向，

3、是在上的投影值（即投影长度），是这些值的方差，它反映了在上投影点的分散程度。记，则主成分向量与原始向量有如下关系：该正交变换的几何意义是将中由构成的原维坐标轴作一正交旋转，一组正交单位向量表明了个新坐标轴的方向，这些新坐标轴彼此仍保持正交（或说垂直）。二、主成分的性质1.主成分向量的协方差矩阵其中，即，且互不相关。2.主成分的总方差由于故或总方差中属于第主成分（或被所解释)的比例为称为主成分的贡献率。第一主成分的贡献率最大，表明它解释原始变量的能力最强，而的解释能力依次递减。主成分分析的目的就是为了减少变量的个数，因而一般是不会使用所有个主成分的，忽略一些带有较小

4、方差的主成分将不会给总方差带来大的影响。前个主成分的贡献率之和称为主成分的累计贡献率，它表明解释的能力。通常取(相对于)较小的，使得累计贡献达到一个较高的百分比(如80％～90％)。此时，可用来代替，从而达到降维的目的，而信息的损失却不多。3.原始变量与主成分之间的相关系数在实际应用中，通常我们只对与的相关系数感兴趣。三、从相关阵出发求主成分现比较本例中从出发和例7.2.2中从出发的主成分计算结果。从出发的的贡献率0.705明显小于从出发的的贡献率0.938，事实上，原始变量方差之间的差异越大，这一点也就倾向于越明显，（7.2.15）式有助于我们理解之。可用标准化

5、前的原变量表达如下：可见，在原变量上的载荷相对大小与例7.2.2中在上的载荷相对大小之间有着非常大的差异。这说明，标准化后的结论完全可能会发生很大的变化，因此标准化不是无关紧要的。§3样本的主成分我们可以从协差阵或相关阵出发求得主成分。但在实际问题中，或一般都是未知的，需要通过样本来进行估计。设数据矩阵为则样本协差阵和样本相关阵分别为§3样本的主成分一、样本主成分的定义二、从出发求主成分三、从出发求主成分四、主成分分析的应用五、若干补充及应用中需注意的问题一、样本主成分的定义若向量在约束条件下，使得的样本方差达到最大，则称线性组合为第一样本主成分。若向量在约束条件

6、和的样本协方差下，使得的样本方差达到最大，则称线性组合为第二样本主成分。一般地，若向量在约束条件和的样本协方差下，使得的样本方差达到最大，则称线性组合为第样本主成分，。需要指出的是，样本主成分是使样本方差而非方差达到最大，是使样本协方差而非协方差为零。主成分得分在实际应用中，我们常常让减去，使样本数据中心化。这不影响样本协差阵，在前面的论述中惟一需要变化的是，将第主成分改写成中心化的形式，即若将各观测值代替上式中的观测值向量，则第主成分的值称之为观测值的第主成分得分。所有观测值的平均主成分得分三、从出发求主成分设样本相关阵的个特征值为，为相应的正交单位特征向量，则

7、第样本主成分其中是各分量经（样本）标准化了的向量，即令这是的各分量数据经标准化后的数据向量，将其代替上述样本主成分公式中的，即得观测值在第主成分上的得分所有观测值的平均主成分得分四、主成分分析的应用在主成分分析中，我们首先应保证所提取的前几个主成分的累计贡献率达到一个较高的水平（即变量降维后的信息量须保持在一个较高水平上），其次对这些被提取的主成分必须都能够给出符合实际背景和意义的解释（否则主成分将空有信息量而无实际含义）。主成分的解释其含义一般多少带有点模糊性，不像原始变量的含义那么清楚、确切，这是变量降维过程中不得不付出的代价。因此，提取的主成分个数m通常应明

8、显小于原始