2012信号处理的统计分析方法3.ppt

《2012信号处理的统计分析方法3.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第3章主成分分析3.1PCA的基本思想与数学模型3.2PCA的几何意义3.3主成分的推导及其性质3.4计算步骤3.5讨论与说明3.1PCA的基本思想与数学模型为全面、准确地反映事物的特征及其发展规律，往往要考虑与其有关系的多个指标。基本思想在多元统计中称为变量出现问题：为了避免遗漏重要信息而考虑尽可能多的指标希望：在定量研究中涉及的变量较少，而得到的信息量较多。考虑指标的增多增加了问题的复杂性，同时由于各指标均是对同一事物的反映，不可避免地造成信息的大量重叠有时甚至会抹杀事物的真正特征与内在规律通过对原始变量相关矩阵或协方差矩阵内部结构关系的研究，利用原始变量的线性组合

2、形成几个综合指标（主成分），在保留原始变量主要信息的前提下起到降维与简化问题的作用。PCA是研究如何通过原来变量的少数几个线性组合来解释原来变量绝大多数信息的一种多元统计方法。利用PCA得到的主成分与原始变量之间有如下基本关系：每一个主成分都是各原始变量的线性组合；主成分的数目大大少于原始变量的数目；主成分保留了原始变量的绝大多数信息；各主成分之间互不相关。PCA是设法将原来众多具有一定相关性（比如p个指标），重新组合成一组新的互相无关的综合指标来代替原来的指标。通常数学上的处理就是将原来p个指标作线性组合，作为新的综合指标。但这种线性组合，如果不加限制，则可以有很多，

3、该如何选取？若将选取的第一个线性组合，即第一个综合指标记为F1，则希望F1尽可能多的反映原来指标的信息。“信息”用什么来表达？最经典的做法就是用F1的方差来表达，即Var(F1)越大，表示F1包含的信息越多。因此在所有的线性组合中所选取的F1应该是方差最大的，称F1为第一主成分。variance如果第一主成分F1不足以代表原来p个指标的信息，再考虑选取F2即选第二个线性组合。为了有效地反映原来信息，F1已有的信息就不需要再出现再F2中，用数学语言表达就是要求协方差Cov(F1,F2)=0，则称F2为第二主成分，依此类推可以构造出第三、第四，……，第p个主成分。主成分之间

4、不仅不相关，而且它们的方差依次递减。在实际工作中，一般挑选前几个最大主成分，虽然这会损失一部分信息，但由于抓住了主要矛盾，在实际问题的研究中得益比损失大。下面以二维的情况来直观的说明设某个产品质量以两个变量参数x1和x2来衡量。根据这两个变量的参数将产品质量的数据点绘在二维平面上。x1x2样本点间的差异显然是由于x1和x2的变化引起的，从图上看x1和x2的变化范围都相差不大。但如果将坐标轴进行旋转，不难看出样本点的差异主要体现在y1轴上，若y1所体现的差异占了大部分，譬如85%以上，那么我们可将y2忽略，只考虑y1，这样两个变量就缩减了一个，问题也就相对的简化了。y2y

5、1x1x2y2y1x1x2显然y1和y2都是x1和x2的线性组合，并且y1和y2相互正交，称y1和y2分别为变量(x1，x2)的第一主成分和第二主成分。数学模型设有n个样品，每个样品观测p项指标（变量），分别用X1，X2，…，Xp表示。将观测数据记为如下的原始数据资料矩阵：其中（i=1,…,p）用数据矩阵X的p个向量(即p个指标向量)X1，X2，…，Xp作线性组合，即综合指标向量为：简写成：（i=1,…,p）Fi也是n维向量（i=1,…,p）由于可以任意地对原始变量进行上述线性变换，由不同的线性变换得到的综合变量F的统计特性也不尽相同。因此为了取得较好的效果，总是希望F

6、i的方差尽可能大且各Fi之间互相独立。将线性变换约束在以下原则之下：Fi与Fj（i≠j；i，j=1,…,p）相互无关；F1是X1，…，Xp的一切线性组合（系数满足上述方程组）中方差最大者；F2是与F1不相关的X1，…，Xp所有线性组合中方差最大者；…；Fp是与F1，F2，…，Fp-1都不相关的X1，…，Xp所有线性组合中方差最大者。（i=1,…,p）；如何求满足要求的系数aij？数学上可以证明，满足上述要求的方程组的系数向量（a1i，a2i，…，api），i=1,…,p，恰好是X的协方差矩阵Σ的特征值所对应的特征向量。也就是说，使F1的方差Var(F1)达到最大时，这个

7、最大值是在协方差矩阵Σ的第一个特征值所对应的特征向量处达到。依此类推，使Fp的方差Var(Fp)达到最大值是在协方差矩阵Σ的第p个特征值所对应的特征向量处达到。说明数学模型中为什么作线性组合？数学上容易处理；在实践中效果很好。3.2PCA的几何意义从代数学观点看主成分就是p个变量X1，…，Xp的一些特殊的线性组合，而在几何上这些线性组合正是把X1，…，Xp构成的坐标系旋转产生的新坐标系，新坐标轴使之通过样品变差最大的方向（或说具有最大的样品方差）。为了方便，现在二维空间中讨论主成分的几何意义，所得结论可以很容易地扩展到多维的情况。设有n个