主成分分析PCA

《主成分分析PCA》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、主成分分析PCAPrincipalComponentAnalysis内容一、引子二、问题的提出三、主成分分析1.二维数据的例子2.PCA的几何意义3.均值和协方差、特征值和特征向量4.PCA的性质四、主成分分析的算法五、具体实例实例2六、结论21.引子•假定你是一个公司的财务经理，掌握了公司的所有数据，比如固定资产、流动资金、每一笔借贷的数额和期限、各种税费、工资支出、原料消耗、产值、利润、折旧、职工人数、职工的分工和教育程度等等。•如果让你介绍公司状况，你能够把这些指标和数字都原封不动地摆出去吗？•当然不能。实例1实例2•你必须要把各个方面作出高度概括，用一两个指标简单明了地把情况说清楚。3

2、PCA•多特征/属性问题是经常会遇到的。特征太多，无疑会增加分析问题的难度与复杂性.•在许多实际问题中，多个特征之间是具有一定的相关关系的。因此，能否在各个变量之间相关关系研究的基础上，用较少的新特征代替原来较多的变量，而且使这些较少的新特征尽可能多地保留原来较多的特征所反映的信息？事实上，这种想法是可以实现的.•主成分分析原理:是把原来多个特征化为少数几个特征指标的一种统计分析方法，从数学角度来看，这是一种降维处理技术。•主成分分析方法就是综合处理这种问题的一种强有力的方法。42.问题的提出在力求数据信息丢失最少的原则下，对高维的特征空间降维，即研究指标体系的少数几个线性组合，并且这几个线性

3、组合所构成的综合指标将尽可能多地保留原来指标变异方面的信息。这些综合指标就称为主成分。要讨论的问题是：(1)如何作主成分分析?当分析中所选择的变量具有不同的量纲，变量水平差异很大，应该选择基于相关系数矩阵的主成分分析。5各个变量之间差异很大6（2）如何确定主成分的数量。主成分分析的目的是简化特征空间，一般情况下主成分的个数应该小于原始特征的个数。关于保留几个主成分，应该权衡主成分个数和保留的信息。（3）如何解释主成分所包含的几何意义。7实例1:经济分析美国的统计学家斯通(Stone)在1947年关于国民经济的研究是一项十分著名的工作。他曾利用美国1929一1938年各年的数据，得到了17个反映

4、国民收入与支出的属性/特征要素，例如雇主补贴、消费资料和生产资料、纯公共支出、净增库存、股息、利息、外贸平衡等等。在进行主成分分析后，竟以97.4％的精度，用三个新属性就取代了原17个属性。8根据经济学知识，斯通给这三个新属性分别命名为总收入F1、总收入变化率F2和经济发展或衰退的趋势F3。更有意思的是，这三个属性其实都是可以直接测量的。9主成分分析就是试图在力保数据信息丢失最少的原则下，对这种多特征的数据表进行最佳综合简化，也就是说，对高维特征空间进行降维处理。很显然，识辨系统在一个低维空间要比在一个高维空间容易得多。10实例2:成绩数据•100个学生的数学、物理、化学、语文、历史、英语的

5、成绩如下表（部分）。11从本例可能提出的问题•目前的问题是，能不能把这个数据的6个属性用1～2个综合属性来表示呢？•这一两个综合属性包含有多少原来的信息呢？•能不能利用找到的综合属性来对学生排序呢？这一类数据所涉及的问题可以推广到对企业，对学校进行分析、排序、判别和分类等问题。123.1PCA:二维数据分析•例中的的数据点是六维的；也就是说，每个观测值是6维空间中的一个点。我们希望把6维空间用低维空间表示。13平均成绩73.769.861.372.577.272.36372.370单科平均74.1747066.473.663.3成绩14100data95M9085807570656064666

6、8707274767880828415•先假定数据只有二维，即只有两个特征，它们由横坐标和纵坐标所代表；因此每个观测值都有相应于这两个坐标轴的两个坐标值；•如果这些数据形成一个椭圆形状的点阵（这在特征的二维正态的假定下是可能的）.16平移、旋转坐标轴xF12.3F2••2•••••••主•••••成•••••分••••••分•••x•1析•••的•••几••何解释17平移、旋转坐标轴xF12主F2•成•分•••••分••••••••••••析••••的••••几•••x1何•••••解•••释18平移、旋转坐标轴xF12主F2成••••••分•••分•••••••析•••••的••几•••x1

7、•何•••••解••••释19平移、旋转坐标轴x2F1F主2•成••••••••••分•••••••••••分•••••••••析••••••••••••••••••••的•••••••••几••••••x1•••••••••••••何••••解•••••••••••释••••••203.2.PCA:进一步解释•椭圆有一个长轴和一4个短轴。在短轴方向上，20数据变化很少；在极端的-2情况，短轴如果