资源描述：
《【精品】多元分析5.doc》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。
1、第五章主成分分析引言在实际问题的研究中，i方面为了获収充分多的信息，往往选择许多指标(变量)去进行观测。另一方而，希望能把多指标综合成尽可能少的几个综合指标，使分析简化。如人口普查往往要调査每个人的姓名、年龄、性别、文化程度、职业等，对企业的统计中，往往有产量、产值、品种、消耗、费用、成本、生产率、收入、利润等。主成分分析就是把多个指标化为少数几个综合指标的一种通曲适用的统计分析方法。如在“服装定型”研究中，耍加工一件上衣，需要测量身高、臂长、胸围等。§1主成分一、主成分的概念设X=(X1,X2,---,为随机向量，它的数学期望向量为//=0,协差阵为V>0,作标
2、准化的线性纽合，乙=0：x(即0Q=1),如果y,方差垠大，则称r,=pX为x的第一主成分；作标准化线性组合岭=0；X,如果Yr方差第r大且｝;与E(i=l,2,・・・,—l)不相关，则称Yr=/3；X为X的第I•个主成分(一般地，V>0,//=0,0；0「=1)o二、主成分的求法设X=(X],X2,…,X”)'，V>0,//=0,作标准化的线性组合Y=哄,则Y的方差为E(r2)=E(0'XX'f3)=0'E(X•X')0二0V0,那么求第一主成就是求在00=1条件下，使0V0最大，求0的条件极值。令0=0V0—2(00—1),求导后令其为零，理=2U0—220
3、=080GP(V-AE)/3=0(1)•・•07?=1・•.0H()故M—2科=0(2)求⑵的特征根2,>220'x(l)得：0'(U-2E)0=O即0V0=2故y=fJ'X的方差为；I,要使方差最大，取最大值入，因此X的第一主成分为其中01为对应入的标准化特征向量；若；I?为第二大，对应的标准化特征向量为02,则X的第二主成分为Y?=/3；X综上所述，从p个指标出发，求主成分步骤为:设资料矩阵为/尤11X2…XpXn2…Xnp⑴计算协差阵(或相关阵)V⑵求IV-AE=0的特征根：2,>22>•••>(3)求(V_2E)0=0的标准化特征向量肉，02，…,
4、0“(4)写出主成分：h=0：X(r=l,2,…,p)三、主成分的性质主成分向量Y=哄(00=E)G、其中0=(0】,02，・・・，0P)，记人=•••k'p丿1.若Y=/3'X,且阳=E,则Y的协差阵E(yyz)=/3(Vf3=A,且pl]A=••・<几p丿证：丁(J=1,2…，P)A=0A(*)0'x(*)得：0V0=00A又•••/3,/3=E:.0V0=p'/3=A即E(yy')=0V0=a就是说，Y的协差阵0V0为对■角阵A・・•
5、V一ZE
6、=
7、00
8、
9、V-AE=
10、0炉-征
11、
12、0
13、=
14、0V0-W=A-AE=f[3—A)/=!就是说，
15、V-AE
16、
17、=O的根2为A对角线上元素。1.若X=(X「X2,…,XJ,且V>0,//=0,则经正交变换Y=0：X(00=E)后,广义方差及各主成分方差之和都不变。证：•・・E(X)=O,E(XX')=V・••E(Y)=O,E(rr)=0V0于是，
18、0V0
19、=
20、0M
21、
22、0
23、=
24、00
25、
26、V
27、=
28、V
29、就是说，主成分向量Y的广义方差
30、0V0
31、等于原向量X的广义方差
32、V
33、又有^E(y2,)=rr(/?v/?)=tr(vm=tr(VE)=tr(V)二fE(X[)/=!/=!DP即=;=l/=1pp就是说，乞主成分Y方差和工人等于原有变量X方差和工匕，则nP个变量变成P/=!/=!个主成
34、分，其总方差没有变化。四、例题设市场上肉类X
35、,鸡蛋X2,水果X3,三种商晶价格的月份资料的协差阵为-2-4522V=25-2一4试求三种商品月份价格的主成分。解：
36、V-2E
37、=(2-10)(2-l)22,=10,22==I对应的标准化特征向量分别为:所求主成分分别为：
38、22K=-X.+—X.——X.13334272比=—X.+—x3-2~22a/27272K=^X.-—X.+—X33丨6一6其方差分别为：v（yI）=io,v（r2）=v（y3）=i第一主成分方差占总方差的83%,所以第一主成分综合反映了三种商品价格的绝大部分变动。§2主成分分析的方法一、样本主成
39、分…求样本主成分的步/设样本资料矩阵为x=（X],・・・,x”y=（©）,“=…骤为：（1）数据标准化Y_y作标准化变换：X）二仝丄上Si其中n*=1S2i=SH・=—!—V(xw-Xz)2(i=l,2,・・・,P;k=l,2,・・・,n)«_1Jt=i(2)计算协差阵或相关阵卩二巴)岭=丄^“或R=(»n-其中(2)求R的特征根及其标准化的特征向量：R-久科=0:入〉X)〉…〉0(R-花)0=0：0],02,…,0人(3)写出主成分:Yr=/?；X(厂=1,2,…,Q二、方差贡献率1•称为第j个主成分的方差贡献率Ea/=!2p如第一主成分乙=&X的方差入最大，
40、比值万亠表
