清华大学系统工程11 (7).ppt

《清华大学系统工程11 (7).ppt》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、系统工程导论授课时间：2009年春季学期胡坚明副教授第五章主成分分析方法§5.1引言§5.2主成分分析基本原理§5.3主成分的计算方法及有关性质§5.4主成分的计算方法证明例：一批龟壳化石的长、宽、高数据，请将全部乌龟分为三类123456789101112939496101102103104106107112113114747880848581838382898886373535393837393938404040样本长宽高5.1引言若存在一个线性关系或者或者或者观察：长、宽、高之间近似存在线性关系只需要根据两个变量分类！5.1引言或者或者或者若存在两个线性关系只需要根据一个

2、变量分类5.1引言据长分类123456789101112939496101102103104106107112113114747880848581838382898886373535393837393938404040样本长宽高据高分类44据宽分类55根据什么变量分类较好？455.1引言任取只要有关向量线性无关，就成立若存在两个线性关系，例如5.1引言一般性建模问题使得和如果变量间近似线性相关，则存在低维向量所以，一旦知道，于是的样本数据，可考虑低维问题5.1引言主成分分析试图从样本点×定量变量的数据表中，找出最为关键的少数综合变量，能与原有系统数据保持很高的一致性。实际采用

3、降维方法（如20维降为2维），只选择起最主要作用的自变量和因变量来建模。在数学上，可以看成将坐标做平移和旋转变换，使得新坐标的原点与样本数据群的重心重合，第一轴（称为第一主轴u1）与数据变异最大的方向对应；第二轴与数据变异次大的方向对应……依此类推。经有效舍弃后，主轴u1u2…up能十分有效地表示原数据的变异情况。5.2主成分分析基本原理u1u2x1x2Og主成分分析几何意义：平移＋旋转，使得样本点在第一主轴的方差最大5.2主成分分析基本原理变量的样本均值变量的样本方差基本准则：分类变量的分散程度越大越有利变量的分散程度可用其样本方差表示5.2主成分分析基本原理确定分类变量的

4、基本方式5.2主成分分析基本原理辅助措施：对组合变量施加规范化约束措施1：对原始变量的尺度规范化措施2：对组合参数的尺度规范化5.2主成分分析基本原理最终的优化模型其中该问题的最优解就是这组样本数据的第一主成分5.2主成分分析基本原理在当前情况下用第一主成分分类最有利！因为由线性关系仍可得到5.2主成分分析基本原理任取只要有关行向量线性无关，就成立若仅存在一个线性关系，例如5.2主成分分析基本原理类似于前面的讨论，可求解措施3：保证两个组合向量线性无关！5.2主成分分析基本原理最终模型最优解就是第一和第二主成分5.2主成分分析基本原理给定一组样本数据：一般情况首先求出其规格化

5、的数据：5.2主成分分析基本原理确定m个主成分的优化模型为5.2主成分分析基本原理符号约定：5.2主成分分析基本原理5.2主成分分析基本原理因为5.2主成分分析基本原理结论：用表示的顺序递减的特征根，是它们对应的规范化的特征向量，则所求主成分为5.3主成分的计算方法及有关性质主成分的样本均值主成分的样本方差5.3主成分的计算方法及有关性质主成分的样本方差之和5.3主成分的计算方法及有关性质样本相关矩阵因为所以5.3主成分的计算方法及有关性质分类变量的个数选择准则设定方差阈值选择最小的m，满足取前m个主成分为分类变量5.3主成分的计算方法及有关性质乌龟数例的计算结果取第一个主成

6、分为分类变量5.3主成分的计算方法及有关性质-2.4310-2.4410-2.00230.23490.1351-0.64670.34750.51340.14072.14872.09531.9055123456789101112939496101102103104106107112113114747880848581838382898886373535393837393938404040样本长宽高主成分分类结果{1-3}{4-9}{10-12}5.3主成分的计算方法及有关性质考虑下述优化问题为符号简便，用代替5.4主成分的计算方法证明存在矩阵满足基本出发点：实对称矩阵的正交对角

7、分解5.4主成分的计算方法证明记q(k)是XXT的第k大的特征向量对应的特征根5.4主成分的计算方法证明5.4主成分的计算方法证明令注意所以5.4主成分的计算方法证明5.4主成分的计算方法证明记5.4主成分的计算方法证明引理1若满足约束，则成立5.4主成分的计算方法证明证明因为所以另外，显然成立5.4主成分的计算方法证明因为记5.4主成分的计算方法证明的对角线元素大于或等于0证明结束引理2若满足约束，则成立5.4主成分的计算方法证明证明如果m=n，如果m