典型相关分析.doc

《典型相关分析.doc》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、1典型相关分析内涵1.1典型相关分析基本概念典型相关分析（canonicalcorrelationanalysis）是利用综合变量对之间的相关关系来反映两组指标之间的整体相关性的多元统计分析方法。它的基本原理是：为了从总体上把握两组指标之间的相关关系，分别在两组变量中提取有代表性的两个综合变量U1和V1（分别为两个变量组中各变量的线性组合），利用这两个综合变量之间的相关关系来反映两组指标之间的整体相关性。典型相关分析是由霍特林(Hotelling,1935,1936)首先提出的。典型相关分析的目的是识别

2、并量化两组变量之间的联系，将两组变量相关关系的分析，转化为一组变量的线性组合与另一组变量线性组合之间的相关关系分析。目前，典型相关分析已被广泛应用于心理学、市场营销等领域，如用于研究个人性格与职业兴趣的关系，市场促销活动与消费者响应之间的关系等。1.2典型相关分析的基本思想典型相关分析的基本思想和主成分分析非常相似。首先在每组变量中找出变量的一个线性组合，使得两组的线性组合之间具有最大的相关系数。然后选取相关系数仅次于第一对线性组合并且与第一对线性组合不相关的第二对线性组合，如此继续下去，直到两组变量之

3、间的相关性被提取完毕为止。被选出的线性组合配对称为典型变量，它们的相关系数称为典型相关系数。典型相关系数度量了这两组变量之间联系的强度。一般情况，设、是两个相互关联的随机向量，分别在两组变量中选取若干有代表性的综合变量Ui、Vi，使得每一个综合变量是原变量的线性组合，即：为了确保典型变量的唯一性，我们只考虑方差为1的、的线性函数与，求使得它们相关系数达到最大的这一组。若存在常向量，，在的条件下，使得达到最大，则称、是、的第一对典型相关变量。求出第一对典型相关变量之后，可以类似的求出各对之间互不相关的第二

4、对、第三对等典型相关变量。这些典型相关变量就反映了，之间的线性相关情况。这里值得注意的是，我们可以通过检验各对典型相关变量相关系数的显著性，来反映每一对综合变量的代表性，如果某一对的相关程度不显著，那么这对变量就不具有代表性，不具有代表性的变量就可以忽略。这样就可以通过对少数典型相关变量的研究，代替原来两组变量之间的相关关系的研究，从而容易抓住问题的本质。2典型相关分析原理及方法设有两组随机向量，代表第一组的p个变量，代表第二组的q个变量，假设p≤q。令根据典型相关分析的基本思想，要进行两组随机向量间的

5、相关分析，首先要计算出各组变量的线性组合——典型变量，并使其相关系数达到最大。因此，我们设两组变量的线性组合分别为：易见我们希望寻找使相关系数达到最大的向量与，由于随机向量乘以常数时并不改变它们的相关系数，所以，为防止结果的重复出现，令那么，（9.2）问题就成为在（9.1）式的约束条件下，求使，达到最大的系数向量与。根据条件极值的求法引入Lagrange乘数，将问题转化为求（9.3）的极大值，其中λ，ν是Lagrange乘数。根据求极值的必要条件得（9.4）将（9.4）方程组的二式分别左乘与则得即有因为

6、，所以，知为线性组合，的相关系数。用代替方程组中的，则（9.4）方程组写为：（9.5）假定各随机变量协差阵的逆矩阵存在，则由方程组（9.5）式中的第二式，可得：（9.6）将（9.6）式代入方程组（9.5）式的第一式，得即有（9.7）同理，由方程组（9.4）式可得（9.8）用和分别左乘（9.7）和（9.8）式，得（9.9）即（9.10）由此可见，和具有相同的特征根，，则是其相应的特征向量。为了表示方便，令其中为p×p阶矩阵，为q×q阶矩阵。因为，求最大值也就是求的最大值，而求的最大值又转化为求和的最大特征

7、根。可以证明，和的特征根和特征向量有如下性质：1.和具有相同的非零特征根，且所有特征根非负。2.和的特征根均在0～1之间。3.设和的非零特征根为，，为对应于的特征向量，为对应于的特征向量。由于我们所求的是最大特征根及其对应的特征向量，因此，最大特征根对应的特征向量和就是所求的典型变量的系数向量，即可得我们称其为第一对典型变量，最大特征根的平方根即为两典型变量的相关系数，我们称其为第一典型相关系数。如果第一典型变量不足以代表两组原始变量的信息，则需要求得第二对典型变量，即显然，要求第二对典型变量也要满足如

8、下约束条件：（9.11）除此之外，为了有效测度两组变量的相关信息，第二对典型变量应不再包含第一对典型变量已包含的信息，因而，需增加约束条件：（9.12）在（9.11）和（9.12）式的约束条件下，可求得其相关系数的最大值为上述矩阵和的第二大特征根的平方根，其对应的单位特征向量，就是第二对典型变量的系数向量，称和为第二对典型变量，为第二典型相关系数。类似地，依次可求出第对典型变量：和，其系数向量和分别为矩阵和的第特征根对应的特征向量。即为第典