多元统计分析第2章.pdf

《多元统计分析第2章.pdf》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第2章矩阵代数与随机向量2.1引言在第1章中我们看到，多元数据能方便地用一个数字阵列来表示。一般地，一个n行p列的矩形数字阵列称为n乘p维矩阵。矩阵代数的应用将给多元方法的研究带来很多便利。本章所提供的一些矩阵代数结论将使我们能简明地表述统计模型。此外，用矩阵表示的各种关系很容易在计算机上编程，从而使一些重要的统计量的计算可由程序来完成。2.2矩阵和向量代数基础向量：由n个实数组成的一个数组称为向量，写做向量在几何上可以表示为一个n维有向线段，对于n=3的情形，可以图2.1说明向量可通过乘一个常数c来实现伸长和缩短。见图2.2（

2、a）两个向量可以相加，定义为上式，其几何解释见图2.2（b）一个向量既有方向又有长度，考虑n=2维情形下的向量它的长度定义为：一个二维向量的长度在几何上可视为直角三角形的长度，有n个分量的向量的长度可用下式定义：向量乘以标量c之后其长度发生改变，若c>0,常数c乘以向量不改变其方向，然而负数c乘以向量则产生一个与该向量相反的向量。第二个几何概念是角两个向量之间的夹角θ，两个向量之间的夹角θ由下式定义：引入两个向量的内积，根据内积定义和式（2-3），有利用内积，就能将n个分量的向量的长度和夹角自然地推广为，仅当，即

3、x与y相互垂直。如果存在不全为零的常数，使得就说这对向量线性相关。投影向量x在向量y上的投影为其中向量的长度为1，投影的长度为其中是x与y间的夹角（见图2.5）矩阵由实数组成的任何矩形数表称为矩阵。我们将一个n行p列的任意数表表示成’矩阵的转置运算A把列和行互换。矩阵也可乘以常数c，乘积cA也是矩阵，其元素为矩阵A的每个元素乘c后所得结果，即相同维数的两个矩阵A和B可以相加，矩阵和为对应元素相加。矩阵乘积AB矩阵乘积AB，其中第i行第j列元素是A的第i行与B的第j列的内积，即例如，当k=4对称阵和逆矩阵’对于一个方阵

4、A，如果A=A，则称此方阵为对称阵。当两个方阵A和B维数相同时，两个乘积AB和BA均有定义，尽管它们未必相等。单位矩阵I，表示主对角线元素均为1，其余元素均为0的方阵。如果存在矩阵B，使得-1则称B为A的逆矩阵，并记作A特征值和特征向量另一类特殊的方阵是正交矩阵，其特征为一个方阵A，如果有则说方阵A具有特征值λ和对应的非零特征向量x.我们可以选择特征向量，使其满足且互相垂直，除非两个或多个特征值是相等的。2.3正定矩阵一个对称阵A的谱分解表示为：其中λ是A的特征值，e是相对应的标准化特征向量。ii谱分解是一种重要的

5、分析工具，利用它可以顺利地论证某些统计学结论，首先，我们研究距离的矩阵解释。设k×k对称矩阵A对一切，满足则称A是非负定的。如果对一切向量，有则称A是正定的。称为二次型。运用谱分解，很容易证明，当且仅当A的所有特征值均大于零时，对称矩阵A是正定矩阵。当且仅当A的所有特征值大于或等于零时，A是非负定阵。利用第1章中介绍的距离公式[式（1-22）]，假定对所有的，有，则到原点的距离满足一般公式令，，有从式（2-19）可见，对称阵A是正定的。总之，距离是由一正定二次型所确定的。反过来，一个正定二次型可以解释为一个距离的平方。评

6、注：从x到任意一个固定点的距离的平方表示为矩阵A的特征值和特征向量的几何解释例如，设p=2，则到原点的距离为常数c的点，满足按照谱分解现在，令，是一个椭圆。易证，满足，同样，给出了沿e方向的适当距离。2因此，距离为c的点落在椭圆上，它的轴由A的特征向量给出，其长度与特征值得平方根的倒数成比例如果p>2，到原点距离为常数的点落在超椭圆球上，其轴由A的特征向量给出。沿e方向的半轴长等i于，其中λ为A的特征值。i2.4平方根矩阵设A是k×k正定矩阵，有谱分解。设标准化特征向量是另一矩阵的列向量，有其中，且∧为如下对角矩阵因为，

7、有平方根矩阵2.5随机向量和矩阵随机向量是元素为随机变量的向量。类似地，随机矩阵是元素为随机变量的矩阵。随机矩阵X的期望值E(X)，如下其中，矩阵的每个元素2.6均值向量和协方差矩阵p×1随机向量X的均值和协方差可以用矩阵形式表示。或者设总体相关矩阵是p×p对称阵并设p×p标准差矩阵是分块协方差矩阵一般的说，可把含有p个特征的p×1维随机向量X划分成大小分别为q和p-q的两类。例如，可以写成随机变量线性组合的均值和协方差阵分块样本均值向量和协方差矩阵2.7矩阵不等式和极大化