资源描述：
《聚类分析 主成分分析和典型相关分析 含matlab程序》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。
1、第十二章回归分析前面我们讲过曲线拟合问题。曲线拟合问题的特点是，根据得到的若干有关变量的一组数据，寻找因变量与（一个或几个）自变量之间的一个函数，使这个函数对那组数据拟合得最好。通常，函数的形式可以由经验、先验知识或对数据的直观观察决定，要作的工作是由数据用最小二乘法计算函数中的待定系数。从计算的角度看，问题似乎已经完全解决了，还有进一步研究的必要吗?从数理统计的观点看，这里涉及的都是随机变量，我们根据一个样本计算出的那些系数，只是它们的一个（点）估计，应该对它们作区间估计或假设检验，如果置信区间太大，甚至包含了零点，那么系数的估
2、计值是没有多大意义的。另外也可以用方差分析方法对模型的误差进行分析，对拟合的优劣给出评价。简单地说，回归分析就是对拟合问题作的统计分析。具体地说，回归分析在一组数据的基础上研究这样几个问题：（i）建立因变量y与自变量x,x,L,x之间的回归模型（经验公式）；12m（ii）对回归模型的可信度进行检验；（iii）判断每个自变量x(i=1,2,L,m)对y的影响是否显著；i（iv）诊断回归模型是否适合这组数据；（v）利用回归模型对y进行预报或控制。§1数据表的基础知识1.1样本空间在本章中，我们所涉及的均是样本点×变量类型的数据表。如果
3、有m个变量x,x,L,x，对它们分别进行了n次采样（或观测），得到n个样本点12m(x,x,L,x)，i=1,2,L,ni1i2im则所构成的数据表X可以写成一个n×m维的矩阵。T⎡e⎤1⎢⎥X=(x)=Mijn×m⎢⎥⎢eT⎥⎣n⎦Tm式中e=(x,x,L,x)∈R，i=1,2,L,n，e被称为第i个样本点。ii1i2imi样本的均值为n1x=(x1,x2,L,xm)，xj=∑xij，j=1,2,L,mni=1样本协方差矩阵及样本相关系数矩阵分别为n1TS=(sij)m×m=∑(ek−x)(ek−x)n−1k=1⎛s⎞R=(r)
4、=⎜ij⎟ijm×m⎜ss⎟⎝iijj⎠其中-226-n1sij=∑(xki−xi)(xkj−xj)n−1k=11.2数据的标准化处理（1）数据的中心化处理数据的中心化处理是指平移变换，即*x=x−x，i=1,2,L,n；j=1,2,L,mijijj该变换可以使样本的均值变为0，而这样的变换既不改变样本点间的相互位置，也不改变变量间的相关性。但变换后，却常常有许多技术上的便利。（2）数据的无量纲化处理在实际问题中，不同变量的测量单位往往是不一样的。为了消除变量的量纲效应，使每个变量都具有同等的表现力，数据分析中常用的消量纲的方法，
5、是对不同的变量进行所谓的压缩处理，即使每个变量的方差均变成1，即*x=x/sijijjn12其中sj=∑(xij−xj)。n−1i=1还可以有其它消量纲的方法，如**x=x/max{x}，x=x/min{x}ijijijijijijii**x=x/x，x=x/(max{x}−min{x})ijijjijijijijii（3）标准化处理所谓对数据的标准化处理，是指对数据同时进行中心化－压缩处理，即x−x*ijjx=，i=1,2,L,n，j=1,2,L,m。ijsj§2一元线性回归2.1模型一元线性回归的模型为y=β+βx+ε，（1）
6、012式中，β,β为回归系数，ε是随机误差项，总是假设ε~N(0,σ)，则随机变量012y~N(β+βx,σ)。01若对y和x分别进行了n次独立观测，得到以下n对观测值(y,x)，i=1,2,L,n（2）ii这n对观测值之间的关系符合模型y=β+βx+ε，i=1,2,L,n（3）i01i这里，x是自变量在第i次观测时的取值，它是一个非随机变量，并且没有测量误差。i2对应于x，y是一个随机变量，它的随机性是由ε造成的。ε~N(0,σ)，对于不同iiii的观测，当i≠j时，ε与ε是相互独立的。ij2.2最小二乘估计方法-227-2.2
7、.1最小二乘法用最小二乘法估计β,β的值，即取β,β的一组估计值βˆ,βˆ，使y与010101iyˆ=βˆ+βˆx的误差平方和达到最小。若记i01n2Q(β0,β1)=∑(yi−β0−β1xi)i=1则n2Q(βˆ0,βˆ1)=minQ(β0,β1)=∑(yi−βˆ0−βˆ1xi)β0,β1i=1显然Q(β,β)≥0，且关于β,β可微，则由多元函数存在极值的必要条件得0101n∂Q=−2∑(yi−β0−β1xi)=0∂β0i=1n∂Q=−2∑xi(yi−β0−β1xi)=0∂β1i=1整理后，得到下面的方程组nn⎧⎪nβ0+β1∑
8、xi=∑yi⎪i=1i=1⎨（4）nnn⎪2β0∑xi+β1∑xi=∑xiyi⎪⎩i=1i=1i=1此方程组称为正规方程组，求解可以得到n⎧⎪∑(xi−x)(yi−y)⎪βˆ=i=1⎪1n⎨(x−x)2（5）∑i⎪i=1⎪⎪βˆ=y−βˆx⎩01称
