ch5多元回归分析.pdf

《ch5多元回归分析.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、中国地质大学•北京数学教研室第五章多元回归分析§1一元线性回归变量之间的关系大致可以归纳为两类关系：确定性关系(函数关系)：变量之间存在着某种完全确定的关系。非确定性关系(统计关系)：变量之间由于受到某些随机因素的影响而呈现出一种不确定的关系。非确定性关系可以分为两大类：(1)相关关系：两个变量处于完全对等的位置，且两个变量皆为随机变量，常用相关系数来度量。如：数学成绩与外语成绩等。(2)回归关系：一个变量的变化是另一个变量变化的原因。如：消费量Y与可支配收入X之间便是一种回归关系。这样对应于一个x的值，y有多个不同的值相对应，x与y呈现出不确定

2、性的关系，此时：yfx(为随机因素)表现在图形上，xy,的点不是完全处于一条直线(或曲线)上，而是围绕在一条理论线的两旁变化。YX注：相关分析和回归分析都是研究和度量两个或两个以上变量之间的数量关系的方法，二者相辅相成又有区别。（1）相关分析不考虑变量间的因果关系，只度量变量间相互依存关系的密切程度，通常用相关系数来度量；（2）通常把研究回归模型时所采用的估计方法、检验方法及预测方法称为回归分析。包括（1）根据样本观测值对参数进行估计，求得回归方程；（2）对回归方程及参数估计值进行统计推断检验；（3）利用回归方程进行预测。1中国地

3、质大学•北京数学教研室两个变量具有回归关系，则一定是相关关系，但具有相关关系的变量却不一定具有回归关系。“回归”一词最初来源于生物学，英国生物学家F.Galton在研究身高的遗传问题时发现，就身高的平均意义而言，父辈的身高和子辈的身高之间存在着某种关系。K.Pearson通过对1000多个家庭作抽样调查，证实了F.Galton的结论。在统计中“回归”一词用来泛指变量之间的回归关系及回归分析方法，即根据解释变量的变化来估计或预测被解释变量的平均变化状态。一.一元线性回归模型一元线性回归模型的形式为：yx01其中0,1称为回归系数，

4、01x是系统因素，由解释变量可以解释的部分；为随机因素，即对y有着影响所有不确定因素的总和，通2常要求满足古典假定(Gauss假定):~N(0,)，称之为古典线性回归模型。假定已有样本观测值：xy1,1,xy2,2,xyn,n符合线性回归模型，则样本形式：yx（i1,2,n）i01ii且i满足（1）零均值：Ei0i1,2,n2（2）同方差：Vari（常数）i1,2,n（3）无序列相关：Cov(,ij)0(ij)，即i是相互独立的随机变量。通过这组样本点求出

5、0,1的估计值ˆ0,ˆ1，得到的拟合直线yˆˆˆx01称为样本回归线。而通过这些样本点可以得到很多条拟合直线，但是最佳的只有一条。二.参数的最小二乘法估计拟合残差2中国地质大学•北京数学教研室eyyˆy(ˆˆx)yˆˆxiiii01ii01i描述e1,e2,,en的综合影响有三条：(1)ei达到最小。由于ei出现正负抵消，所以不能保证所求拟合直线为最佳。(2)ei达到最小。消除了正负抵消的缺陷，但绝对值在数学处理上带来了不方便。(3)2e达到最小。既消除了正负抵消的影响，同时数学处理上是方i便的，且

6、突出了大的残差的影响。2因此得出拟合的原则：使得所有残差平方和ei达到最小，即最小二乘原则。2Qˆ,ˆe2yˆˆx01ii01iQˆ,ˆ由极值原理知，01达到最小的一阶条件为Qˆ0,ˆ12yiˆ0ˆ1xi0ˆ0Qˆ,ˆ012yiˆ0ˆ1xxii0ˆ1整理得yiˆ0ˆ1xi0(1)yˆ0ˆ1xx0(2)iii由式(1)得ynˆˆx0i01i即ˆ1yˆ1xyˆx0i1i1（3）nn将

7、式(3)代入式(2)得：xyiiyˆ1xˆ1xixi[yiyˆ1xix]3中国地质大学•北京数学教研室xyiiyˆ1xxiix0ˆxyiiy从而1xxiix为方便，采用离差形式2Lxxxix22xixxixxxixxxiixxinxLxyxixyiyxixyiyxyiyxyiiyxyiinxy222Lyyyiyyinyˆxyiiy

8、Lxy所以1xxiixLxx得到参数估计值Lˆxy(4)1Lxxˆyˆx(5)01从而得到样本回归