统计学10.线性回归分析

《统计学10.线性回归分析》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第十章线性回归分析变量之间的关系有两种：确定型的函数关系不确定型的函数关系这里主要研究不确定型的函数关系，如收入与受教育程度之间的关系，等等问题。但它们之间存在明显的相互关系（称为相关关系），又是不确定的。回归分析是研究随机变量之间相关关系的统计方法。其研究一个被解释变量（因变量）与一个或多个解释变量（自变量）之间的统计关系。例：人均收入X与人均食品消费支出Y的散点图的关系如图。1.一元线性回归是研究一个自变量与一个因变量的统计关系。一.一元线性回归人均收入X人均食品支出Y这两个变量之间的不确定关系，可

2、以用下式表示：式中，人均食品消费支出Y是被解释变量，人均收入X是解释变量，1，2是待估计参数；u是随机干扰项，且与X无关，它反映了Y被X解释的不确定性。如果随机干扰项u的均值为0，对上式求条件均值，有反映出从“平均”角度看，是确定性关系。例：地区的多孩率与人均国民收入的散点图如下：人均收入X多孩率Y这两个变量之间的不确定关系，大致可以用下式表示：设Z=LnX，可将上式线性关系为：线性回归的任务：就是用恰当的方法，估计出参数1，2，并且使估计出来的参数具有良好的统计特征，所以，回归问题从某种视角看

3、，视同参数估计问题。如果把X，Y的样本观测值代到线性回归方程中，就得到i=1,2,…,n,n为样本容量.从重复抽样的角度看，Xi，Yi也可以视为随机变量。2.高斯基本假设对于线性回归模型i=1,2,…,n,n为样本容量.高斯基本假设如下:ui为随机变量(本假设成立,因为我们研究就是不确定关系).E(ui)=0,随机干扰项的期望值等于零(本假设成立,如果其均值不是零,可以把它并入到1中).Var(ui)=2u,随机干扰项的方差等于常数(本假设有可能不成立,以后讨论不成立时如何处理).E(uiuj)=0

4、(ij)随机干扰项协方差等于零(本假设有可能不成立,以后讨论不成立时如何处理).(5)ui服从N(0,2u)分布;(6)E(Xiuj)=0,对Xi的性质有两种解释:a.Xi视为随机变量,但与uj无关,所以(6)成立.b.Xi视为确定型变量,所以(6)也成立.3.普通最小二乘法(OLS)设线性回归模型其中为1，2的估计值,则Y的计算值Ŷ,可以用下式表达:所要求出待估参数,要使Y与其计算值Ŷ之间的“误差平方和”最小.即：使得最小.为此,分别求Q对的偏导,并令其为零:由上两式,就可求出待估参数的值.4

5、.所求参数的计算公式的另一个表达式为:例:：在上述家庭可支配收入-消费支出例中，对于所抽出的一组样本数，参数估计的计算可通过下面的表进行。参数估计的计算表iXiYixiyiiyx2ix2iy2iX2iY1800594-1350-9731314090182250094750864000035283621100638-1050-92997587011025008637841210000407044314001122-750-445334050562500198381196000012588844170011

6、55-450-41218558020250017007428900001334025520001408-150-159239102250025408400000019824646230015951502841402250076252900002544025726001969450402180720202500161283676000038769618290020787505113829505625002607128410000431808493200258510501018106848011025001

7、0355101024000066822251035002530135096312995101822500926599122500006400900求和21500156745769300742500045900205365000029157448平均21501567因此，由该样本估计的回归方程为：5.几何解释残差向量e=Y–Ŷ=(Y-Y)-(Ŷ-Y)=y-ŷ向量y,ŷ,e三者之间关系如图所示,普通最小二乘法要使残差平方和e2i最小,也就是要使e的长度尽可能小,等价于在几何上ex.或者说,ŷ的长度应当是

8、y在x上的投影长度.yxe二.多元线性回归本节要研究一个被解释变量(因变量),多个解释变量(自变量)的线性模型,即1.基本假设u为随机变量向量；E(u)=0；cov(u)=E(uuT)=2uIn(包含了两个其本假设：一是不存在序列相关，即ij时,cov(ui,uj)=E(uiuj)=0;二是具有同方差性(齐次方差性),即Var(ui)=2u).(4)u~N(0,2uIn)(5)E(XTu)=0,或者,X为确定矩阵(6)秩(X)=k