Reg-Ch2-10.ppt

《Reg-Ch2-10.ppt》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第二章一元线性回归例1:医院工时数资料数据来自于17个美国海军医院:其中Y:每月工时数X:每月病床占用天数2.1一元线性回归问题:Y和X之间是否存在关系?我们是否可以用X的值预测Y?数据图我们可以考虑如下的模型:y=b0+b1x+e(2.1)E(e)=0,Var(e)=s2.其中x:自变量(regressor)y:因变量(response)e:随机误差b0,b1,s2:未知参数b0,b1:回归系数s2:误差方差A.估计方法观测数据:(x1,y1),,(xn,yn)yi=b0+b1xi+ei,i=1,,n(2.2)e1,

2、,eni.i.d.,E(ei)=0,Var(ei)=s2我们要估计b0,b1和s2.若e的分布已知,可用极大似然估计(MLE).否则,可考虑最小二乘估计(LSE)和其他估计方法.我们需最小化所有的ei.L1–范数估计(2.3)最小二乘估计(2.4)稳健估计(2.5)最小二乘准则.....XY(Xi,Yi)ei(Xj,Yj)ej0B.最小二乘估计(LSE)记为了最小化Q=Q2,求导:把(2.8)代入(2.7)SXXb1=SXY(2.9)其中例1:医院工时数资料(续)=430421977/385202181=1.1174=47

3、98.4800-1.11744480.6180=-28.1286回归方程:例1:医院工时数资料(续)回归方程:补充.矩阵导数的定义一个多元函数y=f(x1,,xn)=f(x),xRn若偏导数y/xi(i=1,,n)都存在,我们记并称为y关于x的导数.2.2.用矩阵形式估计回归方程例1:y=xx=x12++xn2.例2:y=xAx,A=(aij):nn,固定矩阵我们有特别的当A=A为对称矩阵.例3:y=ax,记y=f(X)=f(x11,,x1m,x21,x2m,,xn1,xnm),X=(xnm):

4、nm.我们定义例4:y=tr(AX),其中A:mn,X:nm例5:y=tr(XAX),其中A:nn,X:nm用矩阵形式估计回归方程则线性模型(2.2)可表示为:y=Xb+e(2.10)而Q=(y-Xb)(y-Xb)Q(b)则规范方程为若XX非奇异(XX>0),则b的最小二乘估计为:由矩阵论的知识易知Q(b)在处达到最小.对称阵:转置可去掉=0则,q=Xb的估计其中H=X(XX)-1X称为帽子矩阵(HatMatrix).s2的估计Q(b)（bR2）的最小值为E(xAx)=tr(AS)+mAm其中E(

5、x)=m,Cov(x)=S则是s2的一个无偏估计.最大似然法（MaximumLikelihood,ML），也称最大似然法，是不同于最小二乘法的另一种参数估计方法，是从最大似然原理出发发展起来的其它估计方法的基础。基本原理：对于最小二乘法，当从模型总体随机抽取n组样本观测值后，最合理的参数估计量应该使得模型能最好地拟合样本数据。对于最大似然法，当从模型总体随机抽取n组样本观测值后，最合理的参数估计量应该使得从模型中抽取该n组样本观测值的概率最大。C.极大似然估计(MLE)将该似然函数极大化，即可求得到模型参数的极大似然估计量。

6、因为iY是相互独立的，所以Y的所有样本观测值的联合概率，也即似然函数(likelihoodfunction)为：),,…,(),ˆ,ˆ(21210nYYYPL=msbb21022)ˆˆ(21)2(1iinXYnebbsmmsp--S-=由于似然函数的极大化与似然函数的对数的极大化是等价的，所以，取对数似然函数如下：可见，在满足一系列基本假设的情况下，模型结构参数的最大似然估计量与普通最小二乘估计量是相同的。但是，随机误差项的方差的估计量是不同的。解似然方程0)ˆˆ(21221042*2=--S+-=iiXYnLbbss¶s¶

7、mmm即可得到sm2的最大似然估计量为：neXYniiiå=--S=22102)ˆˆ(1ˆbbsm2.3.LSE的性质A.无偏性B.方差和协方差则,其中(xi,yi)i=1,,nyi的总变差:来源:x:Regressor随机误差2.4变差总和的分解Dn的性质：1Dn为投影矩阵且秩为(n-1)：(A=A且A2=A)23当xRn且时,Dnx=xDn本质上是一个中心化算子(性质3)帽子矩阵:对称性H=H帽子矩阵:投影性H2=H则SSTotal=SSR+SSE对拟合模型我们会问如下问题:1.x是否真正影响y?2.模型是否拟合

8、的很好?3.该模型能否预测响应?假设:H0:b1=0,H1:b10若H0为真,E(y)=b0,而自变量没有影响y.有几种方法可检验该假设.2.5假设检验A.ANOVA(方差分析表)例2.1:医院工时数资料(续)B.相关系数假设:H0:=0VSH1:0例2.1:医院工时数资料(续)C