现代回归分析方法.ppt

现代回归分析方法.ppt

ID:48752140

大小:933.00 KB

页数:178页

时间:2020-01-21

现代回归分析方法.ppt_第1页
现代回归分析方法.ppt_第2页
现代回归分析方法.ppt_第3页
现代回归分析方法.ppt_第4页
现代回归分析方法.ppt_第5页
资源描述:

《现代回归分析方法.ppt》由会员上传分享,免费在线阅读,更多相关内容在行业资料-天天文库

1、现代回归分析方法上海财经大学统计系韩小亮目的:回归分析研究的是一个变量(应变量)和其他变量(自变量)之间的关系.其目的可能是:1.确定哪些变量有关及其程度;2.预测;3.找出最优的组合;4.控制;5.寻求合适的数学模型;6.评估两个或两个以上因素的交互影响等等.1.回归分析(RegressionAnalysis)数据资料(data)应变量(response)自变量(independentvariables,predictorvariables)这里n是记录数目,k是自变量数目(包括常数项).基本模型:2.线性回归(Lin

2、earRegression)模型:Y=X+这里X是Z的函数(已知),是未知参数向量,是误差项也就是说有线性模型的假设:1.正态分布;2.互相独立;3.同方差;4.一个随机误差项;5.系统影响的相加性(additivityofsystematiceffects);6.资料完整.参数估计():最小二乘估计→有(注意:这里没有用到正态分布的假定)极大似然估计这里在正态分布的假定下这个估计是所谓BLUE的.估计量的分布残差平方和的分布→方差的估计:(矩估计)显著性1。模型的显著性,即检验假设使用统计量当为真时2。某个因

3、素的显著性,即检验假设定义对称方阵设为其对角元素,则有检验统计量当成立时模型选择(变量数目)当两个模型有嵌套的(nested)关系时,可以用下述F检验来决定取舍模型1:模型2:当为真时这里是回归平方和,是残差平方和.方差分析表拟合优度确定系数:R2statistic:R2c(adjustR2):UnderH0:1=2=…=p-1=0(testR2exactlyequivalenttoFtest)应变量的变换(transformationofresponse)目的:1。正态分布(对称);2。同方差;3。相加性。异方差

4、或者不独立加权最小二乘估计:假如Y=X+~N(0,2V)而且V已知,则存在满秩对称矩阵PPTP=PP=P2=V且有P-1~N(0,2In)即P-1Y

5、X~N(P-1X,2In)对P-1Y=P-1X+P-1取最小二乘估计,得^=(XTV-1X)-1XTV-1Y称之为加权最小二乘估计(weightedleastsquareestimator)有^~N(,2(XTV-1X)-1)3.共线性 (Multicollinearity,collinearity)这里主要讨论“几乎”共线性,顺便也讨论一下精确

6、的共线性定义:自变量之间存在强烈的线性关系。精确地说,存在使或对至少一个k成立.迹象:XTX至少有一个很小的特征值(≈0)注意:λj≥0forj=1,2,…,p(这里λj是XTX的特征值).影响:典型的影响是使参数估计的方差增大从而使整个估计不精确.总的说来:Var(^)=2(XTX)-1具体地说:Var(^j)=forj=0,1,…,p-1这里R2j是即其它自变量对自变量j回归的确定系数.线性回归的理想要求是:Y对X有很强的线性关系,而X之间有较弱的线性关系.共线性的测度(1)VIF(varianceinflat

7、ionfactor)VIFj=1/(1-R2j)forj=0,1,2,…,p-1.当max(VIFj)≥10时,有共线性问题(这是经验公式,无精确理论基础)注意:VIF0≡1/(1-R20)其对应模型是此模型右边无常数项.(2)ConditionNumber这里λ(j)是按大小排列的矩阵XTX的特征值.当κ>1000时,可能有严重的共线性问题.(3)ConditionIndexforj=2,3,…,pConditionIndex能发现多于一个的共线性关系.经验公式:列出所有的κj≥100.解决方法(1)  从模型中除去一

8、些变量(例如对应于比较大的VIFj的Xj).这个问题与变量选择和模型确定的方法有关;如果βj≠0,则剔除βj会导致,即最小二乘估计成为有偏估计.(2)  主成分回归(PrincipalComponentRegression)Y=X+=X(UUT)+=(XU)(UT)+≡Gα+这里U是XTX的特征向量矩阵(XTX=UΛUT);G=XU(G称为主成分principalcomponent)α=UT这时α的LS估计是α^=(GTG)-1GTY=Λ-1GTY→β^=Uα^如果把G去掉(p-r)列(比如说对应于较小的

9、λi),记为G(r),G(r)=XU(r),取α~=(GT(r)G(r))-1GT(r)Yβ~=U(r)α~=U(GT(r)G(r))-1GT(r)Y称之为主成分估计(principalcomponentestimator).这时有SV(β~)=2SMSE(β~)=2即这个估计是有偏的(除非α2i=0i=r+1,

当前文档最多预览五页,下载文档查看全文

此文档下载收益归作者所有

当前文档最多预览五页,下载文档查看全文
温馨提示:
1. 部分包含数学公式或PPT动画的文件,查看预览时可能会显示错乱或异常,文件下载后无此问题,请放心下载。
2. 本文档由用户上传,版权归属用户,天天文库负责整理代发布。如果您对本文档版权有争议请及时联系客服。
3. 下载前请仔细阅读文档内容,确认文档内容符合您的需求后进行下载,若出现内容与标题不符可向本站投诉处理。
4. 下载文档时可能由于网络波动等原因无法下载或下载错误,付费完成后未能成功下载的用户请联系客服处理。