线性回归分析

《线性回归分析》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、线性回归分析公共卫生学院一.前言回归分析的目的:设法找出变量间的依存(数量)关系,用函数关系式表达出来二、基本概念1、应变量（dependentvariable)2、自变量（independentvariable）3、一元线性回归直线回归方程的模型是：yi=a+bxi+ei其中（１）a是截距（２）b是回归系数(regressioncoefficient)（回归直线的斜率）回归系数的统计学意义是：自变量每变化一个单位，应变量平均变化的单位数．（３）ei是残差因此直线回归方程的一般形式是：其中是应变量y的预测

2、值或称估计值。4、多元线性回归多元线性回归方程模型为：yi=b0+b1x1i+b2x2i+…+bnxni+ei其中b0是常数项，是各自变量都等于0时，应变量的估计值。有时，人们称它为本底值。b1，b2，…，bn是偏回归系数(pertialregressioncoefficient)，其统计学意义是在其它所有自变量不变的情况下，某一自变量每变化一个单位，应变量平均变化的单位数。如果所有参加分析的变量都是标准化的变量，这时b0就等于0，b1，b2，…，bn就变成了标准化偏回归系数，用符号b1‘，b2’，…，b

3、n‘表示。bi’=bi*sxi/sy由于bi’没有量纲，因此可以相互比较大小，反映自变量的相对作用大小。(3)ei是残差多元线性回归方程的一般形式是：其中的符号含义同前。三、理论假设自变量x与应变量y之间存在线性关系；正态性：随机误差（即残差）e服从均值为0，方差为２的正态分布；等方差：对于所有的自变量x，残差e的条件方差为２，且为常数；独立性：在给定自变量x的条件下，残差e的条件期望值为0（本假设又称零均值假设）；无自相关性：各随机误差项e互不相关；残差e与自变量x不相关：随机误差项e与相应的自变

4、量x不相关；无共线性：自变量x之间相互独立．四、回归方程的建立散点图奇异点（ouliers）最小二乘法（leastsquare,LS）残差平方和（sumofsquaresforresiduals）一元线性回归时，计算比较简单：多元线性回归时，比较复杂，一般需要用计算机处理。五、线性回归的检验１、回归方程的检验方差分析法：应变量的总变异可分解为回归平方和(regressionsumofsquares)：可用线性回归解释的部分剩余平方和(residualsumofsquares)：即残差平方和，不能用线性回归

5、解释的部分以上三部分的自由度分别为n-1，m和n-m-1。其中，n为样本数，m为自变量数。方差分析的假设为一元线性回归：H0:=0　　　H1:0多元线性回归：H0:1=2=…=m=0H1:1，2，…，m中至少有一个不等于零因此方差分析的结论是线性回归方程是否显著，是否有意义。２、回归／偏回归系数的检验检验回归系数是否为零，每一个偏回归系数是否为零。用t检验方法。统计量自由度结论：回归／偏回归系数是否有意义，是否为零；对应的自变量是否有意义。３、常数项（截距）的检验检验常数项（截距）是否为

6、零。用t检验方法。一元线性回归：H0:=0　　　　　　H1:0多元线性回归：H0:0=0　　　　H1:00４、模型的预测效果检验亦称回归模型的拟合优度检验。检验回归模型对样本数据的拟合程度。决定系数（determinationcoefficient）（Rsquare）调整（校正）决定系数（adjustedRsquare）复相关系数R（multiplecorrelationcoefficient）５、线性回归适用性检验（１）回归模型残差的正态性检验残差的直方图残差的累积概率图（P-P图）（２）回

7、归模型残差的独立性检验用Durbin--Watson检验，其参数称为Dw或D。D的取值范围是02，残差与自变量负相关。（３）残差的方差齐性检验以上都是对残差的分析，称为残差分析。残差分析还可以１）检出奇异点２）评判预测效果。（４）共线性诊断共线性（collinearity）共线性的危害共线性的鉴别容差（tolerance）方差膨胀因子（varianceinflationfactor）六、自变量的选择强迫引入法（Ente

8、r）强迫剔除法（Remove）前进法（Forward）后退法（Backward）逐步向前法（Forwardstepwise）逐步向后法（Backwardstepwise）七、线性回归的应用预测控制鉴别影响因素八、线性回归分析实例九、线性回归分析的注意事项应用条件样本量自变量的观察范围分类／等级变量谢谢！