多元线性回归模型的参数估计ppt课件.ppt

《多元线性回归模型的参数估计ppt课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、一、回归分析与相关分析二、多元线性回归模型第二节多元线性回归模型的参数估计相关分析：提供了现象之间相关关系的方向和相关的密切程度方面的信息，但不提供现象之间如何关联方面的信息回归分析：提供现象之间如何关联的信息原则上：回归分析是在相关分析的基础上进行的一、回归分析与相关分析19世纪末，英国著名统计学家FrancisGalton研究孩子及他们父母的身高时发现，身材高的父母，他们的孩子也高，但这些孩子平均起来并不像他们的父母那样高；对于比较矮的父母，他们的孩子比较矮，但这些孩子的平均身高要比他们的父母的平均身高高。Galton把这种孩子的身高向中间值靠近的趋势称之为一种回归效应。回归这个

2、术语便开始传播开来。现在的回归分析已经没有原来的含义，但这种说法一直沿袭下来，重在表明这是研究数值变量之间关系的方法。回归的来历：“因变量”或“被解释变量”（dependentvariable）“解释变量”或“自变量”（independentvariables）随机变量回归的方法：建立回归模型用一个恰当的代数式来表达变量与随机变量的依存关系：一个自变量两个及两个以上自变量回归模型多元回归一元回归线性回归非线性回归线性回归非线性回归回归模型的类型：二、多元线性回归模型解释变量xi是确定性变量，不是随机变量；解释变量之间互不相关，即无多重共线性。随机误差项具有0均值和同方差1.模型的假设

3、特殊的：随机误差项服从0均值、同方差的正态分布2.多元模型的解析表达式行坐标——表示第几次观察列坐标——表示第几个自变量解释变量xi是确定性变量，不是随机变量；解释变量之间互不相关，即无多重共线性。线性回归模型”中的“线性”一词在这里有两重含义：一是被解释变量y与解释变量x之间为线性关系，即解释变量x仅以一次方的形式出现在模型之中。用数学语言表示为：二是被解释变量y与参数之间为线性关系，即参数仅以一次方的形式出现在模型之中。用数学语言表示为：3.多元模型的矩阵表达式三.多元线性回归模型的参数估计(OLS)参数值估计参数估计量的性质偏回归系数的含义正规方程样本容量问题1.参数值估计(最

4、小二乘估计----OLS)1.剩余平方和：2.最小二乘估计原理：剩余平方和达到最小值3.得到下列方程组求参数估计值的实质是求一个k+1元方程组4.剩余平方和表示成矩阵形式7.最小二乘估计量的性质（1）线性（估计量都是被解释变量观测值的线性组合）（2）无偏性（估计量的数学期望=被估计的真值）（3）有效性（估计量的方差是所有线性无偏估计中最小的）这一性质表明系数向量的各个分量间一般也是相关的．这一性质表明残差向量的各个分量间一般也是相关的．注解：k与k+1凡是按解释变量的个数为k的，那么共有k+1个参数要估计。而按参数个数为k的，则实际有k-1个解释变量。总之两者相差1而已！要小心所用的

5、k是什么意思！所以如果本来是用解释变量个数的k表示的要转换成参数个数的k则用k-1代换原来的k就可以了！6.偏回归系数的意义偏回归系数的含义是，在其他解释变量保持不变的条件下，该变量变化一个单位，被解释变量将平均发生偏回归系数大小的变动多元回归模型中的回归系数称为偏回归系数7.正规方程由最小二乘法得到的用以估计回归系数的线性方程组，称为正规方程正规方程的结构Y——被解释变量观测值nx1X——解释变量观测值（含虚拟变量nx(k+1)）X`X——设计矩阵（实对称(k+1)x(k+1)矩阵）X`Y——正规方程右端（k+1)x18.最小二乘估计（OLS）下回归线的性质9.多元回归模型参数估计

6、中的样本容量问题样本是一个重要的实际问题，模型依赖于实际样本。获取样本需要成本，企图通过样本容量的确定减轻收集数据的困难。最小样本容量：满足基本要求的样本容量最小样本容量n≥k+1满足基本要求的样本容量一般经验认为：n≥30或者n≥3(k+1)才能满足模型估计的基本要求。n≥3(k+1)时，t分布才稳定，检验才较为有效