回归模型的参数估计

《回归模型的参数估计》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第二节回归模型的参数估计一、最小二乘估计（OLS）⒈选择最佳拟合曲线的标准从几何意义上说，样本回归曲线应尽可能靠近样本数据点。选择最佳拟合曲线的标准可以确定为：使总的拟合误差（即总残差）达到最小。用最小二乘法描述就是：所选择的回归模型应该使所有观察值的残差平方和达到最小。⒉OLS的基本思路不同的估计方法可得到不同的样本回归参数和，所估计的也不同。理想的估计方法应使和的差即残差越小越好。因为可正可负，所以可以取最小，（选择平方的原因：介绍）即：⒊估计过程在离差平方和的表达式中，被解释变量的观测值和解释变

2、量都是已知的，因此可以将看作是未知参数的函数。计算此函数对的一阶偏导数，可得：得到：此方程组为正规方程组，解此方程组得：其中，案例2.1&2.2课本p24、p27EViews软件操作二、最小二乘估计的性质㈠参数估计式的评价标准⒈无偏性前提：重复抽样中估计方法固定、样本数不变、经重复抽样的观测值，可得一系列参数估计值。参数估计值的分布称为的抽样分布，其密度函数记为f()如果E()=称是参数的无偏估计式，是另一种方式产生的模型参数的估计量，抽样分布为，若的期望不是等于的真实值，则称是有偏的，偏倚为E()-

3、，见下图概率密度偏倚图2.6⒉最小方差性（有效性）前提：样本相同、用不同的方法估计参数，可以找到若干个不同的估计式。目标：努力寻求其抽样分布具有最小方差的估计式——最小方差准则，或称最佳性准则。见下图有效性衡量了参数估计值与参数真值平均离散程度的大小。既是无偏的同时又具有最小方差的估计式，称为最佳无偏估计式。概率密度图2.7⒊一致性思想：当样本容量较小时，有时很难找到最佳无偏估计，需要考虑扩大样本容量（估计方法不变，样本数逐步扩大，分析性质是否改善）一致性：当样本容量n趋于无穷大时，如果估计式按概率收

4、敛于总体参数的真实值，就称这个估计式是的一致估计式。limP(-)＝1渐进无偏估计式是当样本容量变得足够大时，其偏倚趋于零的估计式。见下图概率密度㈡高斯－马尔可夫定理由OLS估计式可以看出，可以用观测样本和唯一表示。因为存在样本抽样波动，OLS估计的是随机变量。OLS估计式是点估计式。在古典回归模型的若干假定成立的情况下，最小二乘估计是所有线性无偏估计量中的有效估计量。称OLS估计为“最佳线性无偏估计量”。⒈线性特征;⒉无偏性;⒊最小方差性⒋一致性证明过程参见p30~32,也可从精品课程网站下

5、载。结论：OLS估计式是BLUE。㈢系数的估计误差与置信区间1、和1ˆb的概率分布其次，和1ˆb分别是iY的线性组合，因此、1ˆb的概率分布取决于Y。在是正态分布的假设下，Y是正态分布，因此和1ˆb也服从正态分布，其分布特征（密度函数）由其均值和方差唯一决定。首先，由于解释变量iX是确定性变量，随机误差项i是随机性变量，因此被解释变量iY是随机变量，且其分布（特征）与i相同。因此：),(~ˆ222S2XXNsbb，),(~ˆ22211sbbåiSXXnXN1ˆb和2ˆb的标准差分别为：=222/

6、)ˆ(iSXXSsbå=2221)ˆ(iiSXXnXSsb可以证明：总体方差2s的无偏估计量为2ˆ22-=åneis2、随机误差项的方差2s的估计在估计的参数2ˆb和1ˆb的方差和标准差的表达式中，都含有随机扰动项方差2s=)var(i。2s又称为总体方差。由于2s实际上是未知的，因此2ˆb和1ˆb的方差与标准差实际上无法计算。由于随机项i不可观测，只能从i的估计——残差ie出发，对总体方差2s进行估计。在总体方差2s的无偏估计量2ˆs求出后，估计的参数2ˆb和1ˆb的方差和标准差的估计量分别

7、是：的样本方差：=22ˆ)ˆ(VarsbS2XX的样本标准差：=2ˆ)ˆ(Ssb的样本方差：å=221ˆ)ˆ(inXVarsb的样本标准差：å=21)ˆ(inXSb1ˆb1ˆb2ˆb2ˆbS2XXS2XXS2XX⒊系数的置信区间见p34四、多元线性回归模型的参数估计方法相同，只是通过矩阵表示，参见p35~37※五、极大似然法ML极大似然法（MaximumLikelihood,ML），也称最大似然法，是不同于最小二乘法的另一种参数估计方法，是从最大或然原理出发发展起来的其它估计方法的基础。基本原理：对

8、于最小二乘法，当从模型总体随机抽取n组样本观测值后，最合理的参数估计量应该使得模型能最好地拟合样本数据。对于极大似然法，当从模型总体随机抽取n组样本观测值后，最合理的参数估计量应该使得从模型中抽取该n组样本观测值的概率最大。对于一元线性回归模型：iiiXYmbb++=21i=1,2,…n随机抽取n组样本观测值iiXY,（i=1,2,…n），假如模型的参数估计量已经求得到，为$b1和$b2，那么iY服从如下的正态分布：iY～),ˆˆ(221sbbiXN