《多元线性回归》PPT课件.ppt

《《多元线性回归》PPT课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、高等学校经济学类核心课程计量经济学Econometrics第三章多元线性回归模型§3.1多元线性回归模型§3.2多元线性回归模型的参数估计§3.3多元线性回归模型的统计检验§3.4多元线性回归模型的预测§3.5可线性化的多元非线性回归模型§3.6受约束回归§3.1多元线性回归模型一、模型形式二、基本假定一、模型形式注意：（1）解释变量X的个数：k回归系数j的个数：k＋1（2）j：偏回归系数，表示了Xj对Y的净影响（3）X的第一个下标j区分变量（j＝1，2，……，k）第二个下标i区分观测（i＝1，2，……n）总体回归函数（PRF）样本回归函数（SRF）样本回归模型（SRM）其中：ei称为残差

2、(residuals)，可看成是随机误差项i的近似替代。2、于是，总体回归模型可以表示为：总体回归模型的矩阵表示1、总体回归模型表示了n个随机方程，引入如下矩阵记号：2、于是，样本回归模型和函数可以表示为：样本回归模型和函数的矩阵表示1、同理，采用如下矩阵记号：二、多元线性回归模型的基本假设►假设1：解释变量是非随机的或固定的，且各X之间互不相关（无多重共线性）。►假设2：随机误差项具有零均值、同方差和无序列相关性：E(i)=0Var(i)=2i=1,2,…,NCov(i,j)=0i≠ji,j=1,2,…,N►假设3：随机误差项与解释变量X之间不相关：Cov(Xji,i)=0

3、i=1,2,…,N►假设4：服从零均值、同方差、零协方差的正态分布i~N(0,2)i=1,2,…,N基本假设的矩阵表示假设1:n(k+1)矩阵X是非随机的，且X的秩=k+1，即X列满秩。假设2:假设4:向量有一多维正态分布，即暗含假设假设5：样本容量趋于无穷时，各解释变量的方差趋于有界常数，即n∞时，假设6：回归模型是正确设定的或其中：Q为一非奇异固定矩阵，矩阵x是由各解释变量的离差为元素组成的nk阶矩阵§3.2多元线性回归模型的参数估计一、普通最小二乘估计二、参数估计量的性质三、样本容量问题参数估计的任务和方法1、估计目标：回归系数βj、随机误差项方差б22、估计方法：OLS

4、、ML或者MM*OLS：普通最小二乘估计*ML：最大似然估计*MM：矩估计一、普通最小二乘估计基本思想：残差平方和最小基于取得最小值的条件获得系数估计）残差平方和：取得最小值的条件：正规方程组：解此（k＋1）个方程组成的正规方程组，即可求得（k+1)个未知参数βj的估计。最小二乘估计的矩阵表示1、正规方程组的矩阵形式2、由于X’X满秩(其逆矩阵存在），故有＃OLSE的矩阵估计过程矩阵有关定理残差平方和的矩阵表示为：#参数估计的实例例3.2.1：在例2.1.1的家庭收入-消费支出例中，误差方差2的估计1、基于OLS下，随机误差项的方差的无偏估计量为注意：分母的形式：n-k-1=n-(k+1)

5、。k：解释变量X的个数；k+1：回归系数的个数2、称为估计标准误或者回归标准误（S.Eofregression）*最大似然估计*（MaximumLikelihoodEstimate）1、基本原理：样本观测值出现的概率最大。2、似然函数：3、最大似然估计MLE：参数的MLE与参数的OLSE相同*矩估计*（MomentMethod，MM）1、OLS估计是通过得到一个关于参数估计值的正规方程组并对它进行求解而完成的。2、该正规方程组可以从另外一种思路来导出:两侧求期望:矩条件*矩条件和矩估计量*3、由此得到正规方程组：解此正规方程组即得参数的MM估计量。1、称为原总体回归方程的一组矩条件，表明了

6、原总体回归方程所具有的内在特征。2、如果随机抽出原总体的一个样本，估计出的样本回归方程：能够近似代表总体回归方程的话，则应成立：MM估计量与OLS、ML估计量等价。*关于矩估计*矩方法是工具变量方法(InstrumentalVariables,IV)和广义矩估计方法(GeneralizedMomentMethod,GMM)的基础在矩方法中关键是利用了：E(X’)=0如果某个解释变量与随机项相关，只要能找到1个工具变量，仍然可以构成一组矩条件。这就是IV。如果存在＞k+1个变量与随机项不相关，可以构成一组包含＞k+1方程的矩条件。这就是GMM。OLS只是GMM的一个特例二、最小二乘估计量的性质

7、高斯—马尔可夫定理(Gauss-Markovtheorem):在给定经典线性回归的假定下，最小二乘估计量是具有最小方差的线性无偏估计量，即最佳线性无偏估计量（BLUE）。1、线性：其中,C=(X’X)-1X’为一仅与固定的X有关的行向量2、无偏性:这里利用了假设:E(X’)=03、有效性:其中利用了:参数估计量的概率分布1、由参数估计量的上述性质和基本假设，易知：线性性＋基本假设→正态分布无偏性