数理统计课件 61回归分析.pdf

《数理统计课件 61回归分析.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第六章回归分析●回归分析是研究变量之间相关关系的数学方法。在自然界中，变量之间的关系是多种多样的，但大致分为两类：确定性关系，相关关系例1圆面积s与半径r之间的关系是确定性关系例2人的年龄x与血压Y之间的关系是非确定性关系例3一个学生的高考成绩x与大学在校成绩Y之间的关系是非确定性关系例4小麦的亩产量Y与施肥量x之间的关系是非确定性关系●通常称变量之间的非确定性关系为相关关系类似的例子还很多。对这类问题，人们经常需要寻找存在于两个(或多个)变量之间的函数关系，并希望利用观测数据拟合系统的数学模型，其中最简单的模型是线性模型。本章先从一元线性回归模型分析开始，介绍线性回归分析的主要

2、内容和方法，然后讨论多元线性回归分析。§6.1一元线性回归一、一元线性回归模型例6.1在农业生产中，小麦的亩产量Y与施肥量x有一定关系，在一定范围内，若施肥量较大，则小麦的亩产也较大，但我们希望知道Y与x间的函数关系。按照数理统计处理问题的方法，先做一些试验，分T别给x赋n个不同的值(,,)xx"，假设其他条件不变，1nT则相应地得到n个Y的观测值(,,)yy"。一般可假设Y为1n随机变量，x为非随机变量，在此基础上寻求它们之间的关系Yfx=(,)ε这里ε为随机变量(通常表示误差)，f为未知函数，当f为线性函数且2ε~N(0,σ)时，考虑如下数学模型Yx=++αβε我们希望利用试

3、验得到的数据，估计上式中的未知参数2α,β,σ，并进行某些假设检验及亩产量Y的预测。现把例6.1中的模型做一般性的描述，进而给出一元线性回归模型的定义。设随机变量Y和非随机变量x（也称为可控制变量）服从线性关系Yx=++αβε，(6.1)(,)(1,,)Yxi="n是(,)Yx的n个观测，它们满足关系ii⎧Yx=++αβεiii(6.2)⎨2⎩εσ~(Nin0,),1=,,"i其中εi相互独立.称上述模型为一元线性回归模型，或一元线性正态回归模型。关于定义中的假设需注意以下几点：2(1)由于假设ε相互独立且服从N(0,σ),则Y亦相互独ii2立服从Nx(,α+βσ),但均值不等。

4、一般将(,)Yxin=1,",iii称为回归观测值(或回归样本)，它与一般简单样本是不同的；(2)关于Y与x的线性假设是根据实际问题提出的，也是为了数学上处理的方便，有时Y与x间的关系是非线性的。(3)由假设知EYx=α+β，故YE=Y+ε。iiiii对于一元线性回归模型，通常所考虑的统计推断问题是：1.利用已知的观测值(,)yx(in=1,",)，估计未知参数ii2α,β和σ；2.对α,β的某种假设进行检验，3.对Y进行预报等。二、未知参数的估计1.(,)αβ的最小二乘估计对一组回归观测值(,)yx(in=1,",)，它满足：ii2yx=++αβε，ε~(N0,)σ，in=1,

5、",iiii最小二乘法是寻找未知参数(,)αβ的估计(,)αˆβˆ，使得nn∑∑()y−−αβˆˆx22=min()y−−αβxiiii(6.4)αβ,ii==11满足式(6.4)的估计αˆ,βˆ称为(,)αβ的最小二乘估计。n一般采用微分法求解。记2Q(,)αβ=−∑(yiiαβ−x)，i=1∂∂QQ令(,)(,)αβ==αβˆˆˆˆ==0,(,)(,)αβαβ0,(6.5)∂∂αβ则(6.5)式可写为nnαβˆ+=xnˆy,⎫⎪nn⎬(6.6)nxαβˆ+=∑∑x2ˆxy,⎪iiiii==11⎭nn11其中xx==∑∑ii,yy.由于假设xi互不相同，故(6.6)nnii==

6、11式的系数行列式nnxnnn=−nxn[]∑∑22xnxx=−()2≠02iinx∑xiii==11i=1故方程组(6.6)有惟一解，其解为⎧αβˆ=−yxˆ⎪nn⎪⎪∑∑xy−−nxy()xx()yy−⎨iiii⎪βˆ==ii==11nn⎪22−−2∑∑xniix()xx⎪⎩ii==11上述推导是对一组回归观测值(,)yx(in=1,",)做出的，ii若将(,)yx换为(,)Yx时便得(,)αβ的最小二乘估计量iiiiαβˆ=−Yxˆ⎫⎪n∑()xxYY−−()⎪⎪ii⎬(6.7)βˆ=i=1⎪n−2⎪∑()xxii=1⎪⎭2.(,)αβ的最大似然估计由于2Y(1in=,,)

7、"相互独立且YN~(α+βσx,)，则iii(,,)YY"的联合概率密度函数为1nn112Ly=−∏exp[2(ii−αβ−x)]i=1σπ22σn11n2=()exp[−−2∑(yxiiαβ−)]σπ22σi=1要求(,)αˆβˆ使似然函数L取得最大值，只要n2Q(,)αβ=−∑(yiiαβ−x)i=1取得最小值即可。这回到了最小二乘估计的情形，也即对一元正态线性回归模型、最小二乘估计与最大似然估计是等价的。将αˆ,βˆ代入EYx=+αβ，得Yxˆ=+αˆβˆ，(6.8)一般将