资源描述：
《数理统计课件 62 多元线性回归分析.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。
1、§6.2多元线性回归分析一、多元线性回归模型上节讨论了一元回归模型，在实际问题中，遇到更多的是讨论随机变量Y与非随机变量xx,,,"x之间的12m关系，本节假设它们具有线性关系Yxx=+++βββ"+ε(6.15)011mm这里22ε∼N(0,σ)，β,,,,ββ"σ都是未知参数，m>1。01m一般称由式(6.15)定义的模型为多元线性回归模型，称xx,,,"x为回归变量，β,,,ββ"为回归系数。12m01mTT设(,,,,)xx"xY(1in=,2,,)"是(,,,,)xx"xY的n个ii12imi12m独立观测，则它们满足关系Yx
2、=+βββ+xx""+βε+=,1i,,n(6.16)ii0112i2mimi假设2ε相互独立,且εσ∼"Nin(0,)(=1,,)ii由于假设ε相互独立，由式(6.16)知Y亦相互独立，且ii2EYx=+βββ+xx"+β，DY=σ，ii0112i2mimi则有2YN∼""(,ββ++xβx+βσx),(i=1,2,,n)。ii0112i2mim对式(6.15)求数学期望EYx=++βββxx"+β01122mm一般称Yxˆ=++βββxx"+β01122mm为Y关于xx,,,"x的(理论)线性回归方程。12m为了今后讨论方便，引入向
3、量、矩阵记号，则式(6.16)可写成矩阵形式。令ΤΤΤYYYY==(,,,),""ββββ(,,,)，ε=(,,,)εε"ε12nm0112n⎡1xx1112"x1m⎤⎢⎥1xx"xX=⎢21222m⎥⎢###"#⎥⎢⎥⎢⎣1xxnn12"xnm⎥⎦式(6.16)的矩阵表达式为YX=β+ε(6.16)’EYX=β2⎧σ,i=j因cov(Y,Y)=(σij)n×n，σij=cov(Yj,Yj)=⎨⎩0,i≠jΤ2故cov(,)YY=−EYEYYEY()(−=)σIn这里I表示n阶单位阵。对式(6.15)给出的m元线性回归n2模型，通常所考
4、虑的问题是，对未知参数β和σ进行估计，对β的某种假设进行检验，对Y进行预报等。在下述讨论中，一般总假定nm>和矩阵X的秩等于m+1。二、参数的估计对式(6.16)’，通常采用最小二乘法寻求β的估计量βˆ，即寻找β的估计βˆ满足下面的条件nmnm∑∑()Yx−=−βˆ22min∑∑()Yxβ∀β(6.17)iijjiijj,jij==10ij==10这里xi==1,(1,2,,)"n，或写成矩阵形式i0
5、
6、YX−=−βˆ
7、
8、22min
9、
10、YXβ
11、
12、(6.17)’一般可用微分法求式(6.17)的解βˆ.nm2令QY()β=−∑∑(iixjβ
13、j)求解方程组ij==10nm2∂−[(∑∑Yxiijβj)]∂Q()βij==10==0，∂∂ββββ=ˆkkjjnm可得∑∑(Yxxk−=βˆ)0,=0,1,",m，iijjikij==10将上式变形可写为nnmmn∑∑Yx==∑xxβˆ∑∑()xxβˆ,0k=,1,",miikijikjijikjii==11j=0ji==01用矩阵表示，上述方程组可写为ΤΤXY=()XXβˆ，(6.18)式(6.18)一般称为正规方程，由于假设了X的秩为m+1，所以ΤΤ−1XX是正定矩阵，因而存在逆阵()XX，由式(6.18)可得βˆ=()XΤ−
14、ΤXXY1(6.19)将βˆ代入线性回归方程，于是可得Yˆ=+βˆβˆx+βˆx"+βˆx(6.20)01122mm以后将式(6.20)亦简称为线性回归方程，由此出发，可对Y进行预测。类似上节对一元线性回归模型对2σ的讨论，可用统计量nmˆ*221()ˆσ=−∑∑Yxiijβj(6.21)nm−−1ij==10作为2σ的估计，式(6.21)也可用矩阵表示为ˆ*21()ˆΤ()YX−βˆσ=−YXβnm−−11Τ−ΤΤ11Τ−Τ=−(())YXXXXYYXXXXY(())−nm−−11ΤΤ−1Τ=−YIXXXXY[()]nnm−−1=−1
15、[(YYΤΤβˆXYΤ)]nm−−1例题6.5某种水泥在凝固时放出的热量Y(单位：cal)与水泥中下列四种化学成分有关：(1)xC:3aOA⋅lO；(2)xC:3aOS⋅iO；12322(3)xC:4aOA⋅⋅lOFeO；(4)xC:2aOS⋅iO3232342通过实验得到数据列于表6.2中，求TY对(,,,)xxxx的1234线性回归方程。将数据代入式(6.9),经计算可得(,,,,)βββββˆˆˆˆˆΤ=−(62.45021.55110.51010.10190.1441)Τ01234则所求的线性回归方程为Yxˆ=+++−62.45
16、021.55110.5101x0.1019x0.1441x1234表6.3给出了YY−ˆ的数据表。ii表6.2xxxx序号1234Y%%%%172666078.52129155274.33115682010
