经济时间序列分析 原理篇 第六章 统计建模-版本201410.pdf

《经济时间序列分析 原理篇 第六章 统计建模-版本201410.pdf》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、第六章统计建模1.K-L信息量设y,y,y是总体Y的一组样本。假设Y是连续的，其概率密度函数为12Ngy。这个gy我们称之为数据y,y,y的真实模型。gy通常是不知道的。12N这里所说的统计建模，就是用一个已知的函数fy去逼近未知的gy。这就引出两个问题，一是怎样估计fy的参数以得到一个好的逼近。二是如果有多个逼近fyi,1m,怎样判断其中哪一个是最好的。为解决这两个问题，首先要i解决如何度量fy对gy的逼近程度这个问题。我们采用所谓的K-L信息量解决问题，它的定义是gygyIg,f

2、ElogloggydyYfyfyK-L信息量有如下性质。性质1Ig,f0性质2Ig,f0gyfy所以我们用fy去逼近gy，就要求Ig,f越小越好。2[例]设真的分布gy服从正态分布N,，我们用fy来逼近gy。fy服2从正态分布N,。这时221ygy

3、,exp2222221yfy

4、,exp222222gy12yyloglo

5、gfy22221222gy1EyEyYYIg,fEYloglog222fy22221log12222如果gy～N1,0，fy～N5.1,1.0，那么Ig,flog5.111.05.1.00393992。2．K-L信息量与最大似然估计在实际应用中，gy是未知的。我们得到的只是样本y,y,y。所以我们要12N考察如何基于K-L信息量用fy逼近gy。首先K-L

6、信息量可以分解成2项，即gyIg,floggydyfyloggygydylogfygydyEloggyElogfYYY上式的第一项是常数，所以要使K-L信息量取最小值，只要使ElogfY取最Y大值即可。然而ElogfylogfygydyY而gy是未知的。但是根据大数定律N1logfynYElogfY,NNn1NN所以我们可以用logfyn来代替EYlogfY，

7、要求logfyn取最大值。n1n1对给定的观测样本y,y,y，我们称12NNllogfynn1为对数似然度，称NLfynn12为自然度。当fy可由用参数向量来刻画是，记fy为fy

8、，这时似然度即为的函数为Nllogfy

9、nn1或NLfyn

10、n1我们称它们为对数似然函数或似然函数。所以在模型可以用带参数的函数来逼近时，使KL-信息量最小的方法相当于使似然函数取最大值的极大似然法。3.最大似然估计的数值求解方法从理论上讲利用最大似然法估计参数的方法如下第1步确定模型的概率密度

11、函数fy和要估计的参数，做似然函数L或对数似然函数l第2步设,,,，求似然函数对参数的偏导数，即12mLLL,,,12m或lll,,,12m第3步令各偏导数为零，得到一组方程组L01L02（4-1）L0m或3l01l02（4-2）l0m求解方程组，得解,,,122并将这个解作为参数,,,12m的估计，即ˆ

12、ˆ,ˆ,,ˆ,,,12m12m然而，在实际中似然函数往往很复杂。偏导数LLL,,12mlll,,12m也很复杂。所以除了特殊例子外一般都用利用数值计算的方法来求解。一般使用牛顿-拉普松法来求解方程组（4-1）或（4-2）。但这个方法要计算偏导数。对于时间序列分析，似然函数很复杂，偏导数很难求，这时候我们就必须用差分来代替微分。4.AIC信息量准则与模型选择假设我们用最大似然法得到了真实模型的2个估计fy

13、和fy

14、。如1122果要判断哪个更好，一个

15、直观的想法是，比较它们的似然函数的值的大小，这是因为N1logf