《非线性回归模型》word版

《《非线性回归模型》word版》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、第六章非线性回归模型经济模型本来就存在许多非线性形式，我们在引言与第一章就曾经处理过“可以线性化的非线性模型”，即经过简单函数变换后可以化为一元或多元线性回归模型的非线性回归模型。但是在一般情况下，非线性模型难以精确地线性化，这就需要予以特别的考虑。一般的非线性回归模型可以表示为（6.0.1）这里X是可观察的独立随机变量，β是待估的参数向量，Y是独立观察变量，它的均值依赖于X与β，ε是随机误差。函数形式f（•）是已知的。Cobb-Douglas生产函数是非线性回归模型的典型例子：（6.0.2）这里Q是经济部门的产出，L是劳动力投入，K是资本投入，待估参数是α，β

2、1与β2。定 义Y=Q，X′=(L,K)，β=(α，β1,β2)′，以及，则Cobb-Douglas生产函数就可以写为(6.0.1)的形式。另一个例子是消费函数（6.0.3）这里Y是居民收入，C是居民消费。其中参数β3的估计问题就很有必要。如果贸然假定β3=1，那就是线性函数了，可是实际资料也许会否定β3=1。有些经济模型到底能不能线性化，取决于误差项的假定。例如Cobb-Douglas生产函数，如果将误差假定为与函数部分相乘，即（6.0.4）则取对数后可以线性化：（6.0.5）另一方面，有些线性回归模型也可以视为非线性问题，例如广义最小二乘问题（6.0.6）

3、的极大似然估计就可以被看作非线性问题。本章就讨论这些非线性回归模型的性质与计算问题，涉及到一些大样本理论，介绍了非线性强度度量的几何意义。作为特别的非线性回归模型，重点是介绍了增长曲线模型与失效率模型。59第一节非线性回归模型最小二乘估计的计算为了引进非线性回归的最小二乘方法(Gauss-Newton算法)，我们先考虑一个简单的单参数模型：,（6.1.1）定义残差平方和（6.1.2）回归的原则还是要使残差平方和最小，于是对S(β)求导得：（6.1.3）整理得：（6.1.4）这是关于β的三次方程，β就有3个可能的解，将这三个解分别代入S（β），取S（β）最小的

4、那个解β为回归模型的最终解。这一节就专门介绍非线性回归模型参数最小二乘估计的计算方法，一个是Gauss-Newton算法，一个是Newton-Raphson算法。为了清楚易懂，我们都是先介绍单参数的，再介绍多参数的。一、非线性模型LSE的Gauss-Newton算法先考虑单参数的非线性回归模型（f（· ）已知）：（6.1.5）其残差平方和函数为（6.1.6）要使S(β)取极小值，其一阶条件为59（6.1.7）现在的问题是要求出上述方程的解β，并且判断出整体最小值解β。一个近似办法是用f(Xi,β)的一阶Taylor近似展开去代替f(Xi,β)。设β的初值为β1，

5、则在β1点附近函数f(Xi,β)有近似Taylor展式（6.1.8）于是求得导数值为（6.1.9）简记（6.1.10）则（6.1.11）这里（6.1.12）对于给定的初值β1，以及Zi(β1)都是确定的，可计算的。于是(6.1.11)所表达的残差平方和正是线性回归（6.1.13）的残差平方和。Malinvaud(1980)将上式称作拟线性模型，其最小二乘估计是（6.1.14）这里（6.1.15）59于是我们看到，如果我们有待估参数β的一个初值β1，就可以得到β的一个新值β2。重复使用这个方法，又有一个拟线性模型（6.1.16）其解为（6.1.17）继续下去，我们

6、会得到一个序列β1，β2，…，βn…。我们可以写出一般迭代表达式 （6.1.18）这里f(X,β)=［f(X1,β),f(X2,β),…,f(Xn,β)］。由于S(β)取极小值的一阶条件(6.1.7)可被写作（6.1.19）故若在迭代过程中有βn+1=βn，则由(6.3.18)知必有(6.3.19)成立，即，此时S(β)取得一个极值。下面要考虑的问题是，这样的迭代解是使S(β)取极小值还是极大值?如果是极小值，它是不是整体最小值?我们可以用不同的迭代初值去计算，如果不同的迭代初值导致不同的极小值S，则其中最小的那个S是整体最小值。至于为什么这些迭代过程只会导致极

7、小而不是极大，可以分析的表达式（6.1.20）于是迭代公式(6.3.18)可被写作（6.1.21）由于Z’Z是一些平方和，它总是正的，(Z’Z)-1也是正的。当为正时，，于是函数值S将走向极小；当为负时，，于是函数值还是走向极小。为了避免迭代时间过长或迭代来回反复，可以引进步长控制函数tn，59（6.1.22）tn由计算程序根据误差自动调整。上述算法一般称为Gauss-Newton算法。图6.1.1.1由于非线性模型函数形式复杂，一般难以建立有限样本的统计性质。然而我们可以考虑它的渐近性质。一般来说，是一致估计，的极限分布为正态分布，均值为0，方差为，其中。于

8、是在作假设检验时，可以用