非参数回归(非参数统计,西南财大).doc

《非参数回归(非参数统计,西南财大).doc》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第十二章非参数回归及其相关问题第一节参数回归问题的回顾在线性回归模型中，我们总是假定总体回归函数是线性的，即多元线性回归模型一般形式为：总体回归函数

2、问题中，一般不会有很多的值恰好等于11/11。这个估计式，仿佛是一个加权平均数，对于所有的，如果等于，则赋予的权，如果不等于，则赋予零权。由此可启发我们在思路上产生了一个飞跃。即对于任一个，用的加权和去估计，即，其中，估计。问题是如何赋权，一种合乎逻辑的方法是，等于或靠非常近的那些，相应的权大一些，反之小权或零权。p1EanqFDPw两种模式：设上的随机变量，为的次观测值。实际应用中，为非随机的，依条件独立，在理论上非参数回归中既可以是非随机的，也可以是随机的。而参数回归分析中，我们总是假定为非随机的。DXDiTa9E3d根据的不同非参数回归有两种

3、模式。1、为随机时的非参数回归模型设，，为的随机样本。存在没个未知的实值函数，使得一般记为这里，，如果，则2、为非随机时的非参数回归模型11/11由于在实际中，研究者或实验者一般可以控制X或预先指定X，这时X可能不再是随机变量，例如年龄与收入之间的关系中年龄为固定时，收入的分布是已知的，不存在X为随机变量时，估计的问题。RTCrpUDGiT设，，为的随机样本设的随机变量，为的次独立观测值，则，，。第二节一元非参数回归核估计方法一、核估计(一>Nadaraya-Watson估计核权函数是最重要的一种权函数。为了说明核函数估计，我们回忆二维密度估计(1

4、>而(2>在这个密度函数估计中，核函数必须相等，光滑参数可以不等，光滑参数不等时，有将<2）代入<1）的分子，得令，则又由有对称性，则，，得1式的分子为11/11分子＝分母＝可以看出对的估计，是密度函数估计的一种自然推广，一般也称为权函数估计其中可以看出权函数完全由确定，其取值与X的分布有关，称为N-W估计。可以推得：所以，核估计等价于局部加权最小二乘法。二、窗宽的选择11/11令根据非参数估计当，的分子和分母中除了当的项不为零，其它均为零，故这说明当窗宽趋于0时，点的估计值趋于该点的观测值。当，的分子和分母中每一项，则。说明当窗宽趋于无穷时，则每

5、一点的估计值均为Y的观测值的平均值。可见窗宽的控制是核估计精度的重要参数。太小估计线欠平滑，太大过于平滑。1、理论窗宽的最佳选择记，当解释变量为随机的情形时，的渐近偏差和渐近方差为：估计方法渐近偏差渐近方差N-W方法其中为解释变量的密度函数，。估计的均方误差11/11回归函数m(x>估计的渐近方差随着窗宽见效而增大，渐近偏差随着减小而减小。所以非参数估计就是在估计的盘查和方差中寻求平衡，使均方误差达到最小。5PCzVD7HxA理论的最佳窗宽。1、样本窗宽的交错鉴定哪一个窗宽是比较恰当的，必须通过样本的资料考察，但是我们的样本仅仅有一个。在某个局部观

6、测点，首先，在样本中剔除该观测值点，用剩余的n-1个点在处进行核估计：jLBHrnAILg最后比较平方拟合误差，使最小的窗宽，则是最佳的。2、窗宽的经验选择方法当K(.>为【－1，1】上对称、单峰的概率密度时，是集中在x附近的加权平均，由于x为对称的，以为宽度，当太大时，参加的平均点多，会提高精度，但可能偏差会增大。反之小则相反。所以应该根据散点图来选择窗宽。xHAQX74J0X三、核函数的选择因为估计方法渐近偏差渐近方差N-W方法所以渐近均方误差为：其中和是与核函数无关的量，对MSE求h的导数，则最佳的窗宽为：11/11将代入MSE，得最优的核函

7、数是使达到最小的核函数。四、核估计的性质<略）作为估计量，非参数回归函数核估计有一些优良性质。第三节一元非参数回归模型的局部估计一、局部多项式回归局部多项式估计

8、将在的某领域按泰勒级数展开记，，原模型为11/11上式为一个多项式回归模型，且对的估计依赖于其局部的点。从模型我们可以看出