资源描述：
《线性回归模型中自变量选择问题.pdf》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。
1、第10卷1期中国科学技术大学学报1980年线性回归模型中自变量选择问题~不‘.抓}子内拜月口二(一)回归自变量的选择问题,。在一个大型回归周题中可供选择的自变量为数很多国内地鬓工作者使用的“趋势面”,。,。分析自变量可多达二十多个在将回归固题用于气象予报方面也存在这种尚题在国,,外将回归分析用于污染因子与死亡率的关系研究中在汽事役蔚因子与每公里耗油率的关,。,系的研究中所用的自变量在十到二十个之简据报导在有些周题中涉及的自变量个数有。可能达到50一70个之多,在实用,因此回归分析的研究中关于从一大
2、批可能的自变量中把真正最重要的那些自,一直是一。,变量挑选出来的周题个很受重视的周题这种挑选的意义远不在于仅从淤算的。,、,角度着眼实际上所建立的回归方程的稳定性予报的精度与这种挑选工作有很密切的关系。而且,通过这种挑选,可以、对自变量与因变量的关系自变量之简的关系获得不少有,。用信泊一这点应当看作是回归分析的主要目的之一’‘,,作者和实用抚爵工作近二十年特别是近十年来对回归自变量的选择固题数理杭静工者都作了不少工作。理输方面的主要成就是提出了一系列的选择准则,对它们的就静性臀作一,。,了一些分析
3、研究为在实际应用中处理这个尚题提供了一定的理瑞浓扼但这方面的拮果整个,。,,靓来还处在相当初步的阶段由于阴题的困难要取得实鬓性进展还需作很大努。。,力另一方面的尚题是寻找良好的静算方法由于牵涉到极大量的静算为了使理湍成果付,,,藉实用这是一个必需解决的远非视而易举的尚题在这方面近年来也取得了很大的进。展在,,,十多年以前关于选择回归自变量的淮8J几乎全是基于残差平方和爵算方面IJ是用。,,逐步回归(包括向前法和向后法)近年来提出的某些选择准则例如比较受重砚的由一,,,,M泪肠‘」,毕提出的所谓c
4、准则也是基于残差平方和另外一些例如所稠P找ESS准,r,,则还有lloel等人「2」的岭回归法以及种种形式的主成份分析法等则是基于其它的考、。。虑〔3118」是关于这方面的粽合性介貂,,。不湍怎样基于残差平方和的准glJ现在看来仍属于最重要的一类如果基于这个准,:,,一,则就必须处理这样的朋题投全部自变量有左个对任何户1〔p左找出残差平方和、,。一最小次小⋯⋯前若干个(例如个),个白变最的机由于可能的粗数c,二·卜‘,,‘_二一J一·~-,典一!二_一一一P!(左一/,)仕往,在缺乏有效的算法时难
5、于实现,逐步回归往往被用来作为一种近似。虽然这个方法极大,,。起过重要作用且现在也未丧失其意义但近年来的研究表明这个方法有着一些缺陷从理,,,渝上靓其中所用的F检墩是建立在不正确的基础上的从应用上靓它井不能保征挑出最优p自变量粗(国外报导的一个例子表明,,的(残差平方和最小的)差别能达到37%之多)。另一更大的缺陷是不适合用于分析自变量与因变量及自变量之简的关系,由于上述原因近年来在国外对寻找残差平方和最小(及若干个按序排列最小)的子集】,。、L3’〔‘〕〔’1Calside196回归(即所稍最优
6、子集回归)的有效爵算方法抬予很大的注意‘5)Se},arzoff(1965)、FL,l·nival(1972)、入I〔,:·gin(1972)、FLlrnival和Wilson(2974)〔‘l相,vao。撇提出了一些算法和程序看来以Ftl’lil和Wilon(197劝的程序为最优本文对va,,Flrnil的算法进行了归钠分析衬渝了它们的性臀并以其子程序为基础抬出了扑算前。,、q回归系数的最小二乘估静个最优子集回归的完整程序对这些回归部算出残差平方和及其方差。利用这些歌息我们可以进一步分析自变量的
7、重要性及其相互关系。(二)计算问题pc露种,,由于从掩个自变量中选择个的方法多达不难毅想若不按一种粗积良好的方,,,式进行爵算则补算量可能达到不现实的地步解决这个困难的基本方法就是众所周知,在逐步,,的回归中使用的那个规IlJ它使得在原有的基础上加进或弃却一个自变量时只需p1),即使这样,也还有两个固题要解决:对当时的协方差障作一种筒单的运算(晃附录,使能用最少个数的p运算来算出任一个自变量子集的重要的回归一是编排一种合适的次序,,。,抚静量(残差平方和系数估爵及其方差协方差等)另一个周题是一个矩
8、障的元素握,,过反复的p运算累积视差不断增加考虑到在自变量子集的选择中涉及到极多次数的尸运,如不对这个尚题加以充分的考虑并作出相应的安排,则上述累积视差最后将便静算桔果算完全失。,:其这里所介貂的程序对这个尚题有较好的处理它是基于以下的想法尽可能不要。,“”对同一矩障以同一元作枢轴作一次以上的尸运算当然这就必须使淤算在静多存储块内进,。行因而导致需要较多的存储单元。,,还有两项关于节省静算量的考虑一是在p运算中涉及矩障的全部元素但在静算过,,,,程的一个特定阶段上往往某些自变量已注
