回归分析3多元逐步回归.ppt

《回归分析3多元逐步回归.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、§2.5多元逐步回归算法原理多元回归模型首先将实际问题所提取的全部变量引入方程，然后再根据变量的显著性检验把方程中不重要的变量逐一剔除，建立新方程。缺点：（1）首先在实际问题中，要提取合适的变量来建立回归方程本身不是一件很容易的事情，变量间可能存在高度的相互依赖性会给回归系数的估计带来不合理的解释；（2）其次变量的一次性引入方程，易导致计算量增大，运算效率降低，精度不够等问题。为了得到一个稳健的、可靠的回归模型，这就需要给出一种方法，使得能从影响的因素中自动根据某种准则将对贡献大的变量（或者说对重要的变量）引入方程，不重要的变量从方程中剔除。最终在观测数据基础上建立最优的

2、回归方程。§2.5多元逐步回归算法原理§2.5.1逐步回归算法的形成思路逐步回归算法基本思路根据各自变量的重要性，每一步选一个重要的变量进入回归方程。第一步是在所有可供挑选的变量中选出一个变量，使它组成的一元回归方程比其他变量有更大的回归平方和。第二步是在剩下的自变量中选这样一个变量，它与已选入方程的那个变量所组成的二元回归方程，比其他任一变量与已先选入方程的变量所组成的二元回归方程，有更大的回归平方和。如此继续下去，假设已经进行到步，那第步是在未选的变量中选出这样一个变量，它与已选入回归方程的变量组成元回归方程，比其他余下的任何一个变量组成的元回归方程，有更大的回归平方

3、和。逐步回归不仅考虑到按贡献大小逐一挑选重要变量，而且还考虑到较早选入回归方程的某些变量，有可能随着其后一些变量的选入而失去原有的重要性，这样的变量也应当及时从回归方程中剔除，使回归方程中始终只保留重要的变量。§2.5.1逐步回归算法的形成思路如引入方程后，再引入，也许由的引入而的重要性反而变得不重要，应及时剔除。假设已有个自变量引入回归方程，即已知回归方程是：此时该方程相应的总离差平方和记为（2.14）§2.5.1逐步回归算法的形成思路§2.5.2引入自变量的依据现在在已有的个自变量所组成的回归方程中再引入一个自变量，不妨记为，于是引入了一个自变量的回归方程可表示为现在

4、用式（2.15）减去式（2.14），并注意到式（2.14）与式（2.15）总离差平方和不变，可得（2.15）令于是称为自变量对因变量的方差贡献。也就是，如果越大，则对的影响就越大，对回归方程就越显重要，应该引入。但是应大到什么程度，自变量才可被引入方程呢？这就需要给出的引入标准（或称引入门坎值）。统计理论表明，用统计量可以检验自变量是否可以引入方程。式中，是样本容量，是已进入方程的自变量个数。对于给定水平，查分布表，可得临界值。如果，则表明可引入方程；如果，则说明自变量不重要，不能引入方程。需要说明的是，实际问题可能有多个，由于每次只能引入一个变量进入方程，因此在算法上，

5、我们是选最大的值所对应的变量考虑引入，即，先求然后将它与比较，如，相应的自变量入选；如，引入变量的步骤就到此为止。§2.5.3剔除自变量的依据设已有个自变量引入回归方程，即已知回归方程为此时该方程的总离差平方和可表示为现在已有的个自变量中剔除一个自变量，不妨剔除，于是可得剔除自变量后的回归方程，记为（2.17）（2.16）该方程的总离差平方和记为由式（2.16）与式（2.17）可得这里仍然称为对的方差贡献。越大说明对的影响越大，即对越重要，当然在方程中就不能被剔除，反之亦然。然而应小到什么程度，自变量才考虑从方程中被剔除呢？这就需要给出的剔除标准（或称剔除门坎值）。和前面

6、所介绍的引入标准一样，可用统计量来检验方程中哪个自变量可被考虑剔除出方程。对于给定的水平，查分布表得临界值。如果，则应从方程中剔除；如果，则不应从方程中剔除。同样需要说明的是，实际问题可能有多个，由于每次只能从方程中剔除一个变量，因此在算法上，我们选最小的值所对应的变量考虑剔除，即先求然后将与比较，如时，就应从回归方程中剔除变量；如，则方程中没有变量被剔除，转入是否可以引入新变量的讨论。§2.6逐步回归的计算步骤前面已经讲过，“引入”或“剔除”变量的依据是根据自变量对因变量的方差贡献的大小决定。当开始进行逐步回归时，第一步、第二步只考虑“引入”。至于以后各步，则应首先考虑

7、能否剔除，如果已断定不能剔除时，再考虑“引入”。当既不能引入又不能剔除时，则逐步回归的变量挑选即告结束。在下面的介绍中，我们只给出逐步回归的计算方法而不去讨论它的数学原理。§2.6.1数据准备回归分析的原始数据包括两部分，一部分是自变量及因变量的观测值。我们称为模型数据值。另一部分是只有自变量的观测值，因变量的取值未知，称预测数据部分。模型数据用来求回归方程的参数，在模型显著时，再用以对预测部分作的预测计算。1．输入模型原始数据其中，为样品个数，为自变量个数。该变换使变换后的数据各变量均值为0，离差平方和为l。2．作如下预处