小二乘法线性详细说明

《小二乘法线性详细说明》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、最小二乘法线性详细说明1在处理数据时，常要把实验获得的一系列数据点描成曲线表反映物理量间的关系。为了使曲线能代替数据点的分布规律，则要求所描曲线是平滑的，既要尽可能使各数据点对称且均匀分布在曲线两侧。由于目测有误差，所以，同一组数据点不同的实验者可能描成几条不同的曲线(或直线)，而且似乎都满足上述平滑的条件。那么，究竟哪一条是最曲线呢？这一问题就是“曲线拟合”问题。一般来说，“曲线拟合”的任务有两个：2一是物理量y与x间的函数关系已经确定，只有其中的常数未定（及具体形式未定）时，根据数据点拟合出各常数的最佳值。二是在物理量y与x间函数关系未知时，从函数点拟合出y与x函数关系

2、的经验公式以及求出各个常数的最佳值。3解决问题的办法寻找变量之间直线关系的方法很多。于是，再接下来则是从众多方法中，寻找一种优良的方法，运用方法去求出线性模型—y=a+bx+u中的截距a=?；直线的斜率b=?正是是本章介绍的最小二乘法。所得直线可靠吗？怎样衡量所得直线的可靠性？最后才是如何运用所得规律——变量的线性关系？4最小二乘法产生的历史最小二乘法最早称为回归分析法。由著名的英国生物学家、统计学家道尔顿（F.Gallton）——达尔文的表弟所创。早年，道尔顿致力于化学和遗传学领域的研究。他研究父亲们的身高与儿子们的身高之间的关系时，建立了回归分析法。5父亲的身高与儿子的

3、身高之间关系的研究1889年F.Gallton和他的朋友K.Pearson收集了上千个家庭的身高、臂长和腿长的记录企图寻找出儿子们身高与父亲们身高之间关系的具体表现形式下图是根据1078个家庭的调查所作的散点图（略图）6从图上虽可看出，个子高的父亲确有生出个子高的儿子的倾向，同样地，个子低的父亲确有生出个子低的儿子的倾向。得到的具体规律如下：如此以来，高的伸进了天，低的缩入了地。他百思不得其解，同时又发现某人种的平均身高是相当稳定的。最后得到结论：儿子们的身高回复于全体男子的平均身高，即“回归”——见1889年F.Gallton的论文《普用回归定律》。后人将此种方法普遍用于

4、寻找变量之间的规律7最小二乘法的地位与作用现在回归分析法已远非道尔顿的本意，已经成为探索变量之间关系最重要的方法，用以找出变量之间关系的具体表现形式。后来，回归分析法从其方法的数学原理——误差平方和最小出发，改称为最小二乘法。8最小二乘法的思路1．为了精确地描述Y与X之间的关系，必须使用这两个变量的每一对观察值，才不至于以点概面。2．Y与X之间是否是直线关系（协方差或相关系数）？若是，将用一条直线描述它们之间的关系。3．什么是最好？—找出判断“最好”的原则。最好指的是找一条直线使得这些点到该直线的纵向距离的和（平方和）最小。9第一节一元线性拟合1.已知函数为线性关系，其形式

5、为：y=a+bx（1）式中a,b为要用实验数据确定的常数。此类方程叫线性回归方程，方程中的待定常数a,b叫线性回归系数。由实验测得的数据是x=x1,x2,……….xn时，对应的y值是y=y1,y2,…….yn1.函数形式已知数学推证过程11由于实验数据总是存在着误差，所以，把各组数据代入(1)式中，两边并不相等。相应的作图时，数据点也并不能准确地落在公式对应的直线上，如图所示。由图一还可以看出第i个数据点与直线的偏差为：(1)如果测量时，使x较之y的偏差很小，以致可以忽略（即Δxi很小）时，我们可以认为x的测量是准确的，而数据的偏差，主要是y的偏差，因而有：②12我们的目的

6、是根据数据点确定回归常数a和b，并且希望确定的a和b能使数据点尽量靠近直线能使v尽量的小。由于偏差v大小不一，有正有负，所以实际上只能希望总的偏差（）最小。所谓最小二乘法就是这样一个法则，按照这个法则，最好地拟合于各数据点的最佳曲线应使各数据点与曲线偏差的平方和为最小。13首先，求偏差平方和，将②式两边平方后相加，得：③显然，是a,b的函数。按最小二乘法，当a,b选择适当，能使为最小时y=a+bx才是最佳曲线。由最小二乘法确定a和b14根据二元函数求极值法，把③式对a和b分别求出偏导数。得：15令④等于零，得：解方程，得：⑥⑦16公式⑥⑦式中：从④不难求出对a,b的二阶偏导

7、数为：17所以⑥⑦式求出的a,b可使为极小值。因而由a,b所确定的曲线y=a+bx就是用最小二乘法拟合的最佳曲线。由于已知函数形式为非线性时，可用变量代换法“曲线改直”使函数变为线性关系，因而最小二乘法就有更普遍的意义。182.经验公式的线性回归—函数形式未知由于经验公式的函数形式是未知的，因而恰当地选择经验公式的函数形式就成了曲线拟合中的重要问题。在进行经验公式的回归时，必须先确定函数的形式。确定函数形式一般是根据理论的推断或者从实验数据的变化趋势来推测判断。如根据实验得到的一组数据（或其在xy坐标上的数据点）初