数值分析_曲线拟合与线性最小二乘问题.ppt

《数值分析_曲线拟合与线性最小二乘问题.ppt》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、曲线拟合与线性最小二乘§1线性最小二乘问题一、最小二乘问题的一般提法在实际应用中，经常遇到下列数据处理问题：已知函数在m个点上的数据表，寻求其近似函数。设的近似函数为其中是某函数族中的已知线性无关函数。第七章曲线拟合与线性最小二乘问题/*CurveFittingandLinearLeastSquareProblem*/称为残向量寻求一组常数，要求的2-范数达到最小。如果m=n，且以及即多项式插值记则得到最小二乘问题：上述问题的解也称为方程组的最小二乘解。当时称之为超定（或矛盾）方程组。所谓“曲线拟合”，是指根据给定的数据表，寻找一个简单的表达式来“拟合”该组数据，此处的“拟

2、合”的含义为：不要求该表达式对应的近似曲线完全通过所有的数据点，只要求该近似曲线能够反映数据的基本变化趋势。二、最小二乘多项式拟合引例1：考察某种纤维的强度与其拉伸倍数的关系.下表是实际测定的24个纤维样品的强度与相应的拉伸倍数的数据记录:编号拉伸倍数强度编号拉伸倍数强度11.91.41355.5221.3145.2532.11.81565.542.52.5166.36.452.72.8176.5662.72.5187.15.373.531986.583.52.72087944218.98.51043.52298114.54.2239.58.1124.63.524108.1

3、可以看出,纤维强度随拉伸倍数增加而增加并且24个点大致分布在一条直线附近该直线称为这一问题的数学模型。因此可认为强度与拉伸倍数之间的主要关系是线性关系怎样确定a,b,使得直线能较好地反映所给数据的基本“变化趋势”?采用最小二乘的思想令问题转化为求参数使达到最小值。这种求线性函数y=a+bx的过程称为线性拟合。一般地，设的近似函数为寻求，使得则称为函数的多项式拟合。满足下列法方程组：即非线性拟合已知函数在若干个点上的数据表，确定参数和利用经验函数拟合某组数据：某些非线性拟合问题可转化为线性拟合问题线性化处理：令则由线性拟合方法可得到和，从而得到和。又如：若非线性函数取为令其

4、中三、最小二乘问题解的存在性、唯一性设，若存在精确地满足，则称该方程组是相容的。方程组相容的充要条件是引理7.1.1设，且则总存在分解其中满秩分解证明：记不妨假设的前列线性无关令其中(满秩分解)对任何秩为的矩阵，存在排列阵，使得的前列线性无关，从而由知：其中其中因此，对任何阶矩阵总存在满秩分解二乘解的充要条件是为方程组的解。是方程组的最小证明：充分性设是的解对，令必要性设是方程组的最小二乘解记,则必使达到极小.由极值的必要条件知：即称为方程组的法方程组推论7.1.1若，则方程组有唯一的最小二乘解.方程组必存在最小二乘解。证明：记则存在满秩分解法方程组可写成：可以验证是

5、法方程组的一个解，故是原方程组的一个最小二乘解推论7.1.2若，则方程组有无穷多个最小二乘解。方程组的所有最小二乘解中2-范数最小者称为方程组的极小最小二乘解。方程组存在唯一的极小最小二乘解,且可以表示为其中为满秩分解.证明：由定理7.1.3知，是一个最小二乘解。设是方程组的任一最小二乘解，下证：唯一性易证例1：求下列方程组的最小二乘解解：G-S法或平方根法解：例2：求一个形如(为常数)的经验公式，使它能和下表给出的数据相拟合:x2.22.63.44.0y65615450对两边取对数得令0.78850.95551.22381.38634.17444.11093.98903.

6、9120此时写出法方程组其中§2广义逆矩阵与最小二乘解/*GeneralizedInverseMatrixandLeastSquaresSolution*/一、广义逆的定义之为Penrose方程方程（P1–P4)称设，满足下列矩阵方程组的解，称为矩阵的Moore-Penrose广义逆矩阵,记作设，则方程组（P1–P4)有唯一解，且解为。M–P广义逆广义逆矩阵是通常意义下的逆矩阵的推广若，则Penrose方程变为若m=n，且非奇异，则的极小最小二乘解定理7.2.2二、广义逆的分类仅满足第(Pi)个方程的阶矩阵，称为矩阵的广义逆；记作仅满足(Pi)和(Pj)个方程的阶矩阵，称

7、为矩阵的广义逆；记作仅满足(Pi)、(Pj)和(Pk)个方程的阶矩阵，称为矩阵的广义逆；记作广义逆矩阵共有种§3正交化方法/*OrthogonalizationMethod*/本节主要介绍一种特殊的满秩分解方法：正交分解所谓正交分解是指：其中是列正交矩阵，是上梯形矩阵：即；分解一、Gram-Schmidt正交化方法设，，且的前列线性无关，下面讨论正交分解的具体实现方法。Gram-Schmidt正交化方法：记，其中线性无关，两两正交。由得Step1令计算的第一列计算的第一列Step2用左乘（*）式的第二式两端得计算的