共轭梯度法（2学时）ppt课件.ppt

《共轭梯度法（2学时）ppt课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、4.1非线性规划数学模型4.2凸函数和凸规划4.3一维搜索4.4无约束优化问题的解法第四章无约束最优化问题第四节无约束优化问题的解法最速下降法Newton法拟Newton法共轭梯度法第四章无约束最优化问题四.共轭梯度法共轭方向及其性质二次函数共轭梯度法的迭代原理二次函数共轭梯度法的迭代步骤一般函数的共轭梯度法PRP算法的迭代步骤共轭梯度法的注释无约束问题4-4则向量组正交。1.共轭方向及其性质定义4-13设Q是n阶对称正定矩阵，若向量组满足：则称该向量组Q共轭(Q正交)。当Q=E,(4-24)就是通常的正交条件:无约束问题4-4解。经n次一维

2、搜索收敛于的最优任意一点X(1)出发,依次以为搜索方向的1.共轭方向及其性质定理4-14分析：共轭方向法具有二次终止性.设对于对称正定矩阵Q共轭，则从下述算法：结论：无约束问题4-4解。经n次一维搜索收敛于的最优任意一点X(1)出发,依次以为搜索方向的1.共轭方向及其性质定理4-14设对于对称正定矩阵Q共轭，则从下述算法：推论：则g(k+1)与的任意线性组合都正交。无约束问题4-4四.共轭梯度法共轭方向及其性质二次函数共轭梯度法的迭代原理二次函数共轭梯度法的迭代步骤一般函数的共轭梯度法PRP算法的迭代步骤共轭梯度法的注释无约束问题4-42.二

3、次函数共轭梯度法的迭代原理求的最优解X*。Q是对称正定矩阵。无约束问题4-42.二次函数共轭梯度法的迭代原理求的最优解X*。Q是对称正定矩阵。无约束问题4-42.二次函数共轭梯度法的迭代原理求的最优解X*。Q是对称正定矩阵。已知p(3)与p(2),p(2)与p(1)都Q共轭,p(3)与p(1)是否Q共轭?无约束问题4-42.二次函数共轭梯度法的迭代原理证明：p(3)与p(1)是否Q共轭无约束问题4-42.二次函数共轭梯度法的迭代原理无约束问题4-42.二次函数共轭梯度法的迭代原理证明：p(3)与p(1)是否Q共轭因为g(1)与g(2)都是p(

4、1),p(2)的线性组合,由定理4-14推论，无约束问题4-4解。经n次一维搜索收敛于的最优任意一点X(1)出发,依次以为搜索方向的线性规划3-41.共轭方向及其性质定理4-14设对于对称正定矩阵Q共轭，则从下述算法：推论：则g(k+1)与的任意线性组合都正交。2.二次函数共轭梯度法的迭代原理证明：p(3)与p(1)是否Q共轭因为g(1)与g(2)都是p(1),p(2)的线性组合,由定理3-14推论，000所以p(3)与p(1)Q共轭。无约束问题4-4线性规划3-42.二次函数共轭梯度法的迭代原理求的最优解X*。Q是对称正定矩阵。两两Q共轭.

5、共轭梯度法是共轭方向法，具有二次终止性。四.共轭梯度法共轭方向及其性质二次函数共轭梯度法的迭代原理二次函数共轭梯度法的迭代步骤一般函数的共轭梯度法PRP算法的迭代步骤共轭梯度法的注释无约束问题4-4无约束问题4-43.二次函数共轭梯度法的迭代步骤3.二次函数共轭梯度法的迭代步骤证明：无约束问题4-4一.最速下降法3.迭代步骤注释：一维搜索最优解的梯度与搜索方向正交无约束问题4-43.二次函数共轭梯度法的迭代步骤证明：0无约束问题4-4线性规划3-4例4-12求解取解：线性规划3-4例4-12求解取解：共轭梯度法具有二次终止性.迭代终止，取四.

6、共轭梯度法共轭方向及其性质二次函数共轭梯度法的迭代原理二次函数共轭梯度法的迭代步骤一般函数的共轭梯度法PRP算法的迭代步骤共轭梯度法的注释无约束问题4-44.一般函数的共轭梯度法求的最优解一维搜索无约束问题4-44.一般函数的共轭梯度法无约束问题4-4一.最速下降法3.迭代步骤注释：一维搜索最优解的梯度与搜索方向正交无约束问题4-4下面推导的三种形式，它们分别对应三种不同的共轭梯度法。4.一般函数的共轭梯度法无约束问题4-44.一般函数的共轭梯度法定理4-14推论无约束问题4-4无约束问题4-4经n次一维搜索收敛于的最优解。则从任意一点X(1

7、)出发,依次以为搜索方向的下述算法：1.共轭方向及其性质定理4-14设对于对称正定矩阵Q共轭，推论：则g(k+1)与的任意线性组合都正交。4.一般函数的共轭梯度法定理4-14推论无约束问题4-4这三个公式对应的共轭梯度法分别称为FR,DM和PRP算法.4.一般函数的共轭梯度法(4-32)称为FR公式(4-33)称为DM公式(4-34)称为PRP公式无约束问题4-4四.共轭梯度法共轭方向及其性质二次函数共轭梯度法的迭代原理二次函数共轭梯度法的迭代步骤一般函数的共轭梯度法PRP算法的迭代步骤共轭梯度法的注释无约束问题4-45.PRP算法的迭代步骤

8、无约束问题4-4在PRP算法中,每n次迭代中的第一步取负梯度方向为其搜索方向,这种做法简称为“n步重新开始”.这是为了减少舍入误差的影响,加快收敛速度。无约束问题4