次梯度法和共轭梯度法

《次梯度法和共轭梯度法》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、使用导数的最优化方法——梯度法和共轭梯度法无约束最优化问题2.梯度法3.共轭梯度法本章研究无约束最优化问题。其算法大致分为两类：1：在计算过程中要用导目标函数的导数，本章介绍；2：只用到目标函数值，不必计算导数，通常称为直接法。本章主要教授：一.无约束最优化问题的最速下降法人们在处理这类问题时，总希望从某一点出发，选择一个目标函数值下降最快的方向，以利于尽快达到极小点。1847年，Cauchy提出了最速下降法。下面我们先来讨论怎样选择最速下降方向。解析方法：利用函数的解析性质构造迭代公式使之收敛到最优解。梯度法（最速下降法）迭代公式：如何选择下降最快的方向？梯度法（最速下降法）：梯度法算法

2、步骤：解：最速下降法的收敛性性质.最速下降法的锯齿现象在极小点附近，目标函数可以用二次函数近似，其等值面近似于椭圆面，长轴和短轴分别位于对应最小特征值和最大特征值得特征向量的方向，其大小与特征值的平方根成反比。最速下降方向反映了目标函数的一种局部性质。它只是局部目标函数值下降最快的方向，但从全局看，由于锯齿现象的影响，即使向着极小点移动不太大的距离，也要经历不少的弯路，因此使收敛速率大大减慢。从全局看，它的收敛是比较慢的。因此，最速下降法一般适用于计算过程的前期迭代或作为检查步骤。收敛性定理：设，水平集有界，则最速下降法或在有限步迭代后停止；或者得点列，它的任何极限点都是的驻点。证明：P6

3、8。二、共轭梯度法1.共轭方向和共轭方向法共轭是正交的推广。我们以正定二次函数为例，来观察两个方向关于矩阵A共轭的几何意义：共轭方向法2.共轭梯度法如何选取一组共轭方向？以下分析算法的具体步骤。3.用于一般函数的共轭梯度法