优化设计3-34-2梯度

优化设计3-34-2梯度

ID:39824998

大小:483.10 KB

页数:21页

时间:2019-07-12

优化设计3-34-2梯度_第1页
优化设计3-34-2梯度_第2页
优化设计3-34-2梯度_第3页
优化设计3-34-2梯度_第4页
优化设计3-34-2梯度_第5页
资源描述:

《优化设计3-34-2梯度》由会员上传分享,免费在线阅读,更多相关内容在教育资源-天天文库

1、§4.2梯度法(最快速度下降法)第三章无约束最优化方法一、特点这是一种将n维问题转化为一维搜索的方法,在其搜索点的局部区域内,目标函数值的下降速度最快。优点:算法简单,每次迭代所需的计算量小,计算机所需的内存少。以一个不很好的点也能收敛到最优解上。§4.2梯度法(最快速度下降法)二、基本思想梯度是函数值变化率最大的方向。在通常的目标函数极小化的最优化设计中,负梯度方向是一个非常诱人的方向,它是函数值下降非常快的方向。设在第k次迭代中,取得了初始点X(k)。目标函数F(X)在X(k)处的梯度为§4.2梯度法(最快速度下降法)则负梯度方向的单位向量为:第k次迭代的搜索方向

2、就取为X(k)点的负梯度方向这样便得到普通的迭代公式:§4.2梯度法(最快速度下降法)为书写简便用在迭代过程中,如果满足条件迭代终止。§4.2梯度法(最快速度下降法)注意:迭代式中的α(k)就是最优化因子。它可以用前面介绍的一维搜索的办法确定。然而,当目标函数的海赛矩阵能求时,也可用解析的算法求得。§4.2梯度法(最快速度下降法)梯度法的搜索路径:S(k)与S(k+1)垂直三、迭代步骤①给定X0,ε1,ε2②③④‖Xk+1-Xk‖≤ε1,or‖gk‖≤ε2,否则回到③§4.2梯度法(最快速度下降法)梯度法的程序框图§4.2梯度法(最快速度下降法)四、计算举例设起始点X

3、(0)=[0,0]T,试用梯度法求极小。解:(1)F(X)的梯度F(X)的海赛矩阵§4.2梯度法(最快速度下降法)(2)当X(0)=[0,0]T时,§4.2梯度法(最快速度下降法)§4.2梯度法(最快速度下降法)(3)当时§4.2梯度法(最快速度下降法)§4.2梯度法(最快速度下降法)§4.2梯度法(最快速度下降法)(4)如此迭代下去。如果给定的收敛条件,迭代终止条件为:当k=7时,与目标函数的实际极小点非常接近。§4.2梯度法(最快速度下降法)五、应用梯度法应注意的问题前后两迭代的搜索方向S(k+1)和S(k)一定垂直(正交)。因为X(k+1)=X(k)+α(k)

4、S(k),α(k)是最优化步长因子。故X(k+1)是在S(k)方向上的极值点。§4.2梯度法(最快速度下降法)‥梯度法(最快速下降法)容易使人们错误地认为这种方法的收敛速度是最快的,迭代次数是最少的。由于梯度具有局部的性质,因此从局部看来,梯度是最快的,但从全局看起来,速度就不一定快,特别在接近极值点时,速度越来越慢。∴这种方法在开始迭代时非常有效,故在组合的混合方法中,常用它做前几次运算。等值线为椭圆的迭代过程等值线为圆的迭代过程§4.2梯度法(最快速度下降法)P61例4-1§4.2梯度法(最快速度下降法)§4.2梯度法(最快速度下降法)§4.2梯度法(最快速度下降

5、法)

当前文档最多预览五页,下载文档查看全文

此文档下载收益归作者所有

当前文档最多预览五页,下载文档查看全文
温馨提示:
1. 部分包含数学公式或PPT动画的文件,查看预览时可能会显示错乱或异常,文件下载后无此问题,请放心下载。
2. 本文档由用户上传,版权归属用户,天天文库负责整理代发布。如果您对本文档版权有争议请及时联系客服。
3. 下载前请仔细阅读文档内容,确认文档内容符合您的需求后进行下载,若出现内容与标题不符可向本站投诉处理。
4. 下载文档时可能由于网络波动等原因无法下载或下载错误,付费完成后未能成功下载的用户请联系客服处理。