无约束优化方法.ppt

《无约束优化方法.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第四章无约束优化方法4.1概述4.2最速下降法4.3牛顿型方法4.4共轭方向及共轭方向法重点4.5共轭梯度法4.6变尺度法4.7坐标轮换法4.8鲍威尔方法4.9单型替换法机械优化设计问题大都是在一定的限制条件下追求某一指标为最小，它们都属于约束优化问题。工程问题大都如此。为什么要研究无约束优化问题?（1）有些实际问题，其数学模型本身就是一个无约束优化问题。（2）通过熟悉它的解法可以为研究约束优化问题打下良好的基础。（3）约束优化问题的求解可以通过一系列无约束优化方法来达到。所以无约束优化问题的解法是优化设计方法的基本组成部分，也是优化方法的基础。4.1概述（4）对于多维无约束问题

2、来说，古典极值理论中令一阶导数为零，但要求二阶可微，且要判断海赛矩阵为正定才能求得极小点，这种方法有理论意义，但无实用价值。和一维问题一样，若多元函数F(X)不可微，亦无法求解。但古典极值理论是无约束优化方法发展的基础。目前已研究出很多种无约束优化方法，它们的主要不同点在于构造搜索方向上的差别。无约束优化问题的数学模型是：求n维设计变量使目标函数无约束优化问题的求解解析法对于此类问题的求解，可以直接应用目标函数极值条件来确定极值点。把求解目标函数极值的问题变成求解下列方程这是一个含有个未知量，个方程的方程组（一般是非线性的方程组），除了一些特殊情况外，求解析解比较困难，一般需要采

3、用数值方法求解。但是，与其用数值计算方法求解非线性方程组，倒不如用数值计算方法直接求解无约束极值问题。数值方法*最常用的数值方法是数学规划方法，其基本思想是从绐定的初始点出发，沿某一搜索方向进行搜索，确定最佳步长使函数值沿方向下降最大。按照这样的方式按下述公式不断进行，形成迭代的下降算法在上式中，是第是次搜索或迭代方向，称为搜索方向（迭代方向）。数值方法*最常用的数值方法是搜索方法，其基本思想如下图所示：无约束优化算法的粗框图开始给定X、d的初始值满足收敛条件否？结束是形成新的d否计算使极小一维搜索本章重点各种无约束优化方法的主要区别就在于确定其搜索方向的方法不同，搜索方向的构成

4、问题是无约束优化方法的关键。和的形成和确定方法不同就派生出不同的维无约束优化问题的数值解法。根据构成搜索方向所使用的信息性质的不同，无约束优化方法可以分为两类。利用目标函数的一阶或二阶导数信息构造搜索方向的无约束优化方法；只用目标函数值的信息构造搜索方向的无约束优化方法最速下降法牛顿法共轭方向法共轭梯度法变尺度法坐标轮换法鲍威尔方法单型替换法无约束优化方法利用目标函数的导数信息利用目标函数值信息用直接法寻找极小点时，不必求函数的导数，只要计算目标函数值。这类方法较适用于解决变量个数较少的（n≤20）问题，一般情况下比间接法效率低。间接法除要计算目标函数值外，还要计算目标函数的梯度

5、，有的还要计算其海赛矩阵。间接法直接法4.2最速下降法基于上述思想，形成如下迭代算法：最速下降法是以负梯度方向作为搜索方向，所以最速下降法又称为梯度法。最速下降法是一个求解极值问题的古老算法，1847年由柯西（Cauchy）提出。最速下降法的基本思想优化设计的目的是追求目标函数值最小，因此如果从某点X出发，其搜索方向d取该点的负梯度方向（最速下降方向），那么就可以使函数值在该点附近的范围内下降最快。为了使目标函数值沿搜索方向能够获得最大的下降值，其步长因子应取一维搜索的最佳步长。即有根据一元函数极值的必要条件和多元复合函数求导公式，得最佳步长的确定由上式可知，在最速下降法中，相邻

6、两个迭代点上的函数梯度相互垂直。而搜索方向就是负梯度方向，因此相邻两个搜索方向互相垂直。梯度法的搜索路线：最速下降法中，迭代点向函数极小点靠近的过程，走的是曲折的路线。这一次的搜索方向与前一次的搜索方向互相垂直，形成“之”字形的直齿锯齿现象，如图所示在接近极小点的位置，由于锯齿现象使每次迭代行进的距离缩短，因而收敛速度减慢，这种情况似乎与“最速下降”的名称相矛盾，这主要是因为梯度是函数的局部性质（从局部上看，在一点附近函数的下降是快的），但从整体上看则走了许多弯路，函数的下降并不算快。sk梯度法的算法程序框图例题这个问题的目标函数的等值线为一簇椭圆,迭代点从走的是一段锯齿形路线，

7、见图4-3。图4-3将上例中目标函数引入变换其等值线由椭圆变成一簇同心圆。仍从即出发进行最速下降法寻优。此时：沿负梯度方向进行一维搜索：则函数f(X)变为：y1=x1,y2=5x2β为一维搜索最佳步长，可由极值条件：由从而算得一步计算后设计点的位置及其目标函数：经变换后，只需一次迭代，就可找到最优解。这是因为经过尺度变换：等值线由椭圆变成圆。梯度法小结（1）理论明确，程序简单，对初始点要求不严格。（2）对一般函数而言，梯度法的收敛速度并不快，因为最速下降方向仅仅是指某点的一个局部