最优化方法 第一章.ppt

《最优化方法 第一章.ppt》由会员上传分享，免费在线阅读，更多相关内容在PPT专区-天天文库。

1、或解法：Lagrange乘子法1.2实例数据拟合问题原料切割问题运输问题营养配餐问题分配问题1.3基本概念1.最优化问题的向量表示法设则（1）以向量为变量的实值函数定义向量间的序关系(定义1.1)：等于＝，小于，严格小于。由此（2）以向量为变量的实向量值函数最优化问题的一般形式（3）2.最优化问题的分类试验问题：用于检验、比较最优化方法优劣的一些最优化问题。3.术语目标函数等式约束不等式约束容许解（点）容许集求解问题（3）是指：在容许集中找一点目标函数在该点取极小值，即对于容许集中的任，总有意一点最优点（极小点）最优值最优解严格极小点局部非严格极小点严格极小点非严格极小点全局，使得到目前为

2、止，大多数最优化算法求到的都是局部极小点。为了求得全局极小点，一种解决办法是，先求出所有的局部极小点，然后再从中找出全局极小点。4.极大值问题与极小值问题的关系1.4二维问题图解法二维极值问题有时可以用图解的方式进行求解，有明显的几何解释。例求解图解法的步骤：，显然；②取并画出相应的曲线（称之为等值线）.③确定极值点位置，并用以往所学方法求之。易知本题的极小值点。再复杂点的情形见P13上的例1.7。虽然三维及以上的问题不便于在平面上画图，图解法失效，但仍有相应的等值面的概念，且等值面具有以下性质：①有不同函数值的等值面互不相交（因目标函数是单值函数的缘故）；②等值面不会在区域的内部中断，除

3、了极值点所在的等值面以外。这是由于目标函数是连续函数的缘故；①令⑶等值面稠密的地方，目标函数值变化得比较快；等值面稀疏的地方，目标函数值变化得比较慢；⑷在极值点附近，等值面（等值线）一般近似地呈现为同心椭球面族（椭圆线族）。1.5梯度和Hesse矩阵本段讨论都基于对函数以下及今后的讨论中还经常要用到以下一些向量的知识。可微的假定。与。记作。向量也常用希腊字母等表示。向量内积的性质：ⅰ)（对称性）；ⅱ)（线性性）；ⅲ),当且仅当时，（正定性）；向量的内积设则称为向量的内积，其实，向量的长单位向量向量的夹角，向量的正交（正交性）1.可微定义1.7设.如果存在维向量对于可任意小的维非零向量，总有

4、在点那么称函数处可微。若令便得到（1.9）的等价形式.（1.10）2.梯度定理1.1若在点处可微，则在该点关于各个变量的一阶偏导数存在，并且定义1.8以函数的个偏导数为分量的向量称为在点处的梯度，记为。。梯度也称为函数关于变量于是，（1.10）可写为这个公式与一元函数展开到两项的Taylor公式是相对的。梯度的性质：当梯度连续时，第一，若，则必垂直于过点处的等值面；的一阶偏导数。第二，梯度方向是函数具有最大变化率的方向。下面以为例来解释这个性质。上图是该函数的等值线图。今考虑一点，不妨取坐标为。设想有出发沿某个方向移动到了点，其坐标，那么目标函数值将产生如下变化量一动点从设为假定。试问：动

5、点沿哪个方向移动会使目标函数值有最多的下降或上升？从图上看，这相当于问：在以点为圆心、以1为半径的圆周上，哪一个点具有最大的或最小的目标函数值。为了一般地描述函数在点处沿情况及变化速度，须引入上升方向和下降方向及方向导数的概念。方向的变化函数在点处沿方向的变化反映的是函数在一条直线上的变化，空间中由一点和一方向所确定的直线方程为上升方向和下降方向设是连续函数。若存在，对于都有，则称方向是在点处的上升方向；若存在对于都有，则称方向是在点处的下降方向。定义1.9设在点处可微，是非方向上的单位向量。如果极限零向量存在，则称其为函数在点处沿方向的方向导数，。记作思考：与的异同。若，则方向是在点处的

6、上升方向；根据极限理论，易见若，则方向是在点处的下降方向。因此，方向导数的正负决定了函数值的升降。定理1.2设在点处可微，则，其中是非零向量方向上的单位向量。定理1.2又表明：只要，则方向是在点处的上升方向；只要，则方向是在点处的下降方向。函数值升降的快慢则是由方向导数绝对值的大小决定的。绝对值越大，升或降的速度就越快；绝对值越小，升或降的速度就越慢。这是因为据此有ⅰ)等号成立当且仅当与同方向或与同方向。且当与同方向时，取到最大值。当与同方向时，取到最小值ⅱ)若是锐角，则;若是钝角，则。因此，方向导数又可以称为函数在点处沿方向的变化率。使函数值下降最快的方向称为最速下降方向。最速下降方向为

7、例1.8P19几个常用函数的梯度公式（1）若，则，即（2）（3）；（4）.；；2.Hesse矩阵问：函数关于变量的二阶导数又是什么？先来看什么是向量值函数的可微。定义1.11设。若的所有分量在点都可微，则称向量值函数在点处可微。定义表明，在点处可微，则成立，其用向量形式可简单地表示为其中称为向量值函数在点处的导数，而称为向量值函数在点处的Jacobi矩阵。设具有二阶连续偏导数，且则矩阵称为函数关于变量的二阶导数，简记为。