最优化方法介绍

《最优化方法介绍》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、最优化方法主要内容1、线性规划算法2、无约束非线性优化算法3、约束非线性优化算法Chap1预备知识(p)一、最优化问题的一般形式：决策变量，目标函数，约束函数（等式，不等式）、条件。线性、非线性规划，二次规划；约束、无约束优化………二、可行解与可行域三、（严格）局部极小点与（严格）全局极小点四、向量范数、矩阵范数1、向量范数定义三条件：2、常见向量范数：3、诱导矩阵范数五、线性空间、欧式空间六、梯度、Hesse阵例求下列函数的梯度与Hesse阵七、方向导数1、定义：对于若极限存在，称该极限值为在处沿方向的一阶方向导数，记为定理1若函数具有连续的一阶偏导数，则它在处沿方向的一

2、阶方向导数为在处沿的方向的变化率方向导数几何意义：函数梯度方向是函数值变化最快的方向2、二阶方向导数：对于若极限存在，称该极限值为在处沿方向的二阶方向导数，记为定理2若函数具有连续的二阶偏导数，则它在处沿方向的二阶方向导数为在处沿的方向的凹凸性和弯曲程度二阶方向导数几何意义：函数八.凸集与凸函数1.凸集（1）凸组合：已知，任取k个点，如果存在常数，，使得，则称为的凸组合。（2）凸集：设集合，如果中任意两点的凸组合仍然属于，则称为凸集。(3)凸集的顶点：不能表示成另外两个点的严格凸组合。（4）凸集的方向、极方向定理3设是非空闭凸集，若，则存在唯一的点，使得它与的距离最短，且满

3、足定理4（凸集分离定理）设是非空闭凸集，若，则存在和，使得2.凸函数设，任取，如果，有，则称为X上的（严格）凸函数。例子：凹函数？水平集：是凸函数}。性质：水平集一定是凸集。3.凸函数的性质定理5.凸函数的局部极小点就是全局极小点。4.凸函数的判断条件定理6.是凸集X上的凸函数的充要条件是.定理7.设在凸集X上有二阶连续偏导数，则是凸函数的充要条件是，有半正定。例：正定二次函数，其中是正定矩阵。例：5.凸规划（1）其中是凸函数，是凸集。（2）其中是凸函数，是线性函数。