资源描述:
《优化理论与方法i_talk_3》由会员上传分享,免费在线阅读,更多相关内容在教育资源-天天文库。
1、第三章非线性规划最优性条件王周宏北京交通大学理学院bjtu1王周宏(BJTU)优化理论与方法1/69目录1无约束优化的最优性条件2约束优化的最优性条件3凸规划的最优性条件4Langrange对偶bjtu1王周宏(BJTU)优化理论与方法2/691无约束优化的最优性条件2约束优化的最优性条件3凸规划的最优性条件4Langrange对偶bjtu1王周宏(BJTU)优化理论与方法3/69可微的定义定义(一阶和二阶可微:)考虑?元函数?(?),?(?0)为?0=(?0,?0,···,?0)的某个邻域,若存在?维向量?∈R?,?12?使对∀?=(?,?,
2、···,?)∈?(?0)有:12???(?)=?(?0)+?T(?−?0)+?(‖?−?0‖),(3.1)0其中lim?(‖?−?‖)=0,则称?(?)在?0处可微,称?是?(?)在点?0处的梯0‖?−?0‖?→?度(gradient),记作?=∇?(?0)。bjtu1王周宏(BJTU)优化理论与方法3/69若还存在一个?×?对称矩阵?(?0),使:?(?)=?(?0)+∇?(?0)T(?−?0)+1(?−?0)T?(?0)(?−?0)+(3.2)2?(‖?−?0‖2),02其中lim?(‖?−?‖)=0,则称?(?)在?0处二阶可微,称?(?
3、0)是?(?)在0‖?−?0‖2?→?点?0处的海色矩阵(Hessian),记作∇2?(?0)。bjtu1王周宏(BJTU)优化理论与方法4/69由可微的定义知,若?(?)在?0处可微,则?(?)在?0处的所有一阶偏导均存在,且⎛⎞??(?0)⎜??1⎟⎜??(?0)⎟0⎜??2⎟∇?(?)=⎜.⎟;⎜.⎟⎝.⎠??(?0)???bjtu1王周宏(BJTU)优化理论与方法5/69若?(?)在?0处二阶可微,则?(?)在?0处的所有二阶偏导均存在,且⎛202020⎞??(?)??(?)??(?)??2??1??2···??1???⎜1⎟20202
4、020⎜??(?)??(?)···??(?)⎟0??(?)⎜??2??1??2??2???⎟?(?)=()=⎜2⎟,?????×?⎜...⎟??⎝....···..⎠202020??(?)??(?)??(?)?????1?????2···??2?常记作?(?0)=∇2?(?0)。bjtu1王周宏(BJTU)优化理论与方法6/69由Taylor展开可知,若?(?)在?0处的所有一阶偏导存在且连续,则?(?)在?0处可微,且0??0??0??0T∇?(?)=((?),(?),···,(?));??1??2???bjtu1王周宏(BJTU)优化理论与
5、方法7/69由Taylor展开可知,若?(?)在?0处的所有一阶偏导存在且连续,则?(?)在?0处可微,且0??0??0??0T∇?(?)=((?),(?),···,(?));??1??2???若?(?)在?0处的所有二阶偏导存在且连续,则?(?)在?0处二阶可微,且(︂)︂?2?(?0)?(?0)=.???????×?bjtu1王周宏(BJTU)优化理论与方法7/69函数的下降方向:设?∈R?,?̸=0,若存在?>0,对∀?,0,有?(¯?+??)(¯?),则称?是函数?(?)在点?¯处的下降方向。bjtu1王周宏(BJTU)优化
6、理论与方法8/69函数的下降方向:设?∈R?,?̸=0,若存在?>0,对∀?,0,有?(¯?+??)(¯?),则称?是函数?(?)在点?¯处的下降方向。Theorem3.1设函数?(?)在点?¯处可微,若∇?T(¯?)?<0,则?是函数?(?)在点?¯处的下降方向。bjtu1王周宏(BJTU)优化理论与方法8/69考虑无约束优化问题:min?(?),(3.3)?∈ℜ?bjtu1王周宏(BJTU)优化理论与方法9/69考虑无约束优化问题:min?(?),(3.3)?∈ℜ?Theorem3.2(一阶必要条件)设?*是上述无约束最优化问题
7、的一个最优解,?(?)在?*处可微,则有∇?(?*)=0.bjtu1王周宏(BJTU)优化理论与方法9/69考虑无约束优化问题:min?(?),(3.3)?∈ℜ?Theorem3.2(一阶必要条件)设?*是上述无约束最优化问题的一个最优解,?(?)在?*处可微,则有∇?(?*)=0.定义:若∇?(?*)=0,则称?*是?(?)的稳定点(或驻点,或平稳点,或临界点,stablepointorcriticalpoint).bjtu1王周宏(BJTU)优化理论与方法9/69Theorem3.3(二阶必要条件)设?*是无约束最优化问题的一个最优解,?(
8、?)在?*的一个邻域内二阶连续可微,则有∇?(?*)=0,且?(?)在?*的二阶Hesse阵半正定,即成立??∇2?(?*)?≥0,∀?∈??bjtu