动态规划原理与最优控制

《动态规划原理与最优控制》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第7章动态规划在最优控制中的应用1动态规划求解最优控制问题的有效方法之一二十世纪五十年代由Bellman提出动态规划与极小值原理在数学上是等效的从不同的角度发展了古典变分学2最优性原理多级决策过程的最优策略具有这种性质。不论初始状态和初始决策为何，其余的决策对于由初始决策所形成的状态来说，必定也是一个最优策略。3主要内容离散动态规划离散动态规划在离散系统最优控制中的应用连续动态规划在连续系统最优控制中的应用47.1离散动态规划最优性原理动态规划的基础若一个N级决策系统是最优的,则以第k级（）决策所形成的状态作为初态的任何一个N-K级子决策也必然是最优的。5根据最优性原理确定了一个从后向前的递

2、推过程基于最优性原理的动态规划方法成为解决最优控制问题的有力工具6动态规划原理求从S—F点路程最短的方法7枚举法S—X1(1)—X1(2)—X1(3)—F4+6+1+4=15S—X1(1)—X2(2)—X1(3)—F4+6+2+4=16S—X1(1)—X2(2)—X2(3)—F4+6+2+3=15S—X1(1)—X1(2)—X2(3)—F4+6+1+3=14S—X2(1)—X1(2)—X1(3)—F5+4+1+4=14S—X2(1)—X1(2)—X2(3)—F5+4+1+3=13S—X2(1)—X2(2)—X1(3)—F5+7+2+4=18S—X2(1)—X2(2)—X2(3)—F5+7+2

3、+3=178可能解数量为2(n-1)n=4,为23=8种.加法次数为：(n-1)*2(n-1)n=4,为(4-1)*23=24次.若n=10,则可能解数为：2(10-1)=29=512种.加法(10-1)*29=9*29=9*512=4608次.9动态规划法从最后一级开始：J[X1(3)]=4J[X2(3)]=3,J*[X1(3)]=4,J*[X2(3)]=3倒数第二级：路线X1(2)—X1(3)—FJ=1+J*[X1(3)]=5X1(2)—X2(3)—FJ*=1+J*[X2(3)]=4X2(2)—X1(3)—FJ=2+J*[X1(3)]=6X2(2)—X2(3)—FJ*=2+J*[X2(3

4、)]=5J*[X1(2)]=4,J*[X2(2)]=510倒数第三级路线X1(1)—X1(2)—FJ*=6+4=10X1(1)—X2(2)—FJ=6+5=11X2(1)—X1(2)—FJ*=4+4=8X2(1)—X2(2)—FJ=7+5=12J*[X1(1)]=10,J*[X2(1)]=811第一级路线S—X1(1)—FJ=4+10=14S—X2(1)—FJ*=5+8=13即J*[S]=1312∴最优决策为S—X2(1)—X1(2)—X2(3)—FJ*[S]=13加法次数:4*(n-2)+2次n=4时，4*(4-2)+2=10次13各个状态到终点的最短距离J*[S]=13J*[X1(1)]=

5、10J*[X2(1)]=8J*[X1(2)]=4J*[X2(2)]=5J*[X1(3)]=4J*[X2(3)]=31415设离散系统的状态方程为x–n维状态向量，u–m维控制向量始端和终端固定7.2离散动态规划在离散系统最优控制中的应用16求最优控制序列使目标泛函取极小值17动态规划的目的使J最小即将以为初态的N-j(=k)级最优决策18根据最优性定理如果N级决策是最优的则以在前j–1决策上形成的为初态的N–j级决策是最优决策从这点出发，形成了逆向递推的最优化方法，这种方法被称为动态规划19根据最优性定理利用动态规划方法形成递推公式当终端固定时直接利用递推公式求解最优控制问题2021令：22

6、23例1设离散系统的状态方程为已知求最优控制u使目标泛函为最小24解：由递推公式K=3时25上述最优化问题的解为最优目标函数为K=2时26K=1时求解可得最优目标函数为27K=0时求解可得最优目标函数为28求解的结果29307.3连续动态规划在连续系统最优控制中的应用动态规划可用于连续系统的优化问题对于连续系统根据最优性原理可得到Hamilton-Jacobi方程31对于连续系统x–n维状态向量，u–m维控制向量且容许控制u在m维欧氏空间的某一给定域中取值即32已知始端固定即求最优控制使目标泛函取极小值（3）33由最优性原理推导出极大值原理定义式中而x(s)是在区间上和最优控制函数有关的轨

7、线，其中，且给定。（4）（5）34显然所有都满足假设V存在，连续并且具有连续的一阶和二阶偏导数（6）35推导动态规划的Hamilton-Jacobi方程（7）36（8）37等式两边消去，得上式称为Hamilton-Jacobi方程或者称为Hamilton-Jacobi-Bellman方程（9）38对于所给最优控制问题，重复以上讨论，导致由此，对于所有，u必须满足（10）（11）（12）39上式说明，Lagra