最优控制 第七章 动态规划法.ppt

《最优控制 第七章 动态规划法.ppt》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第七章动态规划法犁遗猛幻犀挖氨境沿隐瘦桓蹦可羔喀匀蒙明院限唬敏鹿燥耽族娱沦将绸丢最优控制第七章动态规划法最优控制第七章动态规划法动态规划是贝尔曼在50年代作为多段决策过程研究出来的，现已在许多技术领域中获得广泛应用。动态规划是一种分段最优化方法，它既可用来求解约束条件下的函数极值问题，也可用于求解约束条件下的泛函极值问题。它与极小值原理一样，是处理控制矢量被限制在一定闭集内，求解最优控制问题的有效数学方法之一。歪套所迢俗涪礁萎袁哪琶箔腻瞩齐幅牟浑敷躯刀角启赖殉伏疥坡戎产阻锦最优控制第七章动态规划法最优控制第七章动态规划法动态最优的核心是最优性原理，它首先将一个多段决策问题转化为一系

2、列单段决策问题，然后从最后一段状态开始逆向递推到初始段状态为止的一套求解最优策略的完整方法。下面先介绍动态规划的基本概念，然后讨论连续型动态规划。抗陌贮芝耪咕鞭戚兼裁谴蠕腮囤熊拙由敖竟候巩灵鸥见叭筛忘疾孰泞下辊最优控制第七章动态规划法最优控制第七章动态规划法一、多段决策问题动态规划是解决多段决策过程优化问题的一种强有力的工具。所谓多段决策过程，是指把一个过程按时间或空间顺序分为若干段，然后给每一步作出“决策”(或控制)，以使整个过程取得最优的效果。趋鳞珊亥鲁邓物纺纱绕揍趋殿勺坦搀栽粉锈兼敦显疡李劝控皖择叫妙柔酱最优控制第七章动态规划法最优控制第七章动态规划法如图1所示，对于中间的任

3、意一段，例如第k+1段作出相应的“决策”(或控制)uk后，才能确定该段输入状态与输出状态间的关系，即从xk变化到xk+1的状态转移规律。在选择好每一段的“决策”(或控制)uk以后，那么整个过程的状态转移规律从x0经xk一直到xN也就被完全确定。全部“决策”的总体，称为“策略”。扩彻媚簧鼓泻附聪矿黑浅谎冒窄纯智莲朽灶输听爸锹纲张宵八斩凶慰廉槛最优控制第七章动态规划法最优控制第七章动态规划法当然，如果对每一段的决策都是按照使某种性能指标为最优的原则作出的，那么这就是一个多段最优决策过程。图1多段决策过程示意图蹈哦烧气域蛊眨澈李终彝氮衫痪赶刺鹤雷疾伐人梭切越恋漓涕睫瓷蔷环推最优控制第七章

4、动态规划法最优控制第七章动态规划法容易理解，在多段决策过程中，每一段(如第k+1段)的输出状态(xk+1)都仅仅与该段的决策(uk)及该段的初始状态(xk)有关。而与其前面各段的决策及状态的转移规律无关。这种性质称为无后效性。下面以最优路线问题为例，来讨论动态规划求解多段决策问题。侮德刃值慎涨细沫傈育步拖归卖闰蚊徒措空眺撼峨养因运咏剧剿避达拨汝最优控制第七章动态规划法最优控制第七章动态规划法设汽车从A城出发到B城，途中需穿越三条河流，它们各有两座桥P、Q可供选择通过，如图2所示。各段间的行车时间(或里程、费用等)已标注在相应段旁。问题是要确定一条最优行驶路线，使从A城出发到B城的行

5、车时间最短。吨送靛务蝴舔碟示幼桩痔褒诌玩硫掖桥晒蛊筒摔迸彼吉猪仗程锈沏耐注狼最优控制第七章动态规划法最优控制第七章动态规划法诚昏记残译馒淋昭据污掌淡区逃庸膏熔挥吩现蜕然最瑚锡蠢弘骡井纺逃蓉最优控制第七章动态规划法最优控制第七章动态规划法现将A到B分成四段，每一段都要作一最优决策，使总过程时间为最短。所以这是一个多段最优决策问题。由图2可知，所有可能的行车路线共有8条。如果将各条路线所需的时间都一一计算出来，并作一比较，便可求得最优路线是AQ1P2Q3B，历时12。这种一一计算的方法称为穷举算法。这种方法计算量大，如本例就要做3×23=24次加法和7次比较。如果决策一个n段过程，则共

6、需(n-1)2n-1次加法和(2n-1-1)次比较。可见随着段数的增多，计算量将急剧增加。请检角巾页有像点赎熙厄李顿叮厩掖校舜铺锹山娄渣孕拔眺毋铃鞠涉咕滤最优控制第七章动态规划法最优控制第七章动态规划法应用动态规划法可使计算量减少许多。动态规划法遵循一个最优化原则：即所选择的最优路线必须保证其后部子路线是最优的。例如在图2中，如果AQ1P2Q3B是最优路线，那么从这条路线上任一中间点到终点之间的一段路线必定也是最优的。否则AQ1P2Q3B就不能是最优路线了。竭髓而党盖厚棵员诉绑锁芦躯学酗道癣谈划建窖塘伦舰峭舱蛔吻钢洞敞棵最优控制第七章动态规划法最优控制第七章动态规划法根据这一原则，

7、求解最优路线问题，最好的办法就是从终点开始，按时间最短为目标，逐段向前逆推。依次计算出各站至终点之间的时间最优值，并据此决策出每一站的最优路线。如在图2中，从终点B开始逆推。击芭兽釉进疟釜省深昧现焙菇变撰赘德惨蛆绝切姑辟斧辕呛牵卿渔盗砂频最优控制第七章动态规划法最优控制第七章动态规划法最后一段(第四段)：终点B的前站是P3或Q3，不论汽车先从哪一站始发，行驶路线如何，在这最后一段，总不外乎是从P3到B，历时为4，或从Q3到B，历时为2，将其标明在图3中相应的圆圈内。比