第5章 Markov过程(使用版)课件.ppt

《第5章 Markov过程(使用版)课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、一、基本概念1.返回概率自状态i出发，经过n步首次到达状态j的概率自状态i出发，经有限步终于到达状态j的概率自状态i出发，经有限步终于返回状态i的概率1定理1对任意及，有说明1该定理表示n步转移概率按照首次到达时间的所有可能值进行分解说明22首达时间系统从状态i出发，首次到达状态j的时刻称为从状态i出发首次进入状态j的时间，或称自i到j的首达时间。如果这样的n不存在，规定说明12.平均返回时间3说明2平均返回时间状态i的平均返回时间4状态i的周期若di>1,称i是周期的；若di=1,称i是非周期的。说明13.周期di体现系统的发展变化种状态i重复出现的概率周期

2、。说明2若i的周期是di，并不是对所有的n满足说明35二、状态类别的划分及判别1.状态类别的划分状态i非常返态常返态零常返态正常返态周期非周期（遍历态）常返态非常返态正常返态零常返态6注“常返”一词，有时又称“返回”、“常驻”或“持久”“瞬时”也称“滑过”或“非常返”定理2证则系统从状态i出发，经过有限次转移之后，必定以概率1返回状态i。再由马氏性系统返回状态i要重复发生这样，系统从状态i出发，又返回，再出发，再返回，随着时间的无限推移，将无限次访问状态i。7将“不返回i”称为成功，则首次成功出现的次数服从几何分布，也就是说以概率1只有有穷次返回i。即82.判

3、别（1）判别是否常返态定理392.判别（2）判别是否零常返态、正常返有（非）周期定理4对任意给定的状态i，如果i是常返态且有周期di，则存在极限102.判别（3）判别是否有周期11三、状态间的关系1.定义状态i可达状态j2.性质简记为i→j状态i与状态j互通i→jj→i且传递性、对称性3.利用首达概率刻画可达和互通关系124.互通的两个状态的状态类型互通的两个状态必有相同的状态类型结论1结论2定理513四、状态空间的分解互通满足：自反性、对称性、传递性。互通是一种等价关系（常返态）按互通关系是等价关系，可以把状态空间I划分为若干个不相交的集合（或者说等价类），

4、并称之为状态类。若两个状态相通，则这两个状态属于同一类。任意两个类或不相交或者相同。说明（1）定义14A．闭集设C为状态空间I的一个子集，则C称为闭集。注1若C为闭集，则表示自C内任意状态i出发，始终不能到达C以外的任何状态j。整个状态空间构成一个闭集。吸收态指一个闭集中只含一个状态注2若状态空间含有吸收状态，那么这个吸收状态构成一个最小的闭集。15B．不可约的设C为闭集，如果C中不再含有任何非空真闭子集，则称C是不可约闭集，或称不可约的，不可分的，最小的。若整个状态空间是不可约的，则称此链为不可约马氏链。A.有关闭集B.有关等价类（2）一些重要结论16结论2

5、设C是闭集，当且仅当C中的任何两个状态都互通时，C是不可约的。结论1等价类若是闭集，则必定是不可约的。结论3齐次马氏链不可约的充要条件是它的任意两个状态均互通。结论4包含常返态的等价类是不可约闭集。17例1其一步转移矩阵为试研究各状态间的关系，并画出状态传递图。解先按一步转移概率，画出各状态间的传递图182/31/41/41/31/21/20121/2由图可知状态0可到达状态1，经过状态1又可到达状态2；反之，从状态2出发经状态1也可到达状态0。因此，状态空间I的各状态都是互通的。又由于I的任意状态i(i=0，1，2)不能到达I以外的任何状态，所以I是一个闭集

6、而且I中没有其它闭集所以此马氏链是不可约的。19例2其一步转移矩阵为试讨论哪些状态是吸收态、闭集及不可约链。解先按一步转移概率，画出各状态间的传递图20111/21/21/2311/24521闭集，由图可知状态3为吸收态且闭集，闭集，其中是不可约的。又因状态空间I有闭子集，故此链为非不可约链。21（3）状态空间的分解如果已知类中有一个常返态，则这个类中其它状态都是常返的。若类中有一个非常返态，则类中其它状态都是非常返态。若对不可约马氏链，则要么全是常返态，要么全是非常返态。定理6任一马氏链的状态空间I必可分解为其中N是非常返态集，而且22如果从某一非常返态出发

7、，系统可能一直在非常返集中，也可能进入某个常返闭集，一旦进入某个常返闭集后，将一直停留在这个常返闭集中；如果系统从某一常返状态出发，则系统就一直停留在这个状态所在的常返闭集中。说明123定理7（1）非常返态集N不可能是闭集；（2）至少有一个常返态；（3）不存在零常返态；（4）若链是不可约的，那么状态都是正常返的（5）其状态空间可分解为是互不相交的由正常返态组成的闭集。说明224（3）状态空间的分解定理8(周期链分解定理)25转移概率矩阵的标准形式状态空间的分解周期链的分解26例3转移矩阵试对其状态分类。解按一步转移概率，画出各状态间的传递图21/4111/41

8、/411/4143Eg.27从图可知，