资源描述：
《随机过程 第5-6讲.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。
1、中科院研究生院2010～2011第一学期随机过程讲稿孙应飞第二章Markov过程4.马尔可夫链状态的分类（六）闭集和状态空间的分解定义：设C是状态空间S的一个子集，如果从C内任何一个状态i不能到达C外的任何状态，则称C是一个闭集。如果单个状态i构成的集{i}是闭集，则称状态i是吸收态。如果闭集C中不再含有任何非空闭的真子集，则称C是不可约的。闭集是存在的，因为整个状态空间S就是一个闭集，当S不可约时，则称此马氏链不可约，否则称此马氏链可约。有关的性质：(n)（1）C是闭集⇔p=0,∀i∈C,j∉C⇔p=0(n≥1),∀i∈C,j∉C；ijij（2）C是闭集⇔∑p=1,∀i∈
2、C；ijj∈C（3）i为吸收态⇔p=1；ii（4）齐次马氏链不可约⇔任何两个状态均互通；（5）所有常返态构成一个闭集；（6）在不可约马氏链中，所有状态具有相同的状态类型；(n)定义：对i∈S，若正整数集{n;n≥1,p>0}非空，则定义其最大公约数ii为状态i的周期，记为d，当d=1时，称该状态无周期。ii定义：称非周期正常返状态为遍历态。注意：一个不可约的、非周期的、有限状态的马氏链一定是遍历的。（七）常返、非常返、周期状态的分类特性设i↔j，则i和j或者都是非常返态，或者都是零常返态，或者都是正常中科院研究生院2010～2011第一学期随机过程讲稿孙应飞返非周期的（遍历
3、），或者都是正常返有周期的且有相同的周期。非常返态零常返态状态常返态有周期正常返态非周期（遍历态）（八）周期状态的判别（1）按互通性将状态分类后，在同一类集合中选一个状态判别其周期性即可。(n)(n+1)（2）如有正整数n，使得p>0,p>0，则状态i无周期。iiiim（3）如有正整数m，使得m步转移概率矩阵P中相应某状态j的那一列元素全不为零，则状态j无周期（九）分解定理（1）齐次马氏链的状态空间S可唯一地分解为有限多个或可列多个互不相交的状态子集D,C,C,L之并，即有S=DUCUCUL。1212其中：D是非常返态集，每个C,n=1,2,L
4、均是由常返状态组成的不可n约集，其中的状态互通，因此C,n=1,2,L中的状态具有相同的状态类n型：或者均为零常返；或者均为正常返非周期（遍历）；或者均为正常返有且有相同的周期；而且对于i,j∈C,f=1。nij（2）（周期链分解定理）一个周期为d的不可约马氏链，其状态空间S可以分解为d个互不相交的集J,J,L,J之并，即有：12ddS=UJ,JIJ=∅,k≠l,rklr=1且∑p=1,i∈J,r=1,2,Lijrj∈Jr+1其中约定J=J。r+11中科院研究生院2010～2011第一学期随机过程讲稿孙应飞（3）基于上面的（1），我们将状态空间S中的状态依D,C,C,L的次
5、序从12新排列，则转移矩阵具有以下的形式PDPD1PD2LDP1C1P=PC22OM其中P,P,L均为随机矩阵，他们对应的链是不可约的。称以上形式的12转移矩阵为标准形式。（十）有限马氏链的性质（1）所有非常返状态组成的集合不可能是闭集；（2）没有零常返状态；（3）必有正常返状态；（4）不可约有限马氏链只有正常返态；（5）状态空间可以分解为：S=DUCUCULUC12k其中：每个C,n=1,2,L,k均是由正常返状态组成的有限不可约闭集，nD是非常返态集。（十一）例子例1设有三个状态{0,1,2}的齐次马氏链，它的一步转移概率矩阵为：1/21/
6、20P=1/21/41/401/32/3试研究其状态关系。例2设有四个状态{0,1,2,3}的齐次马氏链，它的一步转移概率矩阵为：中科院研究生院2010～2011第一学期随机过程讲稿孙应飞1/21/2001/21/200P=1/41/41/41/40001试研究其状态关系。解：{0,1}正常返，{2}非常返，{3}吸收态。例3设马氏链的状态空间为S={1,2,3,4,5}，一步转移概率为：1/201/20001/403/40P=001/302/31/41/201/401/301/301/3求此链的
7、闭集。解：画出状态转移图，此链可约，闭集为：{1,3,5}。例4设马氏链的状态空间为S={1,2,3,L}，转移概率为：p=1/2，11p=1/2，p=1/2,i∈S，研究各状态的分类。ii+1i1解：画出状态转移图，可知：nn1∞1(n)f11=，故f11=∑=1，故状态1是常返的。2n=12n∞1又µ=∑n<∞，故状态1是正常返的。1n=12易知状态1是非周期的，从而状态1是遍历的。对于其它状态，由于1↔i,i∈S，因此也是遍历的。例5设有八个状态{0,1,2,3,4,5,6
