数值分析3-2new

《数值分析3-2new》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、合肥工业大学数学系第二节Markov链的状态分类3.2.1互达性和周期性(n)定义3.3可达与互达．如果对某一n³0，有P>0则称状态j是从状态i可达的记作iji®j，它表示从状态i经过有限步的转移可以到达状态j。两个互相可达的状态i和j则称为是互达的记作i¬®j.命题3.1互达性是等价关系1)i«j自反性，2)若i«j，则j«i，对称性，3)若i«j，则j«k，则i«k，传递性。两个状态如果是互达的就称他们是处在同一类中．Markov链的所有状态就由互达这一等价关系而分割成不同的等价类．由命题3.1我们立刻知道两个类要

2、么互不相交，要么完全重合．如果在互达性这一等价关系下Markov链的所有状态都居于同一类那么就称这个Markov链是不可约的．换言之，不可约过程的各个状态都是互达的．例3.4若Markov链有转移概率矩阵é13ù000êú44êúê11ú000ê22úêúP=00010êúê11úê000ú22êúê00010úêëúû则显见{1,2}和{3,4,5}是状态在互达意义下的两个等价类。这个链是可约的。可以把它分成两个链来研究。(n)定义3.4状态i的周期．i为Markov链的一个状态，使P>0的所有n(n³1)的最大公ii

3、(n)约数称作是状态i的周期记作d(i)．如果对所有n³1，都有P=0则约定周期为¥；iid(i)=1的状态i称为是非周期的．(n)由定义立即可知如n不能被周期d(i)整除则必有P=0．ii例3.6Markov链有状态o，1，2，3和转移概率阵合肥工业大学数学系é0100ùêú0010êúP=ê0001úêúê1010úêë22úû试求状态0的周期。(2)(3)(5)(2n+1)解：不难直接算出P=0,P=P=P=P=0而0000000000()41()61()83P=,P=,P=。而{4,6,8,10,L}的最大公约数

4、为2。所以d(0)=2000000248命题3.2如果i«j则d(i)=d(j)(nd(i))命题3.3如果状态i有周期d(i)，则存在整数N使得对所有的n>N恒有P>0．ii(m)(m+nd(i))推论3.1如果P>0，则存在正整数N使得对n³N恒有P>0。jiji命题3.4令P为不可约、非周期、有限状态Markov链的转移概率矩阵．则必存在N使得(n)当n³N时n步转移概率阵P的所有元素都非零．3.2.2常返与瞬过(n)引入一个重要的概率f，它表示从i出发在n步转移时首次到达j的概率。即：ijf(0)=0ijf(n)

5、P{XjXjknXi}=n=,k¹,=1,L,-1=ij0¥()n记fij=åfij，它是从i出发最终转入状态j的概率。n=1定义3.4如果f=1我们称状态i是常返的，一个非常返状态就称为是瞬过的．ii定理3.2状态i常返的充分必要条件是¥P()nåii=¥i=1¥P()n当然与此等价地有，状态i是瞬过的当且仅当åii<¥n=1推论3.2如果i是常返的，且i«j，则j也是常返的定义3.5一个常返状态i当且仅当u=¥时称为是零常返的．而当且仅当u<¥时称为正ii常返的．例3.7设马氏链的状态空间为I={1,2,3,4}，其

6、一步转移概率矩阵为合肥工业大学数学系é1/21/200ùêú1/21/200P=êúê1/41/41/41/4úêúë0001û试讨论该马氏链各状态的常返性。解：n步转移概率矩阵为：é1/21/200ùêú1/21/200êúP()n=Pn=ên1n11n1úêåkåknåkúêk=14k=144k=14úêë0001úû1由P()n=1/2,P()n=1/2,P()n=,P()n=1112233n444得：¥¥¥¥åP()n=+¥,åP()n=+¥,åP()n=+¥,åP()n=+¥11224433n=1n=1n=1n

7、=1因此状态1，2，4都是常返态，状态3是非常返态。当n®¥时，P(n),P(n),P(n)都112244不趋于0。所以状态1，2，4都是正常返态。