资源描述：
《中科院随机过程讲义4new》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、第四章离散时间Markov链4.1定义和一些例子在一些物理学、生物学、经济学等许多学科中，都有如下行为的系统：该系统是与时间有关的一个系统，如果已知系统在现在的状态，则此系统的过去所处的状态与将来所处状态是（条件）独立的，这个特性称为Markov性。本节我们考虑状态空间S为离散的，用i,i,L或i,j表示状态，参数集T为离散的（一般表01示时间），T={}0,1,2,L。定义4.1.1：一个离散时间随机过程{X,n≥0}称为Markov链，若对任意状态序n列{}i,i,Li,i,j⊂S01n−1P(X=j
2、X=i,X=i,LX=i,X=i)=P(X=jX=i)。n+10011n−1n−1nn+1nn,n+1记P=P(X=jX=i)，i,j∈S称为在n时的一步转移概率（onestepijn+1nn,n+1transitionprobabilities）。固定n，转移概率P，可以看成某个矩阵的第i行j列ijn,n+1元素，把该矩阵记为P(n)，即P(n)=(P)，它有可能是无穷维的。P(n)称iji,j∈Sn,n+1为在时刻n的一步转移概率矩阵。一般来说转移概率P依赖于时刻n，此时ij称该Markov链是非齐次
3、的(inhomogenous)。但是，一个重要的情形是粒子在时刻s处于状态i，在时刻s+t处于状态j与在初始时刻s=0处于状态i，在时刻t处于状态j这两个过程是一样的。定义4.1.2：Markov链{X,n≥0}称为齐次Markov链或称为有平稳转移概率的nn,n+1Markov链若它一步转移概率P，n∈Ti,j∈S不依赖于n。ijn,n+1对于齐次Markov链，由于一步转移概率P不依赖于n，因此记ijn,n+1P=P=P(X=jX=i)，此时一步转移概率矩阵为P=(P)。以下不ijijn+1niji,
4、j∈S1特别指明，所讨论的均为齐次Markov链。以p=P(X=i),i∈S记Markov链i0{X,n≥0}的初始分布（∑p=1）。nii∈S定理4.1.1：1).Pij≥0,∑Pij=1，∀i,j∈Sj∈S2).P(X=i,X=i,LX=i)=pPPLP0011nni0i0i1i1i2in−1in例4.1.1：直线上的随机游动。假设从原点开始，粒子以p的概率向前迈一步，以q的概率向后迈一步，以r的概率在原地不动，p+q+r=1。X表示n时刻n的位置，则X为齐次Markov链。状态空间S={L,−2,−
5、1,0,1,2,L}，一步转移概n率P=p,P=r,P=q,P=0,i−j>1，∀i,j∈S。这是无限制随机游动。i,i+1iii,i−1ij4.2n步转移概率矩阵设状态空间为S，一步转移概率为P，初始分布为p=P(X=i),i∈S的齐次i0(n)()()Markov链{}X,n≥0，令P=PX=jX=i=PX=jX0=i,n≥2，表示nijn+mmn经过n个时刻，链从状态i转移到状态j的概率，称为n步转移概率。令⎧1,若i=j(0)(0)(0)(1)Pij=⎨i,j∈S，定义如下矩阵P=(P)，P=P=
6、(P)，iji,j∈Siji,j∈S⎩0,若i≠j(n)(n)n≥2，P=(P)（n步转移概率矩阵）。iji,j∈S(n)定理4.2.1：1).P(Xn=j)=∑piPij,∀j∈Si∈s2).(Chapman-Kolmogorovrelation)(n+m)(m)(n)Pij=∑PikPkj，i,j∈Sk∈S2考虑矩阵乘法，上式可写成(n+m)(n)(m)P=P⋅P因此有(n)nP=P,n≥1例4.2.1：考虑两个状态的Markov链{X,n≥0}，一步转移概率为n01P=0⎛1−pp⎞⎜⎟⎜⎟1⎝q1
7、−q⎠则n(n)n1⎛qp⎞(1−p−q)⎛p−p⎞P=P=⎜⎜⎟⎟+⎜⎜⎟⎟p+q⎝qp⎠p+q⎝−qq⎠4.3状态空间的分解(n)定义4.3.1：称状态i可到达（accessible）j，记为i→j，若存在n≥0使得P>0；ij若i→j,j→i，则称i,j是相通的（communicate），记为i↔j。相通关系是一个等价关系，即满足：1)自反性：i↔i；2)对称性：i↔j，则j↔i；3)传递性：i↔j,j↔k，则i↔k。两个状态若是相通的就称他们是处于同一类。Markov链的所有状态按相通关系分割成不
8、同的等价类，两个等价类要么不相交，要么重合。定义4.3.2：一个状态集合C称为是闭集，若P=0对∀i∈C,∀j∉C。一旦粒子进ij入某个闭集，就永远停留在此闭集中。一个Markov链称为不可约（irreducible）若除整个状态空间外无别的闭集。3定理4.3.1：Mrakov链不可约⇔所有状态之间是相通的。证明：⇐显然。⇒（反证法）若存在两状态i,j不是相通的，不妨设i→/j。令C={ki→k}，则首先j∉C；其次对∀k∈C
