资源描述：
《随机过程第3-4讲》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、中科院研究生院2011～2012第一学期随机过程讲稿孙应飞第二章Markov过程本章我们先讨论一类参数离散、状态空间离散的特殊随机过程，即参数为T={0,1,2,L}=N，状态空间为可列S={1,2,L}或有限S={1,2,L,n}的0Markov链。Markov链最初由Markov于1906年引入，至今它在自然科学、工程技术、生命科学及管理科学等诸多领域中都有广泛的应用。之后我们将讨论另一类参数连续状态空间离散的随机过程，即研究纯不连续Markov过程。1．Markov链的定义定义：设随机序列{X(n);n≥0}的状态空间为S（离散），如
2、果对∀n∈N，0及i,i,L,i,i∈S,P{X(0)=i,X(1)=i,L,X(n)=i}>0，有：01nn+101nP{X(n+1)=iX(0)=i,X(1)=i,L,X(n)=i}=n+101n(A)=P{X(n+1)=iX(n)=i}n+1n则称{X(n);n≥0}为Markov链。注1：随机序列{X(n);n≥0}也可记为{X;n≥0}。n注2：等式（A）刻画了Markov链的特性，称此特性为Markov性或无后效性（即随机过程将来的状态只与现在的状态有关，而与过去无关），简称为马氏性。Markov链也称为马氏链。定义：设{X(n
3、);n≥0}为马氏链，状态空间为S，对于∀i,j∈S，称P{X(n+1)=jX(n)=i}=ˆp(n)ij为马氏链{X(n);n≥0}在n时刻的一步转移概率。若对于∀i,j∈S，有P{X(n+1)=jX(n)=i}=ˆp(n)≡pijij即上面式子的右边与时刻n无关，则称此马氏链为齐次（或时齐的）马氏链。对于齐次马氏链，我们记P=(p)，称矩阵P为齐次马氏链的一步转移概ij中科院研究生院2011～2012第一学期随机过程讲稿孙应飞率矩阵，简称为转移矩阵。注3：对于马氏链{X(n);n≥0}，我们有：P{X(0)=i,X(1)=i,L,X(n
4、)=i}=01n=P{X(n)=iX(0)=i,X(1)=i,L,X(n−1)=i}⋅n01n−1⋅P{X(0)=i,X(1)=i,L,X(n−1)=i}01n−1=P{X(n)=iX(n−1)=i}⋅P{X(0)=i,X(1)=i,L,X(n−1)=i}nn−101n−1=L=P{X(n)=iX(n−1)=i}⋅P{X(n−1)=iX(n−2)=i}⋅L⋅nn−1n−1n−2⋅P{X(1)=iX(0)=i}⋅P{X(0)=i}100=p(n−1)p(n−2)⋅L⋅p(0)⋅P{X(0)=i}in−1inin−1in−1i0i10因此，只要
5、得到了马氏链的一步转移概率及初始分布，就可以求得马氏链的任意前n+1维的联合分布。特别地，若马氏链是齐次的，则由转移矩阵及初始分布，就可以得到齐次马氏链的任意前n+1维的联合分布。注4：一步转移概率满足：p(n)≥0(i,j∈S)ij∑pij(n)=1i∈Sj∈S注5：若状态空间是有限的，设状态数为n则一步转移矩阵是n阶方阵，若状态是无限可列的情形，则一步转移矩阵只是形式上的矩阵。2．切普曼－柯尔莫哥洛夫（C－K）方程（一）m步转移概率的定义(m)定义：称p(n)=P{X(n+m)=jX(n)=i}为马氏链{X(n);n≥0}的ij(m)(
6、m)m步转移概率。在齐次马氏链的情况下，p(n)与n无关，我们记为p，称ijij中科院研究生院2011～2012第一学期随机过程讲稿孙应飞(m)(m)P=(p)ij为齐次马氏链的m步转移（概率）矩阵。显然有：(m)p(n)≥0(i,j∈S)ij(m)∑pij(n)=1(i∈S)j∈Sm=1时，即为一步转移矩阵。1i=j(0)规定：pij(n)=δij=0i≠j（二）切普曼－柯尔莫哥洛夫（C－K）方程定理：对于m步转移概率有如下的C－K方程：(m+r)(m)(r)p(n)=∑p(n)p(n+m)(i,j∈S)ijikkjk∈S对于齐次马
7、氏链，此方程为：(m+r)(m)(r)p=∑pp(i,j∈S)（C－K方程）ijikkjk∈S证明：由m步转移概率的定义、全概率公式及马氏性，有：(m+r)p(n)=ij=P{X(n+m+r)=jX(n)=i}=∑P{X(n+m+r)=j,X(n+m)=kX(n)=i}k∈S=∑P{X(n+m+r)=jX(n+m)=k,X(n)=i}⋅k∈S⋅P{X(n+m)=kX(n)=i}=∑P{X(n+m+r)=jX(n+m)=k}P{X(n+m)=kX(n)=i}k∈S(m)(r)=∑pik(n)pkj(n+m)k∈S对于齐次马氏链的情形：我们可以
8、写成矩阵的形式即有：(m+r)(m)(r)P=PP中科院研究生院2011～2012第一学期随机过程讲稿孙应飞由此推出：(m)(m−1)(1)mmP=PP=L=(P)=P(1)其中
