清华大学随机过程答案3

《清华大学随机过程答案3》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、清华大学电子工程系版权所有1概率论与随机过程(2)，homework4_MarkovChain3©清华大学电子工程系1.设f(n);n=1;2;3


g是伯努利过程。定义另一随机过程f(n);n=1;2;3


g：*如果(n)=0，(n)=0；*如果(n)=(n1)=


=(nk+1)=1;(nk)=0，则(n)=k(k=1;2;


n)。即(n)代表在n时和n前连续出现(m)=1的次数。(a)试证明(n)是一马尔可夫链，并求一步转移概率；(n)(n)(b)从零状态出发，经n步转移，求首次返回零状态的概率f00

2、和n步转移概率P00；(c)该链是常返还是非常返的？(d)设T代表连续两个=0间的时间，则T为一随机变量。求T的均值和方差。参考解答：(a)题目所述过程可以表示为：(n+1)=(n+1)((n)+1),又(n)独立同分布，因此此过程是齐次MC过程。设P((n)=1)=p，P((n)=0)=1p，则其一步转移概率为：8i;j>0;pij=(1p)[j]+p[ji1]。∑∑(b)8n>0;f(n)=p(n1)(1p),Pn=P(n1)p=P(n1)(1p)=1p000000i000i2Si2S(c)由(2)，当p<

3、1时，此链是常返的；当p=1时，此链是非常返的。(d)P(T=n)=pn1(1p);8n>11E(T)=1p∑1pn12D(T)=p(1p)n=(1p)22(1p)n=12.设有马尔可夫链，它的状态空间为I:f1;2;


g，且设当jijj>1时Pij=0,在其它的i;j值时Pij是任意的正数，对每个j>0必须满足Pj;j1+Pjj+Pj;j+1=1当j=0时，P00+P01=1。这类过程可以称为离散时间的生灭过程。求该链为正常返的条件。参考答案：显然,此过程中所有状态都是相通的，所有状态都是非周期的。该链为正常返即该链是遍历

4、的。设过程的平稳分布为，当此链为正常返时，(0)=1>0;当(0)>0时,由：(0)=∑0n(n)lim(i)Pi0,当0为零常返或者非常返时，limPi0=0,因此若0不是正常返时，n!1n!1i2I(0)=0，矛盾，因此必有0为正常返态。所以该链为正常返等价于存在平稳分布，且(0)>0。因此：q1(1)=p0(0)(1)清华大学电子工程系版权所有2pi1(i1)+qi+1(i+1)=(pi+qi)(i);i>1上式可改为：qi+1(i+1)qi(i)=pi(i)pi1(i1);i>1对等式两边同时对

5、i求和得∑n1∑n1[qi+1(i+1)qi(i)]=[pi(i)pi1(i1)]i=1i=1化简后为qn(n)q1(1)=pn1(n1)p0(0)结合公式(1)可得qn(n)=pn1(n1);n>1即pn1(n)=(n1);n>1qn从而有∏npr1(n)=(0);n>1qrr=1∑∞因为极限分布的归一化，(n)=1,所以n=0[]∑1∏npr11+(0)=1qrn=1r=1括号内式子收敛时，(0)不为0，是正常返；反之如它不收敛，(0)为0，是零常返。∑1∏npr1因此该链正

6、常返的条件是1+收敛。n=1r=1qr3.冬天是流感频发的季节，我们希望利用Markov链来对流感病毒的传播过程进行建模。假设一个人群中有n个个体，每一个个体要么是已被感染，要么是属于易感人群。假设任意两个人(i;j);i̸=j在白天相遇的概率为p，且相互独立。只要一个易感者与已感染者相遇，则该易感者就会被感染。另外，假设在晚上的时候，任何一个被感染时间至少为24小时的个体都将独立地以概率q，(0

7、的数目的分布。(2)当n=2时，请画出一条Markov链对流感病毒的传播过程进行建模，要求使用尽可能少的状态数目。(3)请指出（2）中所绘制的Markov链的所有常返态。参考解答：(1)如果n个个体中有m个已感染者，则必有nm个易感者。每一个易感者在白天m独立地被病毒感染的概率为=1(1p)。因此，新被感染者的数目I将服从二项分布B(nm￿)，即()nmknmkpI(k)=(1);k=0;1;?;nmk清华大学电子工程系版权所有3(2)令状态表示所有人群中被感染者的数目。当n=2时，相应的Markov链如下图所示:

(3

8、)常返态f0g。4.设质点在xy平面内的x方向或y方向上作随机游动。在xy平面上安排整数点格，质点每次转移只能沿x方向往左