随机过程-C4马尔可夫链复习过程.doc

《随机过程-C4马尔可夫链复习过程.doc》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、随机过程-C4马尔可夫链精品文档练习四：马尔可夫链随机过程练习题1．设质点在区间[0，4]的整数点作随机游动，到达0点或4点后以概率1停留在原处，在其它整数点分别以概率向左、右移动一格或停留在原处。求质点随机游动的一步和二步转移的概率矩阵。2．独立地重复抛掷一枚硬币，每次抛掷出现正面的概率为，对于求，令=0，1，2或3，这些值分别对应于第次和第次抛掷的结果为（正，正），（正，反），（反，正）或（反，反）。求马尔可夫链的一步和二步转移的概率矩阵。3．设为马尔可夫链，试证：（1）（2）4．设为有限齐次马尔可夫链，其初始分布和转移概率矩阵为，，试证5．设为随机过程，且，为独立同

2、分布随机变量序列，令，试证是马尔可夫链。6．已知随机游动的转移概率矩阵为，求三步转移概率矩阵及当初始分布为时经三步转移后处于状态3的概率。7．已知本月销售状态的初始分布和转移概率矩阵如下：（1），；收集于网络，如有侵权请联系管理员删除精品文档（2），；求下一、二个月的销售状态分布。8．某商品六年共24个季度销售记录如表（状态1——畅销，状态2——滞销）季节123456789101112销售状态112122111212季节131415161718192021222324销售状态112211212111以频率估计概率。求（1）销售状态的初始分布；（2）三步转移概率矩阵及三步转

3、移后的销售状态分布。10．讨论下列转移概率矩阵的马尔可夫链的状态分类。（1）；（2）；（3），其中，11．设马尔可夫链的转移概率矩阵为（1）；（2）；计算，，12．设马尔可夫链的状态空间，转移概率矩阵为收集于网络，如有侵权请联系管理员删除精品文档求状态的分类及各常返闭集的平稳分布。13．设马尔可夫链的转移概率矩阵为，求它的平稳分布。14．艾伦菲斯特(Erenfest)链。设甲乙两个容器共有个球，每隔单位时间从这个球中任取一球放入另一容器中，记为在时刻甲容器中球的个数，则是齐次马尔可夫链，称为艾伦菲斯特链，求该链的平稳分布。15．将2个红球4个白球任意地分别放入甲、乙两个盒

4、子中，每个盒子放3个，现从每个盒子中各任取一球，交换后放回盒中（甲盒内取出的球放入乙盒中，乙盒内取出的球放入甲盒中），以表示经过次交换后甲盒中红球数，则为一齐次马尔可夫链，（1）求一步转移概率矩阵；（2）证明是遍历链；（3）求16．设为非周期不可约马尔可夫链，状态空间为，若对一切，其一步转移概率矩阵满足条件：，试证（1）对一切，；（2）若状态空间，计算各状态的平均返回时间。17．设河流每天的BOD（生物耗氧量）浓度为齐次马尔可夫链，状态空间是按BOD浓度为极低、低、中、高分别表示的，其一步转移概率矩阵（以一天为单位）为收集于网络，如有侵权请联系管理员删除精品文档。若BOD

5、浓度为高，则称河流处于污染状态。（1）证明该链是遍历链；（2）求该链的平稳分布；（3）河流再次达到污染的平均时间。答案1．解：质点随机游动的一步转移的概率矩阵为质点随机游动的二步转移的概率矩阵为2．解：马尔可夫链的一步转移的概率矩阵为马尔可夫链的一步和二步转移的概率矩阵为3．证：（1）收集于网络，如有侵权请联系管理员删除精品文档（2）4．证：5．解：由题意知是的函数，由于是相互独立的随机变量，故对，与独立。收集于网络，如有侵权请联系管理员删除精品文档由，的任意性知为马尔可夫链。6．解：，7．解：，8．解：，，9．解：，两个闭集。10．解：（1），两个遍历状态闭集。（2）遍

6、历闭集，非常返态。（3），是吸收态闭集，是非常返集。11．解：（1），，；，，；，，；，，。12．解：，非常返集，，是正常返闭集。由转移矩阵收集于网络，如有侵权请联系管理员删除精品文档解得的平稳分布为；同理，的平稳分布为。13．解：，，14．解：的转移概率为，，，，其平稳分布满足方程组解此方程组得由条件得故的平稳分布为，15．解：（1）（2）由于是有限的，中所有状态是互通的，且状态0是非周期的，故为遍历链。（3）由平稳分布满足的方程组收集于网络，如有侵权请联系管理员删除精品文档解方程组得：，，，，16．解：（1）用归纳法。设当时，对一切，都有，则（2）由条件知为非周期不可

7、分马尔可夫链，且状态空间有限，故为遍历链，因此，所以，，17．解：（2），，，；（3）（天）收集于网络，如有侵权请联系管理员删除