[理学]随机过程课件-马尔可夫链.ppt

《[理学]随机过程课件-马尔可夫链.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、关键词：马尔可夫性时齐马尔可夫链n步转移概率C-K方程马氏链的有限维分布律常返暂留正常返零常返互达周期不可约平稳分布第十一章马尔可夫链1浙江大学随机过程2浙江大学随机过程3浙江大学随机过程4浙江大学随机过程5浙江大学随机过程6浙江大学随机过程7浙江大学随机过程8浙江大学随机过程……n21X0X1X2XnXn-19浙江大学随机过程1345210浙江大学随机过程13452如果把1这点改为吸收壁，即Q一旦到达1这一点，则永远留在点1时，此时的转移概率矩阵为：一步转移概率矩阵为：11浙江大学随机过程例4：排队模型设服务系统由一个服务员和只可以容纳两个人的等候室组成。服务规则为：先到先服

2、务，后来者需在等候室依次排队，假设一个需要服务的顾客到达系统时发现系统内已有3个顾客，则该顾客立即离去。设时间间隔⊿t内有一个顾客进入系统的概率为q，有一接受服务的顾客离开系统(即服务完毕)的概率为p,又设当⊿t充分小时，在这时间间隔内多于一个顾客进入或离开系统实际上是不可能的，再设有无顾客来到与服务是否完毕是相互独立的。等候室服务台系统随机到达者离去者12浙江大学随机过程现用马氏链来描述这个服务系统：设Xn=X(n⊿t)表示时刻n⊿t时系统内的顾客数，即系统的状态。{Xn,n=0,1,2…}是一随机过程，状态空间I={0,1,2,3},且如前例1、例2的分析可知，它是一个时齐

3、马氏链，它的一步转移概率矩阵为：等候室服务台系统随机到达者离去者13浙江大学随机过程例5：设甲、乙两袋共装5个球，每次任取一袋,并从袋中取出一球放入另一袋(若袋中无球则不取)。Xn表示第n次抽取后甲袋的球数，n=1,2,….{Xn,n=1,2,…}是一随机过程，状态空间I={0,1,2,3,4,5},当Xn=i时，Xn+1=j的概率只与i有关，与n时刻之前如何取到i值是无关的，这是时齐马氏链，一步转移矩阵为：甲乙14浙江大学随机过程例6：卜里耶（Polya)罐子模型。设一罐子装有r个红球，t个黑球，现随机从罐中取出一球，记录其颜色，然后将球放回，并加入a个同色球。持续进行这一过

4、程，Xn表示第n次试验结束时罐中的红球数，n=0，1,2,….{Xn,n=0，1,2,…}是一随机过程，状态空间I={r,r+a,r+2a,…},当Xn=i时，Xn+1=j的概率只与i有关，与n时刻之前如何取到i值是无关的，这是一马氏链，但不是时齐的,一步转移概率为：15浙江大学随机过程16浙江大学随机过程17浙江大学随机过程18浙江大学随机过程19浙江大学随机过程20浙江大学随机过程21浙江大学随机过程22浙江大学随机过程23浙江大学随机过程证毕！24浙江大学随机过程25浙江大学随机过程26浙江大学随机过程27浙江大学随机过程28浙江大学随机过程29浙江大学随机过程30浙江大

5、学随机过程31浙江大学随机过程32浙江大学随机过程33浙江大学随机过程34浙江大学随机过程35浙江大学随机过程36浙江大学随机过程37浙江大学随机过程38浙江大学随机过程39浙江大学随机过程40浙江大学随机过程41浙江大学随机过程42浙江大学随机过程43浙江大学随机过程44浙江大学随机过程45浙江大学随机过程46浙江大学随机过程47浙江大学随机过程48浙江大学随机过程49浙江大学随机过程50浙江大学随机过程51浙江大学随机过程52浙江大学随机过程53浙江大学随机过程54浙江大学随机过程55浙江大学随机过程56浙江大学随机过程57浙江大学随机过程58浙江大学随机过程59浙江大学随

6、机过程60浙江大学随机过程61浙江大学随机过程62浙江大学随机过程63浙江大学随机过程64浙江大学随机过程65浙江大学随机过程66浙江大学随机过程67浙江大学随机过程68浙江大学随机过程69浙江大学随机过程例6：设有6个球(2个红球,4个白球)随机平分放入甲,乙两个盒中.今每次从两盒中各任取一球并进行交换.表示开始时甲盒中的红球数,表示经n次交换后甲盒中的红球数.(1)求此马氏链的初始分布;(2)求一步转移矩阵;(3)计算70浙江大学随机过程71浙江大学随机过程72浙江大学随机过程平稳分布的意义73浙江大学随机过程74浙江大学随机过程Markov链的应用—PageRankPag

7、eRank,就是网页排名，又称网页级别，是一种由搜索引擎根据网页之间相互的超链接计算的网页排名技术，Google用它来体现网页的重要性。是Google的创始人拉里·佩奇和谢尔盖·布林在斯坦福大学发明了这项技术,并最终以拉里·佩奇（LarryPage）之姓来命名。75浙江大学随机过程Markov链的应用--PageRank76浙江大学随机过程链接源ID链接目标112,3,4,5,72131,242,3,551,3,4,661,57577浙江大学随机过程78浙江大学随机过程79浙江大学随机过程8