马尔可夫过程

《马尔可夫过程》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第三章马尔可夫过程第一节马尔可夫链的定义及其性质第二节马尔可夫链的状态分类第三节平稳分布与遍历性第四节时间连续的马尔可夫链第一节马尔可夫链的定义及其性质一、马尔可夫链的定义1．马尔可夫链注:而与以前的状态有限马氏链状态空间是有限集I={0,1,2,…，k}2．一步转移概率马氏链在时刻n处于状态i的条件下，到时刻n+1转移到状态j的条件概率，即称为在时刻n的一步转移概率，注:由于概率是非负的，且过程从一状态出发，经过一步转移后，必到达状态空间中的某个状态一步转移概率满足3．一步转移矩阵称为在时刻n的一步转移矩阵即有有限马氏链状态空间I={0，1，2，…，k}4．齐次马氏链即

2、则称此马氏链为齐次马氏链（即关于时间为齐次）5．初始分布注马氏链在初始时刻有可能处于I中任意状态，初始分布就是马氏链在初始时刻的概率分布。6．绝对分布概率分布称为马氏链的绝对分布或称绝对概率定态分布即例1不可越壁的随机游动设一质点在线段[1，5]上随机游动，状态空间I={1，2，3，4，5}，每秒钟发生一次随机游动，移动的规则是：（1）若移动前在2，3，4处，则均以概率向左或向右移动一单位，或停留在原处；（2）若移动前在1处，则以概率1移到2处；（3）若移动前在5处，则以概率1移到4处。试写出一步转移矩阵.分析故12345其一步转移矩阵为若将移动规则改为（1）若移动前在2

3、，3，4处，则均以概率向左或向右移动一单位；（2）若移动前在1，5处，则以概率1停留在原处。因为质点在1，5两点被“吸收”，故称有两个吸收壁的随机游动分析例2赌徒输光问题赌徒甲有资本a元，赌徒乙有资本b元，两人进行赌博，每赌一局输者给赢者1元，没有和局，直赌至两人中有一人输光为止。设在每一局中，甲获胜的概率为p，乙获胜的概率为，求甲输光的概率。这个问题实质上是带有两个吸收壁的随机游动。从甲的角度看，他初始时刻处于a，每次移动一格，向右移（即赢1元）的概率为p，向左移（即输1元）的概率为q。如果一旦到达0（即甲输光）或a+b（即乙输光）这个游动就停止。这时的状态空间为{0，

4、1，2，…，c}，c=a+b，。现在的问题是求质点从a出发到达0状态先于到达c状态的概率。考虑质点从j出发移动一步后的情况解同理根据全概率公式有这一方程实质上是一差分方程，它的边界条件是于是设则可得到两个相邻差分间的递推关系于是欲求先求需讨论r当而两式相比故当而因此故用同样的方法可以求得乙先输光的概率由以上计算结果可知例3排队问题顾客到服务台排队等候服务，在每一个服务周期中只要服务台前有顾客在等待，就要对排在前面的一位提供服务，若服务台前无顾客时就不能实施服务。则有求其转移矩阵在第n周期已有一个顾客在服务，到第n+1周期已服务完毕解先求出转移概率所以转移矩阵为说明：二、基

5、本性质性质1的联合分布可由初始分布及转移概率所决定，即有则性质2表明一个马氏链，如果按相反方向的时间排列，所成的序列也是一个马氏链。性质3表明若已知现在，则过去与未来是独立的。则性质4表明若已知现在，则过去同时对将来各时刻的状态都不产生影响。特别则性质5表明马氏链的子链也是马氏链在马氏链的研究中，须研究“从已知状态i出发，经过n次转移后，系统将处于状态j”的概率.三、n步转移矩阵1．n步转移概率系统在时刻m从状态i经过n步转移后处于状态j的概率称为n步转移概率由于马氏链是齐次的，这个概率与m无关显然有2．n步转移矩阵称为n步转移矩阵规定3．绝对概率公式定理1绝对概率由初始

6、分布和n维转移概率完全确定即有证注若对定态分布，则4．切普曼---柯尔莫哥洛夫方程定理2则证注（1）用一步转移概率表示多步转移概率注I={1，2，…，N}由矩阵的乘法规则，得表示：在时刻n，各状态的概率等于其初始状态的概率与n步转移概率矩阵之积。若链是齐次的，则有例4甲、乙两人进行比赛，设每局比赛中甲胜的概率是p，乙胜的概率是q，和局的概率是，（）。设每局比赛后，胜者记“+1”分，负者记“—1”分，和局不记分。当两人中有一人获得2分结束比赛。以表示比赛至第n局时甲获得的分数。（1）写出状态空间；（3）问在甲获得1分的情况下，再赛二局可以结束比赛的概率是多少？解（1）记甲获

7、得“负2分”为状态1，获得“负1分”为状态2，获得“0分”为状态3，获得“正1分”为状态4，获得“正2分”为状态5，则状态空间为一步转移概率矩阵（2）二步转移概率矩阵（3）从而结束比赛的概率；从而结束比赛的概率。所以题中所求概率为返回第二节马尔可夫链的状态分类一、相通与闭集1．相通则称自状态i可到达状态j则称状态i和状态j相通说明如果自状态i不能到达状态j，定理1即它满足（1）自反性（2）对称性证（3）传递性（1），（2）显然，下证（3）证3则由相通定义，根据切普曼---柯尔莫哥洛夫方程，有同理可证说明按相通关系是等价关系，可