markov链第一讲.ppt

《markov链第一讲.ppt》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第三章马尔可夫过程第一节马尔可夫链的定义及其性质第二节马尔可夫链的状态分类第三节平稳分布与遍历性第四节马尔可夫链的应用第五节时间连续的马尔可夫链马尔可夫链的定义相关定义（转移概率、转移矩阵、齐次马氏链、初始分布、绝对分布）随机游动过程赌徒输光问题第一节马尔可夫链的定义及其性质1．马尔可夫链（Markov）Markov性分析:而与以前的状态有限马氏链状态空间是有限集I={0,1,2,…，k}直观含义:将n看作现在时刻，那么n-1,n-2,…0就是过去时刻，而n+1就是将来时刻。那么Markov性表示的就是指在已知“现在”

2、和“过去”的条件下，“将来”与“过去”是无关，也就是独立的。而只和“现在”有关。2．转移概率马氏链在时刻n处于状态i的条件下，到时刻n+1转移到状态j的条件概率即称为在时刻n的一步转移概率，同理，马氏链在时刻n处于状态i的条件下，到时刻n+k转移到状态j的条件概率称为在时刻n的k步转移概率，注:由于概率是非负的，且过程从一状态出发，经过k步转移后，必到达状态空间中的某个状态转移概率满足3．转移矩阵称为在时刻n的一步转移矩阵对于有限马氏链状态空间I={0，1，2，…，k}例1设随机过程{Xn,n=0,1,2……}，I={

3、0,1,2},Xn的状态转移图如下：写出一步转移概率矩阵4．齐次马氏链即则称此马氏链为齐次马氏链（即关于时间为齐次）5．初始分布6．绝对分布例1不可越壁的随机游动设一质点在线段[1，5]上随机游动，状态空间I={1，2，3，4，5}，每秒钟发生一次随机游动，移动的规则:（1）若移动前在2，3，4处，则均以概率向左或向右移动一单位，或停留在原处；（2）若移动前在1处，则以概率1移到2处；（3）若移动前在5处，则以概率1移到4处。试写出一步转移矩阵.分析故12345其一步转移矩阵为例2若将移动规则改为（1）若移动前在2，3

4、，4处，则均以概率向左或向右移动一单位；（2）若移动前在1，5处，则以概率1停留在原处。因为质点在1，5两点被“吸收”，故称有两个吸收壁的随机游动是形式最为简单的Markov过程；许多随机现象都能归结为各种形式的随机游动，是一个可以描述多种随机现象的数学模型。随机游动过程：指在直线上作随机运动的质点，在任意一时刻i，下一步质点只能向前或后移动一个单位，或者停留在原处简单随机游动；带有吸收壁的随机游动；带有反射壁的随机游动；分析例3赌徒输光问题赌徒甲有资本a元，赌徒乙有资本b元，两人进行赌博，每赌一局输者给赢者1元，没有

5、和局，直赌至两人中有一人输光为止。设在每一局中，甲获胜的概率为p，乙获胜的概率为，求甲输光的概率。这个问题实质上是带有两个吸收壁的随机游动。从甲的角度看，他初始时刻处于a，每次移动一格，向右移（即赢1元）的概率为p，向左移（即输1元）的概率为q。如果一旦到达0（即甲输光）或a+b（即乙输光）这个游动就停止。这时的状态空间为{0，1，2，…，c}，c=a+b，。现在的问题是求质点从a出发到达0状态的概率。考虑质点从j出发移动一步后的情况解同理根据全概率公式有这一方程实质上是一差分方程，它的边界条件是于是设则可得到两个相邻

6、差分间的递推关系于是需讨论r当而两式相比故当而因此故用同样的方法可以求得乙先输光的概率由以上计算结果可知例4排队问题顾客到服务台排队等候服务，在每一个服务周期中只要服务台前有顾客在等待，就要对排在前面的一位提供服务，若服务台前无顾客时就不能实施服务。则有求其转移矩阵在第n周期已有一个顾客在服务，到第n+1周期已服务完毕解先求出转移概率所以转移矩阵为说明:二、基本性质性质1的联合分布可由初始分布及转移概率所决定，即有则性质2表明一个马氏链，如果按相反方向的时间排列，所成的序列也是一个马氏链。性质3表明若已知现在，则过去与

7、未来是独立的。则性质4表明若已知现在，则过去同时对将来各时刻的状态都不产生影响。特别则性质5表明马氏链的子链也是马氏链在马氏链的研究中，须研究“从已知状态i出发，经过n次转移后，系统将处于状态j”的概率.三、n步转移矩阵1．n步转移概率系统在时刻m从状态i经过n步转移后处于状态j的概率称为n步转移概率由于马氏链是齐次的，这个概率与m无关显然有2．n步转移矩阵称为n步转移矩阵规定3．绝对概率公式定理1绝对概率由初始分布和n维转移概率完全确定即有证注若对定态分布，则4．切普曼---柯尔莫哥洛夫方程定理2则证注（1）用一步转

8、移概率表示多步转移概率注I={1，2，…，N}由矩阵的乘法规则，得表示：在时刻n，各状态的概率等于其初始状态的概率与n步转移概率矩阵之积。若链是齐次的，则有例4甲、乙两人进行比赛，设每局比赛中甲胜的概率是p，乙胜的概率是q，和局的概率是，（）。设每局比赛后，胜者记“+1”分，负者记“-1”分，和局不记分。当两人中有一人获得2分结束