随机过程马尔科夫过程.ppt

《随机过程马尔科夫过程.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第五章离散时间马尔可夫链马尔可夫过程是前苏联数学家A.A.Markov首先提出和研究的一类随机过程.经过世界各国几代数学家的相继努力,至今已成为内容十分丰富,理论上相当完整,应用也十分广泛的一门数学分支.它的应用领域涉及计算机、通讯、自动控制、随机服务、可靠性、生物、经济、管理、气象、物理、化学等.马尔可夫(1856年6月14日——1922年7月20日）马尔可夫对数学的最大贡献是在概率论领域作出的．十九世纪后二十年，他主要是沿着切比雪夫开创的方向，致力于独立随机变量和古典极值理论的研究，从而改进和完善了大数定律和中心极限定理．二十世纪初，

2、他的兴趣转移到相依随机变量序列的研究上来，从而创立了以他命名的著名概率模型——马尔可夫链．王梓坤院士(1929年—)江西吉安人,1952年大学毕业后，被分派到天津南开大学数学系任教.是一位对我国科学和教育事业作出卓越贡献的数学家和教育家，也是我国概率论研究的先驱和学术带头人之一。1954年，他又以优异的成绩考取了赴苏研究生。踏进世界著名学府－莫斯科大学，在这个学府世界概率论的奠基人柯尔莫哥洛夫院士正领导看一个强有力的概率研究集团。柯尔莫高洛夫慧眼识英才，非常信赖这位由中国选派的年轻人的能力，把他选作自己的研究生，去攻概率论的中心问题随机过

3、程理论。当时中国近代数学才刚刚起步，大学也没有概率课程。此时苏联的概率论水平已届于世界最前列。王梓坤也根本不知道什么是概率，可他的研究方向又恰恰被定为概率论，著有《概率论基础及其应用》、《随机过程论》、《生灭过程与马尔科夫链》等9部数学著作．马尔可夫过程的定义马尔可夫链的转移概率与概率分布齐次马尔可夫链状态的分类转移概率的稳定性能本章主要内容引例(有限制随机游动问题)设质点只能在{0，1，2，···，a}中的各点上作随机游动，移动规则如下：ii+1i-101a-1a设Xn表示质点在n时刻所处的位置§1马尔可夫过程的定义基本概念1．马尔可夫

4、性通俗地说，就是在知道过程现在的条件下，其将来的条件分布不依赖于过去，则称具有马尔可夫（Markov)性。定义设是一个随机过程，如果在t0时刻所处的状态为已知，它在时刻所处状态的条件分布与其在t0之前所处的状态无关。2.马尔可夫过程定义设的状态空间为S,的条件分布函数恰好等于3.马尔可夫链定义参数集和状态空间都是离散的马尔可夫过程称为马尔可夫链。注只讨论马尔可夫链的状态空间为有限或可列无限.则马尔可夫性可表示为特别对取T={0,1,2,···}的马尔可夫链，记为或此时的马尔可夫性为或今后,记二马尔可夫链的转移概率1.转移概率定义设是马尔可

5、夫链,称条件概率经过k步转移,于n+k时到达状态j的条件概率).在n时的k步转移概率.n时的k步转移概率矩阵.特别当k=1时，定义称可数维的矩阵为随机矩阵，如果显然，在n时的k步转移概率矩阵是一随机矩阵.特别k＝０时，约定实际中常会碰到具有时齐性的马氏链若对任意的状态i,j和时刻n，均有则称马氏链X具有时齐性，或称X为其次马尔科夫链，简称齐次马氏链.引理(有限制随机游动问题)设质点只能在{0，1，2，···，a}中的各点上作随机游动，移动规则如下：ii+1i-101a-1a设Xn表示质点在n时刻所处的位置，则其一步转移概率矩阵为例１(天气

6、预报问题)如果明天是否有雨仅与今天的天气(是否有雨)有关，而与过去的天气无关.并设今天下雨、明天有雨的概率为a，今天无雨而明天有雨的概率为b，又假设有雨称为0状态天气，无雨称为1状态天气.Xn表示时刻n时的天气状态，则是以为状态空间的齐次马尔可夫链.其一步转移概率矩阵为天气的变化过程还可以用不同的马尔科夫链来描述，假设任意一天的天气与前一天的天气有关，即如果昨天和今天都为晴天，明天为晴天的概率为α，昨天和今天分别为晴天和阴天，明天为晴天的概率为β，昨天和今天分别为阴天和晴天，明天为晴天的概率为γ，如果昨天和今天都为阴天，明天为晴天的概率为

7、δ。如果将阴天和晴天分别记为0,1，则昨天和今天的所有天气情况可以用数对表示为集合S={（1,1），（1,0），（0,1），（1,1）}，由此，将数对看做状态，天气的变化过程可用状态空间为S上的其次马尔科夫链描述，一步转移概率矩阵为：练习天气预报问题，其模型是：今天是否下雨依赖于前三天是否有雨（即一连三天有雨；前面两天有雨，第三天晴天…..),问能否把这一问题归纳为一马尔科夫链，如果可以，问该过程的状态有几个？如果过去一连三天有雨，今天有雨的概率为0.8；过去连续为晴天，而今天有雨的概率为0.2；在其他天气情况，今天的天气和昨天相同的概率

8、为0.6，求这个马儿科夫链的转移概率.例2（埃伦菲斯特模型）设一个坛子中装有m个球，它们或是红色的，或是黑色的，从坛子中随机的摸出一球，并换入一个相反颜色的球.其一步转移概率矩阵为为状态空间的