马尔科夫模型ppt(2012)

《马尔科夫模型ppt(2012)》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、马尔可夫过程马尔可夫个人简介马尔可夫（1856~1922），苏联数学家。切比雪夫的学生。在概率论、数论、函数逼近论和微分方程等方面卓有成就。马尔可夫是彼得堡数学学派的代表人物。以数论和概率论方面的工作著称。他的主要著作有《概率演算》等。在数论方面，他研究了连分数和二次不定式理论，解决了许多难题。在概率论中，他发展了矩法，扩大了大数律和中心极限定理的应用范围。马尔可夫最重要的工作是在1906～1912年间，提出并研究了一种能用数学分析方法研究自然过程的一般图式——马尔可夫链。同时开创了对一种无后效性的随机过程——马尔可夫过程的研究。马尔可夫经多次观察试验发现，一个系统的状态转换过

2、程中第n次转换获得的状态常决定于前一次（第（n-1）次）试验的结果。马尔可夫进行深入研究后指出：对于一个系统，由一个状态转至另一个状态的转换过程中，存在着转移概率，并且这种转移概率可以依据其紧接的前一种状态推算出来，与该系统的原始状态和此次转移前的马尔可夫过程无关。目前，马尔可夫链理论与方法已经被广泛应用于自然科学、工程技术和公用事业中第一节马尔可夫过程及其概率分布一、马尔可夫过程的概念二、马尔可夫过程的概率分布三、应用举例四、小结一、马尔可夫过程的概念1.马尔可夫性(无后效性)马尔可夫性或无后效性.即:过程“将来”的情况与“过去”的情况是无关的.2.马尔可夫过程的定义具有马尔

3、可夫性的随机过程称为马尔可夫过程.用分布函数表述马尔可夫过程恰有或写成并称此过程为马尔可夫过程.3.马尔可夫链的定义时间和状态都是离散的马尔可夫过程称为马尔可夫链,简记为研究时间和状态都是离散的随机序列二、马尔可夫过程的概率分布1.用分布律描述马尔可夫性有称条件概率说明:转移概率具有特点2.转移概率由转移概率组成的矩阵称为马氏链的转移概率矩阵.此矩阵的每一行元素之和等于1.它是随机矩阵.3.平稳性有关时,称转移概率具有平稳性.同时也称此链是齐次的或时齐的.称为马氏链的n步转移概率一步转移概率特别的,当k=1时,一步转移概率矩阵的状态记为P三、应用举例证明由独立增量过程的定义知,

4、即有例1马尔可夫过程.说明:泊松过程是时间连续状态离散的马氏过程.泊松过程泊松过程的定义（1）泊松过程的定义（2）设每一级的传真率为p,误码率为q=1-p.设一个单位时间传输一级,只传输数字0和1的串联系统(传输系统)如图:分析:例2而与时刻n以前所处的状态无关.所以它是一个马氏链,且是齐次的.一步转移概率一步转移概率矩阵例3一维随机游动游动的概率规则1/3的概率向左或向右移动一格,或以1/3的概率留在原处;如果Q现在位于点i(1

5、个反射壁的随机游动.模拟方法:产生均匀分布的随机数序列13232211122…,其中1表示左移;2表示不动;3表示右移.理论分析:状态空间就是I.而与时刻n以前所处的状态无关.所以它是一个马氏链,且是齐次的.一步转移概率说明:相应链的转移概率矩阵只须把P中第1行改为改变游动的概率规则,就可得到不同方式的随机游动和相应的马氏链.如果把点1改为吸收壁,一步转移概率矩阵例4.某计算机房的一台计算机经常出故障,研究者每隔15分钟观察一次计算机运行状态,收集了24小时的数据(共作97次观察).用1表示正常状态,用0表示不正常状态,所得的数据序列如下:1110010011111110011

6、110111111001111111110001101101分析状态空间:I={0,1}.例511101101101011110111011110111111001101111110011196次状态转移的情况:因此,一步转移概率可用频率近似地表示为:以下研究齐次马氏链的有限维分布.特点:用行向量表示为一维分布由初始分布和转移概率矩阵决定由以上讨论知,转移概率决定了马氏链的运动的统计规律.因此,确定马氏链的任意n步转移概率成为马氏链理论中的重要问题之一.第二节多步转移概率的确定一、C-K方程三、应用举例四、小结二、多步转移概率的确定一、C-K方程是一齐次马氏链,则对任意的切普曼

7、-柯尔莫哥洛夫方程(简称C-K方程)说明C-K方程基于下列事实:这一事件可分解成:件的和事件.如下图所示:C-K方程也可写成矩阵形式:二、多步转移概率的确定利用C-K方程我们容易确定n步转移概率.得递推关系:从而可得马氏链的n步转移概率是一步转移概率的n次方,链的有限维分布可由初始分布和一步转移概率完全确定.结论某计算机房的一台计算机经常出故障,研究者每隔15分钟观察一次计算机运行状态,收集了24小时的数据(共作97次观察).用1表示正常状态,用0表示不正常状态,所得的数据序列如下:1110