马氏链及其应用.ppt

《马氏链及其应用.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、马尔科夫连原理及其建模实例马氏链及其应用1.一个简单的例子我们知道，人寿保险公司最为关心的是投保人的健康与疾病以及相应的风险。通过下面的例子我们来看保险公司是如何处理这类问题的。问题的提出设表示年龄的时段，假定在一年中，今年健康而明年患病的概率是而今年患病明年转为健康的概率为假设一个人在投保时处于健康状态，我们来研究若干年之后他分别处于这两种状态的概率。建模用随机变量表示第年的状态，表示健康，表示疾病。以表示第年状态为的概率。即⑴以表示今年状态处于明年状态处于的概率，即由全概率公式得到：⑵即由假设，⑶再由于投保人处于健康状态，即由此得到若投保人在开

2、始时处于疾病状态，即则有从两张表中可以看到，无论投保人在初始时处于什么状态，当时间趋于无穷大时，该时刻的状态趋于稳定，且与初始值无关。即两种状态的转移概率意义若将众多投保人处于两种状态的比例，视为投保人处于两种状态的概率，例如健康人占3/4，病人占1/4，即则同样可计算出由上面的分析可以看出，对于给定的状态转移概率，时的状态概率，趋向于稳定值，该值与初始值无关，这是马氏链的重要性质。把人的死亡看作第三种状态，用来表示，相应的转移概率如下图表示。三种状态的转移概率仍以表示状态为时的概率，表示状态转移概率，即有平行于⑴式，有设投保人在期初处于健康状态，

3、则由⑷可计算出若干年后他处于各个状态的概率。⑷表中最后一列数据是通过预测得到的。从表中的数据又可以看到，无论投保人在期初处于什么状态，当时，总有2.马尔可夫链假设1.系统是随时间的发展而离散为2.在任何时刻，系统的状态为有限多个。在时间时，系统的状态的的取值为3.在时刻时系统处于各状态的概率只与时刻时系统所处的概率与转移概率有关。满足以上三个假设的系统的随机发展过程称为马尔可夫过程或马氏链。设在时刻时系统处于状态的概率为行向量称为状态概率向量，由概率的意义，向量应该满足⑸及⑹⑺设在时刻处于状态的系统转移到时刻处于的概率为它应该满足1.2.⑻引如概率

4、转移矩阵由假设3，再由全概率公式得⑼用矩阵的方法来表示的话，⑼可以写成简单地可以写成由此可得系统在时刻时的状态向量为其中为时刻时系统的状态概率向量，又称为状态初始向量。⑽例在前两例中，初始向量与概率转移矩阵分别为我们通过下面的例子具体说明：上式表明在时刻时投保人处于患病状态的概率为：从上面的例子中可以看出，对于马氏链模型，最重要的是构造状态及概率转移矩阵由此对于给定的初始状态由⑽可计算出任意时刻的状态正则链定义一个有个状态的马氏链，如果存在正整数使从任意状态经次的转移，能以大于零的概率到达状态则称这样的链为正则链.定理1设马氏链的转移矩阵为则该链为

5、正则链的充分必要条件是存在使得定理2正则链存在唯一的极限状态概率满足与初始状态概率无关，且及⑾⑿例1设则由此确定的马氏链为正则链。令满足⑾式，即有由此得到方程组联系⑿则得到故方程组的解为这和前面的结果是相吻合的。例2设因故由此确定的马氏链是正则链。令由方程⑾，⑿确定方程组从方程中解出即吸收链定义如果存在某个状态转移概率则称状态是吸收的.如果马氏链中含有吸收状态,并且从每一个非吸收状态出发都可以达到某个吸收状态，则称这个马氏链为吸收链。例如在前面三个状态的转移概率中，转移概率矩阵为并且从每个状态最终都转移到第三种状态,因而这样的链是吸收链。注吸收链的

6、特征是：任一状态一旦进入该状态就将停留在该状态。含有个吸收状态和非吸收状态的吸收链的状态转移概率矩阵的标准形式是其中是单位矩阵。定理3对于具有标准形式的状态转移概率矩阵，有如下的性质：⑴矩阵具有零极限，即⑵矩阵可逆且⑶记则矩阵的第行元素之和值是从非吸收状态出发被某个吸收状态吸收之前的平均转移次数。⑷记则矩阵的元素是从非吸收状态出发而被状态吸收的概率。在前面的例2中,将改写成则则应用基因遗传问题生物的外部特征是由生物体内的基因决定的。基因分优势与劣势基因两种。分别表示为对于生物的某个外部特征，体内有两个基因与之对应。由于体内的每个基因都可以是两种基因

7、之一，因此体内的基因对类型可能有三种：分别被称为优种、混种和劣种。按基因理论：含优种和混种的基因个体类型，其外部特征呈优势；而含劣势基因类型的个体，其外部特征呈劣势。生物在繁殖时，后代随机地继承父亲和母亲的两个基因中的各一个而形成自己的基因对。因此后代成为优种、劣种、混种基因类型的概率是不同的。下面讨论两种基因繁殖后代的情况一、永远与混种繁殖后代的情况假设一个个体是优种，而另一个个体是混种，则它们的直接后代成为优种、混种、劣种的概率分别为假设一个个体是混种，而另一个个体是混种，则它们的直接后代成为优种、混种、劣种的概率分别为假设一个个体是劣种，而另

8、一个个体是混种，则它们的直接后代成为优种、混种、劣种的概率分别为由此得到概率转移矩阵由前面的例2知该链为正则链，极限状态概