马尔科夫链模型简介.ppt

《马尔科夫链模型简介.ppt》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、马尔科夫链模型第六小组成员：秦堉朗石国平什么是马尔科夫链？例子：用随机变量Xn表示第n年某个人的健康状况，Xn=1表示健康，Xn=2表示疾病，n=0,1….用ai(n)表示第n年处于状态i的概率，i=1,2，即ai(n)=P(Xn=i).用Pij表示今年处于状态i，明年处于状态j的概率，i,j=1,2，即Pij=P(Xn+1=j

2、Xn=i).ai(n)称为状态概率，Pij称为状态转移概率。第n+1年的状态Xn+1只取决于第n年的状态Xn和转移概率Pij，而与以前的状态Xn-1,Xn-2,…无关。第n+1年的状态概率可以由全概率公式给出：这样一个状态随着时间的进展随机变化的链式过程

3、就是马尔科夫链。马尔科夫链是随机过程的一种。系统的特征可以用一组随时间变化的变量来加以描述。如果系统在任何时点上的特性或状态是随机性的，则系统的变化过程就对应一组随机变量构成的过程来描述，这个系统随机变化的过程的描述，就是随机过程。（一）随机过程随机过程可以描述为：其中为在同一状态空间中取值的随机变量，为参数集。若为可数参数集，如，则该过程为离散参数的随机过程。若为不可数参数集，如，则该过程为连续参数的随机过程。（二）状态与状态转移状态：当系统由一组确定的变量值来描述的时候，就说系统处于一个状态。状态转移：当系统的变量从一个特定值变化到另一个特定值时，就表示系统由一个状态转移到另

4、一个状态。（三）马尔可夫过程有一类事物在某种因素作用下，它们的状态概率在转移过程中，第n次结果的概率规律仅取决于第(n-1)次试验的结果，第(n-1)次试验结果仅取决于第(n-2)次结果等，而与更早的结果无关。定义：设随机过程ξ(t),如果在已知时间t系统处于状态x的条件下,在时刻T(T>t)系统所处状态和时刻t以前所处的状态无关,则称ξ(t)为马尔可夫过程。从定义可知马尔可夫过程只与t时刻有关,与t时刻以前无关。这种性质叫做：无后效性（四）马尔可夫预测法定义：对马尔可夫过程的演变趋势和状态加以分析，用于预测事物未来状态的研究，称为马尔可夫预测法。特点：适用领域：企业规模、市场占

5、有率、选择服务点、设备更新等的预测。2.局限性：只适合于马尔可夫过程；3.简便性：无需大量的统计资料。1.随机性：确切的未来状态是不可预测；（五）马尔可夫链定义：设随机过程只能取可列个值把称为在时刻系统处于状态若在已知时刻，系统处于状态的条件下,在时刻()系统所处的状态情况与t时刻以前所处状态无关,则称为时间连续,状态离散的马尔可夫过程。而状态的转移只能在发生的马尔可夫过程称为马尔可夫链。从定义中可知,马尔可夫链是状态离散,时间连续的马尔可夫过程。（六）转移概率与转移矩阵定义：设系统的离散状态为设表示第次转移到状态，表示系统转移前处于状态。则称为系统在第次转移到状态的转移概率。由

6、构成的矩阵称为系统状态转移矩阵。其中：定义：称为n时刻马尔可夫链的绝对概率；称为n时刻的绝对概率向量。定理设{Xn,n∈T}为马尔可夫链，则对任意j∈I和n≥1，绝对概率pj(n)具有下列性质：定义：称为马尔可夫链的初始概率；简记为称为马尔可夫链的初始概率向量。（七）马尔可夫图（七）马尔可夫图马尔可夫矩阵一般式均匀马尔可夫链若则称该马尔可夫链为均匀马尔可夫链。用下式表示：预测模型前提：必须是均匀马尔可夫链。：初始状态；：经（K+1）次转移后的状态；：转移概率。例1求：预测以后第3个月顾客的购买情况。解答：第一步：建立转移矩阵第二步应用马尔可夫预测模型第三步结论解析上个月购买甲产品

7、的顾客，到第三个月的转移概率：甲—0.496，乙—0.252，丙—0.252；上个月购买乙产品的顾客，到第三个月的转移概率：甲—0.504，乙—0.252，丙—0.244；上个月购买丙产品的顾客，到第三个月的转移概率：甲—0.504，乙—0.244，丙—0.252；1.马尔可夫链遍历性设为均匀马氏链（与第n次转移无关）,对一切状态i及j（或称）,存在不依赖于i的常数,使得则称均匀马氏链有遍历性遍历意义:遍历性说明不论系统自那一个状态出发,当转移次数n充分大时,转移到状态的概率近似于某个常数。2.平稳分布定义：设为有限s个状态的均匀马尔可夫链,若初始概率满足全概率公式：则称为平稳的

8、,称为的一个平稳分布表示第k次转移到状态的绝对概率；可以证明:结论:当马尔可夫链是平稳时,初始概率等于绝对概率；平稳均匀马尔可夫链在任一时刻处于状态的概率都相等,说明平稳。例3问：应在何处设置修船站最合适？解答：建立转移矩阵根据马尔可夫链平稳性，前次各租、还船点占有船只的概率等于本次的占有率。：甲处的占有率；：乙处的占有率；：丙处的占有率。根据上述的矩阵，可列出以下方程式。结论：应该在甲处建修船站。12.3基因遗传（P422）生物的外部表征由内部相应的基因决定。基因分优势显性基因