运筹学Chapter 16马尔科夫过程课件.ppt

《运筹学Chapter 16马尔科夫过程课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、Markov过程是随机过程研究的对象之一运动是世界存在的本质，我们所关注的事物、对象、目标等等，无不在变化中，其中大多数还处在随机变化中探讨随机运动的趋势、可能的结果，就是Markov过程的关注所在重点：掌握Markov过程研究问题的思路和方法。第十六章Markov过程凌晨:凌晨:1、Markov过程干什么？虽然，在其任意一个时间周期时运动系统的状态可能都无法完全地确定，如：17:00时是否有剩余报纸？还要研究：在连续的时间周期下，有重复试验的系统之演变(趋势)之可能结果，如：进100份报纸，当天能卖完？可能性？与概率论相比，两者都研究无法确定的事物，但概率论研究重点在特定时间下系统的状

2、态本身，而Markov过程侧重于连续时间周期变化下系统状态的进化。基本概念凌晨:凌晨:2、用处(仅举4个方面，后面例子只举2个)1)机器在某个周期时处于正常运转状态，则在下一个周期是正常或不正常状态之概率是？2)顾客在某个周期购买A品牌则在下一周期是买A还是买B之概率？3)顾客在某个周期进入A超市购物则在下一周期进入A还是进入B之概率？4)若将应收帐款按照帐龄分为若干类，则在某一周期属于可收回帐目类，在下一周期归于呆帐类的概率是？基本概念凌晨:凌晨:3、约定（因为本章只作介绍，需要有太多的预备知识，所以只好事先约定）1)不详细讨论Markov过程本身，只从简单例子说明2)讨论将限制于－－

3、有静态转移概率的Markov链，即：(1)系统仅有有限个状态；(2)转移概率是常数；(3)某周期的状态概率仅决定于紧前周期的状态。基本概念凌晨:凌晨:虽然市场份额是由许多顾客之购买行为所决定的，但我们将采用：追踪一个顾客的连续购买行为，以达到研究整个系统之目的。所以，以下“系统”常常指“一个顾客”－－因为任意一个，又因为是大量试验，所以被认为可代表总体一、例子及术语介绍1、例子假定1：在一个小镇上仅有两家杂货店M和A；（两种状态）假定2：每位顾客每周只进行一次采购，要么M要么A，每周不会同时去两家－－从实际出发，此假定是合理的说明：1)多几家店－－无非多几种状态，此处只为简单方便2)以周

4、为周期是个习惯，其实可取平均估计值为周期要研究的问题：1)M和A的市场份额各为多少？2)顾客对M和A的忠实度各为多少？3)如果市场份额低的店要搞促销活动，如何定预算？第一节市场份额分析凌晨:凌晨:２、术语将采用跟踪某一位顾客采购行为的方法进行研究1)试验－－了解顾客的采购店，一个周期会有一个试验，也就有一个结果2)状态－－某周期顾客选定不同店，称为系统的不同状态，此例中，约定：状态1：顾客在M店购物状态2：顾客在A店购物3)状态概率的意义－－购物过程会延续下去，不管能得出什么结论，都不可能事先确定试验结果，但若能求出某周期两个状态的概率足矣，因为市场份额已可估计得到。第一节市场份额分析凌

5、晨:凌晨:二．状态转移概率利用Markov过程研究连续试验中不同状态的概率，最基本的是先要求得：转移概率1、调研与转移概率值1)市场调研：10个星期内跟踪任意选定的100个人，采集购物数据2)数据处理：概率统计方法，注意力集中在顾客对M和A的转移购物上3)假设得出以下的：－－从统计数据可得出！！下一个周期去M店A店当前周期去M店0.90.1A店0.20.8称为转移概率值。第一节市场份额分析凌晨:凌晨:二、状态转移概率2、关于转移概率的说明1）行数据之和＝1说明：每行实际给出一个概率分布2)0.9/0.8－－分别是对M/A的忠实度0.1/0.2－－对M/A的转移特征3)在研究的时间段内，假

6、定转移概率不会变，即：系统无大变化（商业环境相差不大）4)转移概率值是统计数据得来的。第一节市场份额分析凌晨:凌晨:二、状态转移概率3、转移概率矩阵令：pij=某周期i状态，下一个周期转移到j状态的概率则称为转移概率矩阵意义：由转移概率矩阵，即可求出系统从某状态向下一个状态转移的概率。第一节市场份额分析凌晨:凌晨:三、树形图研究系统的演变－－直观方法1、方法系统在第二周去M(状态1)的概率：0.81+0.02=0.83系统在第二周去A(状态2)的概率：0.09+0.08=0.17。第一节市场份额分析凌晨:凌晨:三、利用树形图研究系统的演变－－直观方法2、方法评价1)直观，启发了计算公式(

7、以下(☆)式即由此推导获得)2)周期越往后计算越繁难，不现实，故需要建立新的数学方法－－矩阵方法。第一节市场份额分析凌晨:凌晨:四、矩阵运算研究系统的演变－－代数方法1、状态概率1)定义πi(n)=系统在第n周期时处于状态i概率，称为状态概率2)定义形如[π1(0)π2(0)]的向量称为状态概率向量如：[π1(0)π2(0)]=[10]－－表示顾客上周（或0周期）(或：当前周之前一周)是在M店购物的[π1(n)π2(n)]则表示系统