贝叶斯估计课件.ppt

《贝叶斯估计课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、贝叶斯统计(BayesianStatistics)（Bayes，Thomas）(1702─1761)贝叶斯是英国数学家.1702年生于伦敦；1761年4月17日卒于坦布里奇韦尔斯.贝叶斯是一位自学成才的数学家.曾助理宗教事务，后来长期担任坦布里奇韦尔斯地方教堂的牧师.1742年，贝叶斯被选为英国皇家学会会员.如今在概率、数理统计学中以贝叶斯姓氏命名的有贝叶斯公式、贝叶斯风险、贝叶斯决策函数、贝叶斯决策规则、贝叶斯估计量、贝叶斯方法、贝叶斯统计等等.贝叶斯方法(Bayesianapproach)贝叶斯方法是基于贝叶斯定理而发展起来用于系统地阐述和解决统计

2、问题的方法(SamuelKotz和吴喜之,2000)。贝叶斯推断的基本方法是将关于未知参数的先验信息与样本信息综合，再根据贝叶斯定理，得出后验信息，然后根据后验信息去推断未知参数(茆诗松和王静龙等,1998年)。“贝叶斯提出了一种归纳推理的理论(贝叶斯定理)，以后被一些统计学者发展为一种系统的统计推断方法，称为贝叶斯方法.”──摘自《中国大百科全书》（数学卷）统计学有两个主要学派:频率学派与贝叶斯学派.它们之间有异同,贝叶斯统计是在与经典统计的争论中发展起来,主要的争论有:1.未知参数可否作为随机变量?2.事件的概率是否一定的频率解释?3.概率是否可用

3、经验来确定?……….§1.1先介绍三种信息的概念经典统计学派规定统计推断使用两种信息:总体信息样本信息而贝叶斯学派认为是三种信息:总体信息样本信息先验信息第一章先验分布与后验分布总体信息即总体分布或总体所属分布族给我们的信息。譬如，“总体是正态分布”就给我们带来很多信息：他的密度函数是一条钟形曲线；他的一切一阶距都存在；有关正态变量（服从正态分布随机变量）的一些事件的概率可以计算；由正态分布可以导出分布，分布和分布等重要分布，还有许多成熟的点估计、区间估计和假设检验方法可供我们选用。总体信息是很重要的信息，为了获得此信息，往往耗资巨大。样本信息从总体中

4、抽取的样本给我们提供的信息。这是最“新鲜”的信息，并且愈多愈好。人们希望对样本的加工和处理对总体的某些特征作出较为精确的统计推断。没有样本就没有统计学可言。这是大家都理解的事实。样本信息基于上述两种信息进行的统计推断称为经典统计学，它的基本观点是把数据（样本）看成是具有一定概率分布的总体，所研究的对象是这个总体而不局限于数据本身。这方面最早的工作是高斯(Gauss,C.F.1777~1855）和勒让德（Legendre,A.M.1752~1833）的误差分析，正态分布和最小二乘法。从十九世纪末到二十世纪上半叶，经皮尔逊（Pearson,K.1857~1

5、936）、费歇（Fisher,R.A.1890~1962）奈曼（Neyman.J.）等人的杰出工作创立了经典统计学。随着经典统计学的持续发展与广泛的应用，它本身的缺陷也逐渐暴露出来了。先验信息即在抽样之前有关统计问题的一些信息，一般说来，先验信息主要来源于经验和历史资料。例1：有一英国妇女，对奶茶能辨别出先倒进茶还是先倒进奶，做十次试验她都正确说出。某学生第一次看到他的数学老师,即有反应:老师30岁到40之间,极可能35岁左右(左右可理解为正负3岁,极可能可理解为90%的可能).P(32≤X≤38)=0.90三种信息基于上述三种信息（总体信息、样本信息

6、和先验信息）进行的统计推断被称为贝叶斯统计学。它与经典统计学的主要差别在于是否利用先验信息。贝叶斯统计学派把任意一个未知参数都看成随机变量，应用一个概率分布去描述它的未知状况，该分布称为先验分布。信息处理设自然状态有k种，1，2，…，k，P（i）表示自然状态i发生的先验概率分布，P（x︱i）表示在状态i条件，事件为x的概率。P（i︱x）为i发生的后验概率。全概率公式：P（x）为x在各种状态下可能出现的概率综合值。从概率论的Bayes公式谈起注:把事件i，x看为随机变量,上公式则为Bayes后验分布§1.2贝叶斯公式的密度函数形式§

7、1.2贝叶斯公式的密度函数形式§1.2贝叶斯公式的密度函数形式§1.2贝叶斯公式的密度函数形式§1.2贝叶斯公式的密度函数形式后验分布是三种信息的综合,先验分布反应人们在抽样前对参数的认识,后验分布反应人们在抽样后对参数的认识Bayes统计推断原则:对参数所作任何推断(参数估计,假设检验等)都必须建立在后验分布基础上.§1.2贝叶斯公式的密度函数形式例:为了提高某产品质量,公司经理考虑投资100万改进设备,下属部门提出两种实施意见:意见1:改进生产设备后,高质量产品占90%意见2:改进生产设备后,高质量产品占70%但经理根据以往两部门建议情况认为.意见

8、1的可信度只有40%,而意见案2的可信度只有60%,§1.2贝叶斯公式的密度函数形式贝塔分布(