贝叶斯决策分类资料.ppt

《贝叶斯决策分类资料.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、贝叶斯决策分类山东大学控制科学与工程学院2类别的状态是一个随机变量，某种状态出现的概率是否可以估计？（如根据医院细胞病理检查的大量统计资料可对某个地区正常细胞和异常细胞出现的比例做出估计）对于两类问题如不作细胞特征的仔细观测，只依靠先验概率去做决策，如何做？（若，被识别细胞应属于哪一类？）只依靠先验概率分类，不能把正常细胞和异常细胞区别开来。因为先验概率提供的信息太少。为此，我们需对细胞做病理分析，抽取出d维观测向量。假定只用一个特征（如细胞核光密度）进行分类，即d＝1。根据前面的假设，类别条件概率分布应为已知，假设如图所示：先验概率山东大学控制科学与工程学院3利用

2、贝叶斯公式，有得到的条件概率称为状态的后验概率。贝叶斯公式实质上是通过观察（即被识别细胞特征的测量）把状态的先验概率转化成状态的后验概率，这样基于最小错误率的贝叶斯决策规则为：如果，则把归类于正常状态，反之若，则把归类于异常状态。后验概率山东大学控制科学与工程学院4上面的规则可简写为：利用贝叶斯公式还可得到几种最小错误率决策的等价形式：似然比似然比阈值山东大学控制科学与工程学院5还可利用其它几个等价形式做出决策，同学们自己试试。山东大学控制科学与工程学院6我们在前面只是给出了最小错误率贝叶斯决策规则，但尚未证明按这种规则进行分类确实能使错误率最小。现在仅以一维情况来

3、完成这一证明，其结果不难推广到多维。山东大学控制科学与工程学院7最小错误率贝叶斯决策规则实际上是对每个都使取小者，这就使上式的积分值也必然达到最小，即使平均错误率达到最小。得证。山东大学控制科学与工程学院8§2.2基于最小风险的贝叶斯决策在模式分类的决策中，使错误率达到最小是重要的。但实际上有时需要考虑一个比错误率更为广泛的概念——风险。以癌细胞识别为例，对细胞分类不仅要考虑到尽可能作出正确判断，还要考虑作出错误判断时会带来什么后果。把正常细胞判为异常后果：会给病人带来精神负担把异常细胞判为正常后果：会让患者错过进一步检查的机会哪种后果严重？最小风险贝叶斯决策正是考

4、虑各种错误造成损失不同而提出的。设样本来自，可能被判为中的一种。为表述方便，引入以下符号：（1）决策：将样本的类别判为第j类；（2）损失函数：对真实类别为第i类的样本采取决策所带来的损失。山东大学控制科学与工程学院9在实际应用时，可以将简写为，写成损失矩阵形式，对于给定类的样本，正确判断时的代价函数应该是最小的，即当样本的真实类别未知时，决策的条件风险是对为所有可能的真实类别条件下将样本判为第j类的代价求平均，即与最小错误率贝叶斯决策规则类似，若对每一个都选择最小的条件风险，就能保证总体风险最小，因此得到最小风险贝叶斯决策规则如下：山东大学控制科学与工程学院10最小

5、风险贝叶斯决策规则如果，则判决。对于两类问题，条件风险为按最小风险贝叶斯决策规则有根据贝叶斯公式，上式有几种等价形式山东大学控制科学与工程学院11损失函数根据实际问题和经验确定。在最小风险贝叶斯决策中，若将损失函数取为则这种损失函数称为0－1损失函数。此时，决策的条件风险为：由上式可以看出，取最小实际就是取最大，因此当取0－1损失函数时，最小风险贝叶斯决策规则等价于最小错误率贝叶斯决策规则。这说明：最小错误率贝叶斯决策规则是最小风险贝叶斯决策规则的特例。山东大学控制科学与工程学院12例：假设在某个局部地区的细胞识别中，第一类表示正常，第二类表示异常，两类的先验概率分

6、别为：正常，异常。现有一待识别样本细胞，其观察值为，从类条件概率密度函数曲线上查得：，，并已知损失矩阵为。试判断该细胞是否正常。同学们先自己做一下。山东大学控制科学与工程学院13解：根据最小风险贝叶斯决策规则进行判断，可以求出所以，应将细胞样本判为第二类，即为异常。山东大学控制科学与工程学院14§2.3聂曼－皮尔逊（Neyman－Pearson）决策法在两类别决策问题中，有犯两种错误的可能性：一种是在采取决策时其实际自然状态为；一种是在采取决策时其实际自然状态为。如前面所讲，这两种错误的概率分别为和，最小错误率贝叶斯决策就是使这两种错误率之和为最小。边界面山东大学控

7、制科学与工程学院15由于先验概率，对具体问题来说往往是确定的，所以一般称，为两类错误率。实际中，有时要求限制其中某一类错误率不得大于某个常数，而使另一类错误率尽可能地小。例如，在癌细胞识别中，我们已经认识到把异常判断为正常地损失更为严重，所以希望这种误判的错误率很小，即使，是一个很小的常数。在这种条件小再要求尽可能地小。这样的决策可看成是在的条件下，求的条件极值问题。可用Lagrange乘子法来解决，建立数学模型为其中是Lagrange乘子，目的是求的极小值。山东大学控制科学与工程学院16将和代入上式可得将上式分别对和求导，令及，有山东大学控制科学与工程学院17