第04章_判别分析.ppt

《第04章_判别分析.ppt》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第四章判别分析第一节引言第二节距离判别法第三节贝叶斯（Bayes）判别法第四节费歇（Fisher）判别法第五节实例分析与计算机实现第一节引言在我们的日常生活和工作实践中，常常会遇到判别分析问题，即根据历史上划分类别的有关资料和某种最优准则，确定一种判别方法，判定一个新的样本归属哪一类。例如，某医院有部分患有肺炎、肝炎、冠心病、糖尿病等病人的资料，记录了每个患者若干项症状指标数据。现在想利用现有的这些资料找出一种方法，使得对于一个新的病人，当测得这些症状指标数据时，能够判定其患有哪种病。又如，在天气预报

2、中，我们有一段较长时间关于某地区每天气象的记录资料（晴阴雨、气温、气压、湿度等），现在想建立一种用连续五天的气象资料来预报第六天是什么天气的方法。这些问题都可以应用判别分析方法予以解决。把这类问题用数学语言来表达，可以叙述如下：设有n个样本，对每个样本测得p项指标（变量）的数据，已知每个样本属于k个类别（或总体）G1，G2，…，Gk中的某一类，且它们的分布函数分别为F1(x)，F2(x)，…，Fk(x)。我们希望利用这些数据，找出一种判别函数，使得这一函数具有某种最优性质，能把属于不同类别的样本点尽可

3、能地区别开来，并对测得同样p项指标（变量）数据的一个新样本，能判定这个样本归属于哪一类。判别分析内容很丰富，方法很多。判断分析按判别的总体数来区分，有两个总体判别分析和多总体判别分析；按区分不同总体所用的数学模型来分，有线性判别和非线性判别；按判别时所处理的变量方法不同，有逐步判别和序贯判别等。判别分析可以从不同角度提出问题，因此有不同的判别准则，如马氏距离最小准则、Fisher准则、平均损失最小准则、最小平方准则、最大似然准则、最大概率准则等等，按判别准则的不同又提出多种判别方法。本章仅介绍常用的几

4、种判别分析方法：距离判别法、Fisher判别法、Bayes判别法和逐步判别法。第二节距离判别法一马氏距离的概念二距离判别的思想及方法三判别分析的实质一、马氏距离的概念图4.1为此，我们引入一种由印度著名统计学家马哈拉诺比斯（Mahalanobis,1936）提出的“马氏距离”的概念。二、距离判别的思想及方法1、两个总体的距离判别问题问题：设有协方差矩阵∑相等的两个总体G1和G2，其均值分别是1和2，对于一个新的样品X，要判断它来自哪个总体。一般的想法是计算新样品X到两个总体的马氏距离D2（X，G1

5、）和D2（X，G2），并按照如下的判别规则进行判断这个判别规则的等价描述为：求新样品X到G1的距离与到G2的距离之差，如果其值为正，X属于G2；否则X属于G1。我们考虑这里我们应该注意到：2、多个总体的距离判别问题三、判别分析的实质我们知道，判别分析就是希望利用已经测得的变量数据，找出一种判别函数，使得这一函数具有某种最优性质，能把属于不同类别的样本点尽可能地区别开来。为了更清楚的认识判别分析的实质，以便能灵活的应用判别分析方法解决实际问题，我们有必要了解“划分”这样概念。设R1，R2，…，Rk是p维

6、空间Rp的k个子集，如果它们互不相交，且它们的和集为Rp，则称R1，R2，…，Rk为Rp的一个划分。这样我们将会发现，判别分析问题实质上就是在某种意义上，以最优的性质对p维空间Rp构造一个“划分”，这个“划分”就构成了一个判别规则。这一思想将在后面的各节中体现的更加清楚。例在企业的考核中，可以根据企业的生产经营情况把企业分为优秀企业和一般企业。考核企业经营状况的指标有：资金利润率=利润总额/资金占用总额劳动生产率=总产值/职工平均人数产品净值率=净产值/总产值三个指标的均值向量和协方差矩阵如下。现有二

7、个企业，观测值分别为（7.8，39.1，9.6）和（8.1，34.2，6.9），问这两个企业应该属于哪一类？变量均值向量协方差矩阵优秀一般资金利润率13.55.468.3940.2421.41劳动生产率40.729.840.2454.5811.67产品净值率10.76.221.4111.677.90线性判别函数为：错判概率：由上面的分析可以看出，马氏距离判别法是合理的，但是这并不意谓着不会发生误判。距离判别只要求知道总体的数字特征，不涉及总体的分布函数，当参数和协方差未知时，就用样本的均值和协方差矩阵

8、来估计。距离判别方法简单实用，但没有考虑到每个总体出现的机会大小，即先验概率，也没有考虑到错判的损失。贝叶斯判别法正是为了解决这两个问题提出的判别分析方法。第三节贝叶斯（Bayes）判别法一Bayes判别的基本思想二Bayes判别的基本方法办公室新来了一个雇员小王，小王是好人还是坏人大家都在猜测。按人们主观意识，一个人是好人或坏人的概率均为0.5。坏人总是要做坏事，好人总是做好事，偶尔也会做一件坏事，一般好人做好事的概率为0.9，坏人做好事的概率为0.2