第5章--判别分析-fisher判别等.ppt

《第5章--判别分析-fisher判别等.ppt》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、判别分析方法(Discriminantanalysis)Discriminantanalysis判别分析用于判别样本所属类型的统计分析方法基因识别：根据某一DNA序列的核苷酸组分、信号特征等指标，判别是否编码蛋白序列？医学诊断：某一病人肺部存在阴影，判别:肺结核？良性肿瘤？肺癌？人类考古学：根据头盖骨的特征，判别：民族、性别、生活年代？股票分析预测：气象分析预测：自然灾害分析预测：……Discriminantanalysis判别分析问题设有k个m维的总体G1,G2,…,Gk，(1).它们的分布特征已知，可以表示为

2、F1(x),F2(x),…,Fk(x)(2).或者知道来自各个总体的样本（训练样本）。对于给定的一个未知样本X（检测样本），判别X属于哪个总体。多元的、复杂的、高度综合的统计分析问题DiscriminantanalysisFisher判别法距离判别法Bayes判别法逐步判别法……训练样本训练集检测样本检测集判别准则判别效率学习检测评价距离判别法距离判别的基本思想样本与哪一类总体的距离最近，就判别它属于哪一类总体。Discriminantanalysis马氏（Mahalanobis）距离定义：Mahalanob

3、is距离设总体G为n维变量，即含有n个属性指标(x1,x2,…,xn)。已知总体G中的t个样本Xk(xk1,xk2,…,xkn)，k=1,2,…,t。总体均值可用样本均值估计：则对于任一点X(x1,x2,…,xn)，定义它与总体G的Mahalanobis距离为：Discriminantanalysis其中，矩阵S＝(sij)n×n为：矩阵S称为协方差矩阵（covariancematrix），反映属性指标中第i个分量与第j个分量的相关性。特别地，当n=1时，Mahalanobis距离为：Discriminantan

4、alysisxp(x)xp(x)

5、x-

6、G1:N(,1)G2:N(,2)Discriminantanalysis两类总体的距离判别已知：考虑具有n个属性的两类总体G1、G2，已知G1的p个训练样本，G2的q个训练样本：问题：对于未知样本点X(x1,x2,…,xn)，判别其类型？DiscriminantanalysisG1、G2的总体均值根据样本均值估计得到：分别求出总体G1、G2的协方差矩阵S(1)、S(2)：Discriminantanalysis对于任一新样本X(x1,x2,…,xn)，分别计算

7、它到总体G1、G2的Mahalanobis距离：Discriminantanalysis构造判别函数W(X)：判别准则为：Discriminantanalysis特例：考虑n=1的两类正态总体：G1：N(1,1)G2：N(2,2)p(x)xG1:N(1,1)G2:N(2,2)12Discriminantanalysis不妨设2>1，2>1，且检测值满足2>x>1，则：其中于是，判别准则为：Discriminantanalysisp(x)xG1:N(1,1)G2:N(2,2)

8、12*Discriminantanalysis已知：考虑具有n个属性的m类总体Gl(l=1,2,…,m)，每类总体已知tl(l=1,2,…,m)个训练样本：问题：对于未知样本点X(x1,x2,…,xn)，判别其类型？多类总体的距离判别Discriminantanalysis类似地，分别计算点X(x1,x2,…,xn)到每一类Gl的Mahalanobis距离d2(X,Gl)。其中Discriminantanalysis比较找到其中的最小距离：点X(x1,x2,…,xn)到类Gi的距离d2(X,Gi)最小，最后

9、判别点X(x1,x2,…,xn)属于第i类。DiscriminantanalysisDiscriminantanalysisBayes判别法Bayes判别的基本思想在p维空间中找出一种分法，使得平均损失最小D1D2DjG1,G2…GkDiscriminantanalysis目标函数（平均损失）假定属于第i类,把它判为第j类造成的损失为造成这一损失的概率为D1D2DjG1,G2…GkDiscriminantanalysis判别准则如果取能使平均损失达到最小判别函数D1D2DjG1,G2…GkDiscriminant

10、analysisFisher线性判别法Fisher判别的基本思想将m组n维的数据投影到某一个方向，使得投影后的组与组之间尽可能地分开。平面上两类数据训练样本的散点图（两组数据样本在平面上存在一个合理的分界线L）x1x2L:c1x1+c2x2－c=0令：F(x1,x2)=c1x1+c2x2F(x1,x2):判别函数c：判别值G1G2Fisher线性判别法Discrimina