判别分析中Fisher判别法的应用

《判别分析中Fisher判别法的应用》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、1.1课题背景随着社会经济不断发展，科学技术的不断进步，人们已经进入了信息时代，要在大量的信息中获得有科学价值的结果，从而统计方法越来越成为人们必不可少的工具和手段。多元统计分析是近年来发展迅速的统计分析方法之一，应用于自然科学和社会各个领域，成为探索多元世界强有力的工具。判别分析是统计分析中的典型代表，判别分析的主要目的是识别一个个体所属类别的情况下有着广泛的应用。潜在的应用包括预测一个公司是否成功；决定一个学生是否录取；在医疗诊断中，根据病人的多种检查指标判断此病人是否有某种疾病等等。它是在已知观测

2、对象的分类结果和若干表明观测对象特征的变量值的情况下，建立一定的判别准则，使得利用判别准则对新的观测对象的类别进行判断时，出错的概率很小。而Fisher判别方法是多元统计分析中判别分析方法的常用方法之一，能在各领域得到应用。通常用来判别某观测量是属于哪种类型。在方法的具体实现上，采用国内广泛使用的统计软件SPSS(StatisticalProductandServiceSolutions)，它也是美国SPS淤司在20世纪80年代初开发的国际上最流行的视窗统计软件包之一1.2Fisher判别法的概述根据判

3、别标准不同，可以分为距离判别、Fisher判别、Bayes判别法等。Fisher判别法是判别分析中的一种，其思想是投影，Fisher判别的基本思路就是投影，针对P维空间中的某点x=(x1,x2,x3,,,xp)寻找一个能使它降为一维数值的线性函数y(x):yxCjxj然后应用这个线性函数把P维空间中的已知类别总体以及求知类别归属的样本都变换为一维数据，再根据其间的亲疏程度把未知归属的样本点判定其归属。这个线性函数应该能够在把P维空间中的所有点转化为一维数值之后，既能最大限度地缩小同类中各个样本点之间的差

4、异，又能最大限度地扩大不同类别中各个样本点之间的差异，这样才可能获得较高的判别效率。在这里借用了一元方差分析的思想，即依据组间均方差与组内均方差之比最大的原则来进行判别。1.3算法优缺点分析.专业资料.优点：(1)一般对于线性可分的样本，总能找到一个投影方向，使得降维后样本仍然线性可分，而且可分性更好即不同类别的样本之间的距离尽可能远，同一类别的样本尽可能集中分布。(2)Fisher方法可直接求解权向重w；(3)Fisher的线性判别式不仅适用于确定性模式分类器的训练，而且对于随机模式也是适用的，Fis

5、her还可以进一步推广到多类问题中去缺点：(1)如果M1M2,w0,则样本线性不可分；M1M2,未必线性可分；SW不可逆，未必不可分。(2)对线性不可分的情况，Fisher方法无法确定分类2实验原理2.1线性投影与Fisher准则函数各类在d维特征空间里的样本均值向量：…1Mi一Xk,i1,2(2.5-2)nixkXi通过变换w映射到一维特征空间后，各类的平均值为：1m^—yk,i1,2(2.5-3)niykY映射后，各类样本“类内离散度”定义为：S2(ykm)2,i1,2(2.5-4)ykY显然，我们

6、希望在映射之后，两类的平均值之间的距离越大越好，而各类的样本类内离散度越小越好。因此，定义Fisher准则函数：1mlm22/OSGJf(w)22(2.5-5)5s2使Jf最大的解w就是最佳解向量，也就是Fisher的线性判别式。2.2求解w.专业资料.从JF(w)的表达式可知，它并非w的显函数，必须进一步变换。1已知：mi-yk,i1,2,依次代入(2.5-1)和(2.5-2),有：nykYi1TT1T_mi一wxkw(一xk)wMi,i1,2(2.5-6)ni&xinixkxi所以：m1m22wTM

7、1wTM22wT(M1M2)2wT(M1M2)(M1M2)TwwTSbw(2.5-7)其中：Sb(M1M2)(M1M2)t(2.5-8)Sb是原d维特征空间里的样本类内离散度矩阵，表示两类均值向量之间的离散度大小，因此，Sb越大越容易区分。1将(2.5-6)miwTMi和(2.5-2)Mi—xk代入(2.5-4)Si2式中：nixkXi22(wTxkwTMi)2xkXiwT(xkMi)(xkMi)TwxkXiTcwSw(2.5-9)其中：§(xkMi)(xkMi)T,i1,2(2.5-10)xkXi因此

8、：S2S2wT(S1S2)wwTSww(2.5-11)显然：SwSiS2(2.5-12)§称为原d维特征空间里，样本“类内离散度”矩阵。Sw是样本“类内总离散度”矩阵。为了便于分类，显然S.越小越好，也就是Sw越小越好。将上述的所有推导结果代入Jf(w)表达式：可以得到：.专业资料.1-Sw(MlM2)其中，—是一个比例因子，不影响w的方向，可以删除，从而得到最后解:1Sw(MlM2)(2.5-18)w就使Jf(w)取得最大值，w可使样本由