Fisher判别分析及其应用.pdf

《Fisher判别分析及其应用.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、２０１４年１２月渭南师范学院学报Ｄｅｃ．２０１４第２９卷第２３期ＪｏｕｒｎａｌｏｆＷｅｉｎａｎＮｏｒｍａｌＵｎｉｖｅｒｓｉｔｙＶｏｌ．２９Ｎｏ．２３【数学与应用数学研究】Ｆｉｓｈｅｒ判别分析及其应用田兵（包头师范学院枟阴山学刊枠编辑部，内蒙古包头０１４０３０）摘要：判别分析法是根据所研究个体的观测值来构建一个综合标准用来推断个体属于已知种类中哪一类的方法．Ｆｉｓｈｅｒ判别分析法是一种非常重要而且应用极为广泛的判别分析法．文章介绍了Ｆｉｓｈｅｒ判别分析法的数学思想，详细阐述了在两个总体和多个总体情况下它的判别函数以及判别准则．之后通过举例说明了Ｆｉ

2、ｓｈｅｒ判别分析法在解决实际问题中的具体应用．关键词：判别函数；判别准则；协方差矩阵中图分类号：Ｏ２１２．４文献标志码：Ａ文章编号：１００９－５１２８（２０１４）２３－０００８－０４收稿日期：２０１４－０９－０３作者简介：田兵（１９８２—），男，山西五台人，包头师范学院枟阴山学刊枠编辑部编辑，理学硕士，主要从事数理统计研究．０引言判别分析法是根据所研究个体的观测值来构建一个综合标准用来推断个体属于已知种类中的哪一类［１］的方法，这种统计方法在自然科学和社会科学的研究中会经常用到．因为所采用的标准有很多种，所以［２］判别分析也有多种方法，其中Ｆｉｓ

3、ｈｅｒ判别分析是常用的判别分析法之一．１数学思想Ｆｉｓｈｅｒ判别法的数学思想是将多维空间中的点投影到一维直线y上，使得由总体θ１和θ２产生的y尽可［３］能分开，然后再利用距离判别法建立判别准则，进而达到判别个体所属群体的一种统计方法．１．１两个总体的Ｆｉｓｈｅｒ判别法假设θ１和θ２为二维总体，如图１所示，“●”为θ１的点，“○”为θ２的点，按照原来的横坐标x１和纵坐标x２，很难将这两个总体的点分开，但是如果将这些点朝直线y上投影，形成一维空间点的集合，则能比较［４］容易地分开．图１T显然，直线y是x１和x２的线性组合，即y＝c１x１＋c２x２．一

4、般地，设在p维空间里，x的线性组合为y＝αx，T其中：α为p维实向量，设θ１和θ２的均值分别为μ１和μ２，它们有共同的协方差阵∑，那么线性组合y＝αx的均值为２０１４年第２３期田兵：Ｆｉｓｈｅｒ判别分析及其应用·９·TTμ１y＝E（y｜x∈θ１）＝αμ１，μ２y＝E（y｜x∈θ２）＝αμ２，方差为TTｖａｒ（y）＝ｖａｒ（αx）＝α∑α．显然，使得μ１y和μ２y的距离越大的线性组合越好，所以考察以下比值２T２（μ１y－μ２y）［α（μ１－μ２）］＝．（１）ｖａｒ（y）Tα∑α现在的问题转化为：如何选择α，使得（１）式达到最大值？－１T通过证明，我

5、们有这样的结论：设x为p维随机向量，y＝αx，当α＝c∑（μ１－μ２）（c为非零常数）时，（１）式可取到最大值．特别地，当c＝１时，线性函数－１TTy＝αx＝（μ１－μ２）∑x称为Ｆｉｓｈｅｒ线性判别函数．１１T－１取μy＝（μ１y＋μ２y）＝（μ１＋μ２）∑（μ１－μ２），容易证明μ１y－μy＞０，μ２y－μy＜０．于是，可以２２得到Ｆｉｓｈｅｒ判别准则：－１T当y＝（μ１－μ２）∑x≥μy时，则认为x∈θ１；－１T当y＝（μ１－μ２）∑x＜μy时，则认为x∈θ２．－１T如果记W（x）＝（μ１－μ２）∑x－μy，则判别准则等价于：当W（x）≥０

6、时，则认为x∈θ１；当W（x）＜０时，则认为x∈θ２．在实际的计算中，总体的均值与协方差阵未知，就需要用样本均值与协方差阵来代替．即用样本均值－－１x１和x２分别代替μ１和μ２，用样本的协方差矩阵S＝［（n１－１）S１＋（n２－１）S２］来代替．这里的n１＋n２－２［５］S１和S２分别是两个样本的协方差阵．１．２多总体Ｆｉｓｈｅｒ判别TT如果变量很多或者有多个总体，通常要选择若干个投影，即选若干个判别函数y１＝α１x１，⋯，ys＝αsxs来进行判别．设有k个总体θ１，θ２，⋯，θk，有共同的协方差阵∑，θi的均值为μi．令kk－１－－Tμ＝∑μi

7、，G＝∑（μi－μ）（μi－μ）．ki＝１i＝１T考虑p维随机向量x的线性组合y＝αx，α为p维实向量，则y的均值和方差为TTTμiy＝E（y｜x∈θi）＝E（αx｜x∈θi）＝αμi，ｖａｒ（y｜x∈θi）＝α∑α．注意到kk１１TT－μy＝∑μiy＝∑αμi＝αμ，ki＝１ki＝１考虑比值kk２T－２∑（μiy－μy）∑［α（μi－μ）］Ti＝１i＝１αGα＝＝．（２）ｖａｒ（yx∈θ）TTiα∑αα∑αT现在的问题在于：如何选择α，使得（２）式达到最大值．为了方便起见，设α∑α＝１．我们通过下面的结论来解决这个问题：·１０·渭南师范学院学报

8、第２９卷－１设λ１≥λ２≥⋯≥λs＞０为∑G的s个非零特征根，s≤ｍｉｎ（k－１，p），e１，e２，⋯，es为相应的特征TT向量且满足e