资源描述：
《模式识别课程第4章.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。
1、第四章线性判别函数4.1引言4.2Fisher线性判别第四章线性判别函数4.3感知准则函数4.4最小错分样本数准则4.5最小平方误差准则函数2010.114.6随机最小错误率线性判别准则函数4.7多类问题引言线性判别函数∑我们现在对两类问题和多类问题分别进行讨论。∑设计贝叶斯分类器的方法：即已知先验概率P(ωi)和类条∑(一)两类问题即:T件概率密度p(x/ωi)的情况下，按一定的决策规则确定判∑ωi=(ω1,ω2),M=2别函数和决策面。∑1.二维情况：取两个特征向量∑类条件概率密度的形式常常难以确定，利用非参数估计TX=(x,x),n=212分布需要大量样本，且所需样
2、本数随维数升高急剧增加∑这种情况下判别函数:。g(x)=wx+wx+w∑线性判别函数法11223w为参数，x,x为坐标向量12¾1.二维情况¾2.n维情况∑在两类别情况，判别函数g(x)具有以下性质：∑现抽取n个特征为：TX=(x,x,x,...x)⎧>0,X∈ω1123ngi(x)=⎨0,Xω∑判别函数：g(x)=wx+wx+......+wx+w<∈1122nnn+1⎩2Tg(x)=0,X不定=W0X+wn+1T∑这是二维情况下判别由判别边界分类.W=(w,w,...,w)为权向量，012n∑情况如图：X＝(x,x,...,x)T为模式向量。xω112n2+T−∑另外
3、一种表示方法：g(x)=WXg(x)=wx+wx+w11223TWwwww=(,,...,,)为增值权向量，ω12nn+12TXxxx＝(,,...,，为增值模式向量。1)x12n1¾2.n维情况¾(二)多类问题∑对于多类问题，模式有ω1,ω2,…,ωc个类别。可∑模式分类：分三种情况：T⎧>0,x∈ω1¾1。第一种情况：每一模式类与其它模式类间可用单g(x)=WX⎨⎩<0,x∈ω2个判别平面把一个类分开。这种情况，M类可有M个判别函数，且具有以下性质：∑当g(x)=WTX=0为判别边界。当n=2时，二维1⎧>∈0,XωTi情况的判别边界为一直线。当n=3时，判别边界gx
4、WX()=⎨ii为一平面，n>3时，则判别边界为一超平面。⎩<=0,其它,iC1,2,...,。T式中W=(w,w,...,w,w,)为第i个判别函数的ii1i2inin+1权向量。¾1。第一种情况¾1。第一种情况（续）∑每一类别可用单个判别边界与其它类别相分开。∑例：已知三类ω,ω,ω的判别函数分别为：∑如果一模式X属于ω，则由图可清楚看出:这时g(x)>0而12311g(x)<0，g(x)<0。ω1类与其它类之间的边界由⎧g1(x)=−x1+x223⎪g1(x)=0确定.⎨g2(x)=x1+x2−5⎪g(x)=−x+1⎩32x2+−g1(x)=0∑因此三个判别边界为：
5、ω⎧g1(x)=−x1+x2=01ω2g(x)=0⎪3⎨g(x)=x+x−5=0−212ω+⎪⎩g3(x)=−x2+1=03x1−+g2(x)=0¾1。第一种情况（续）¾1。第一种情况（续）g(x)=01∑对于任一模式X如果它的g(x)>0，g(x)<0，g(x)<0∑作图如下：+−1235x2∑则该模式属于ω类。相应ω类的区域由直线-x+1=0g(x)<0112⎧g1(x)>0⎧1的正边、直线-x+x-5=0和直线-x+x=0的负边来确⎪⎪1212⎨g2(x)<0IR1⎨g2(x)>0定。g(x)=0⎪ω⎪+1⎩g3(x)<02⎩g3(x)<05x−ω211IR2−⎧g
6、1(x)>0⎧⎪g1(x)<0g3(x)=0⎪g(x)<0IR1⎨g2(x)>0+⎨2IR4ω3IR3x1⎪⎩g3(x)<0ωω2⎪⎩g3(x)<011IR2−⎧g(x)<0++g3(x)=01g(x)=0x⎪−2IR4ω3IR31⎨g2(x)<05+⎪⎧g1(x)<0⎩g3(x)>0⎪−g2(x)=0⎨g2(x)<05⎪g(x)>0⎩3¾1。第一种情况（续）¾1。第一种情况（续）∑必须指出，如果某个X使二个以上的判别函数g(x)∑问当x=(x,x)T=(6,5)T时属于那一类i12>0。则此模式X就无法作出确切的判决。如图中代入判别函数方程组:IR1,IR3，IR4区域
7、。⎧g1(x)=−x1+x2⎪⎨g2(x)=x1+x2−5∑另一种情况是IR2区域，判别函数都为负值。IR1，⎪g(x)=−x+1IR2，IR3，IR4。都为不确定区域。⎩32g(x)=0+−1得：5x2⎧g1(x)>0⎧⎪g1(x)<0g1(x)=−1,g2(x)=6,g3(x)=−4.⎪g(x)<0IR1⎨g2(x)>0⎨2⎪⎩g3(x)<0ωω2⎪⎩g3(x)<0∑结论：g1(x)<0，g2(x)>0，g3(x)<0所以它属于ω211IR2−类g(x)=0+3xIR4ωIR313+⎧g1(x)<0g(x)=0⎪−2⎨g2
