模式识别课件05.pdf

《模式识别课件05.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第四章线性判别函数LinearDiscriminantFunctions4.1引言从基于概率密度（估计）的分类器设计---model-basedmethod到基于样本的直接分类器设计思路：首先选定判别函数类和一定的目标（准则），利用样本集确定出函数类中的某些未知参数，使所选的准则最好。形式化：判别函数类{g(α),α∈Λ}，α：未定参数准则函数L(α)**求α：L(α)=minL(α)α本章只考虑线性判别函数Tg(x)=wx+w0T多类情况g(x)=wx+w，i=1,L,ciii0——次优分类器（

2、相对于贝叶斯分类器）当正态分布且各类协方差相同时为最优分类器。4.1.1一些基本概念4.1.2广义线性判别函数GeneralizedLinearDiscriminant对非线性判别函数g(x)，通过适当的变换转化为线性判别函数g′(y)。x1T比如x=，g(x)=xAx+Bx+c二次判别函数。x222T若定义y=[x,x,x,x,xx]121212则总可以找到α,α，使0Tg′(y)=αy+α≡g(x)0——广义线性判别函数因任何非线性函数都可以通过级数展开转化为多项式函数（逼近），所

3、以任何非线性判别函数都可以转化为广义线性判别函数。问题：1.实现这种转化的非线性变换可能非常复杂2.变换空间的维数可能非常高。——维数灾难特例：线性判别函数的齐次简化TTg(x)=wx+w=αy01w0y=，α=xw增广样本向量增广权向量4.2Fisher线性判别FisherDiscriminantAnalysis(FDA)出发点：把所有样本都投影到一维，使在投影线上最易于分类。----寻找投影方向样本集X={x,L,x}1N11ω类X={x,L,x}111N122ω类X=

4、{x,L,x}221N2投影Ty=wx，i=1,L,Nii离散度矩阵(ScatterMatrix)：在X空间：1类均值向量mi=∑xj，i=1,2Nixj∈Xiwithin-classscatterT类内离散度矩阵Si=∑(xj−mi)(xj−mi)，i=1,2xj∈Xi总类内离散度矩阵S=S+Sw12或S=P(ω)S+P(ω)Sw1122between-classscatterT类间离散度矩阵S=(m−m)(m−m)b1212T或S=P(ω)P(ω)(m−m)(m−m)b121212在Y空间（一

5、维投影）~1类均值mi=∑yj，i=1,2Nixj∈Yi~~2类内离散度Si=∑(yj−mi)，i=1,2xj∈Yi~~~总类内离散度S=S+Sw12~2~~2类间离散度S=(m−m)b12Fisher准则函数(Fisher’sCriterion)：~~2(m−m)12maxJF(w)=~2~2S+S12即：使两类之间尽可能分开，各类内部尽可能聚集。T代入y=wx，可得TwSwbJ(w)=FTwSww*w:maxJ(w)FwT求解：令分母wSw=c≠0，最大化分子。w定义Lagrange函数TTL

6、(w,λ)=wSw−λ(wSw−c)bw∂L/∂w=0，得**Sw−λSw=0bw***即Sw=λSw。w为极值解。bw−1（当N>d时S通常是非奇异的），两边左乘S，ww−1**得SSw=λwwb*−1即w为SS矩阵的本征向量。wb将S代入，有b*−1T*λw=S(m−m)(m−m)ww1212∆∆−1T*=S(m−m)R（R=(m−m)w为标量）w1212*只考虑w的方向，得*−1w=Sw(m1−m2)选阈值w：0（1）d和N很大时，y近似正态分布，可在Y空间内用Bayes分类器。（2）经验，

7、如：1~~w=(m+m)0122~w=m01~~1P(ω1)w=(m+m)+ln0122N+N−2P(ω)1224.3感知准则函数PerceptronCriterionFunctionT考虑齐次线性判别函数g(y)=αy，两类ω、ω12Y={}y,y,L,y。dˆ维增广样本向量12N>ω1决策规则g(y)0，则y∈类<ω2线性可分性：存在一个权向量α，使所有样本被正确分类。即：∃α,Tify∈ω,thenαy>0i=1,L,Ni1iTify∈ω,thenαy<0i2iyi,ifyi∈ω1,

8、若定义yi′=i=1,L,N−y,ify∈ω,ii2T则有αy′>0,i=1,L,Niy′叫做规范化增广样本向量，仍记为yii本节只考虑线性可分情况，例*T解向量α：满足αy>0，i=1,L,N的权向量。i解区：权值空间中所有解向量组成的区域。T对每个样本y，αy=0为权空间中的一个超平面Hˆiii解区只可能在Hˆ的正侧。i所有样本对应的超平面Hˆ的正侧的交集就是解区。i余量：解区中所有权向量都是解，但越靠近解区中间的解向量，所得的分类面离各类样本越远（最近距离越远），对将来的