模式特征的提取与选择

《模式特征的提取与选择》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、模式特征的提取与选择模式特征的提取与选择在一个较完善的模式识别系统中，或者明显地或者隐含地要有特征提取与选择技术环节，通常其处于对象特征数据采集和分类识别两个环节之间，特征提取与选择方法（或质量）的优劣极大地影响着分类器的设计和性能，它是模式识别的核心问题之一。模式特征的提取与选择1概述在实际问题中，常常不容易找到那些最重要的特征，或受条件限制不能对它们进行测量，这就使特征选择和提取的任务复杂化而成为构造模式识别系统最困难的任务之一。特征提取和选择的基本任务是如何从许多特征中找出那些最易得且有效的特征,从而实现特征空间维数的压缩.模式特征的提取与选择1概述虽然特征的提取和选择在模式识别中占有重

2、要地位,但迄今没有一般方法,大多数的方法都是面向问题的.对于不同的模式识别问题可以有不同的特征提取和选择方法,而且即使对于同一模式识别问题往往也可能用不同方法,所以要对这些方法作一般的评价是困难的.模式特征的提取与选择1概述模式特征并非提取得越多越好.在实际工作中,往往会发现当特征的数目达到某个限度后,不但不能改善分类器的性能,反而会使它的工作恶化.其原因在于用以设计分类器的样本数目是有限的.为了使模式识别的结果满意,在增加特征的同时,必须增加供学习的样本数量.模式特征的提取与选择1概述(1)用一定数量的样本估计出来的参数设计Bayes分类器时,随着维数的增加要求样本数急剧增加,这样才能保证一

3、定的错误率.模式特征的提取与选择1概述(2)在用线性判别函数来划分模式空间时,一般要用一组样本来决定划分区域的超平面.当增加维数时,样本数应有更多的增加才能保持原有的超平面容度.模式特征的提取与选择1概述(3)在邻近法与集群分析中,经常应用的是群内离散度矩阵Sw,为了使用行列式准则,离散度矩阵必须是非奇异的,这就要求样本数与群数之差应远大于维数.模式特征的提取与选择1概述几个基本概念特征形成:根据被识别的对象产生一组基本特征,它可以是计算出来的(当识别对象是波形或数字图像时),也可以是用仪表或传感器测量出来的(当识别对象是实物或某过程时),这样产生出来的特征叫做原始测量(一次测量),原始测量的

4、直接结果或间接结果称为原始特征.模式特征的提取与选择1概述几个基本概念特征提取:原始特征的数量可能很大,或者说样本是处于一个高维空间中,通过映射(或变换)的方法可以用低维空间来表示样本,这个过程叫特征提取.映射后的特征叫二次特征,它们是原始特征的某种组合.变换A:Y→X称为特征提取器.模式特征的提取与选择1概述几个基本概念特征选择:从一组特征中挑选出一些最有效的特征以达到降低特征空间维数的目的,这个过程叫特征选择.有时特征提取和选择并不是截然分开的，在具体的模式识别问题中也可以结合使用。模式特征的提取与选择2类别可分性判据把一个高维空间变换为低维空间的映射有很多，哪种映射对分类最有利，需要一个

5、比较标准，即类别可分性判据，这些判据应能反映各类在特征空间中的分布情况，应能刻画各特征分量在分类识别中的重要性或贡献。以分类器的错误概率做为标准有难度.模式特征的提取与选择2类别可分性判据与错误概率(或其界限)有单调关系,使判据取最值时,错误概率也较小.当特征相互独立时,判据具有可加性.判据须有度量特性(非负性,对称性).自身有单调性(加入新特征时,判据不减小).类别可分性判据应满足的几个要求:模式特征的提取与选择2类别可分性判据点与点的距离点到点集的距离类内距离(类内均方欧氏距离d2)类内离差矩阵Sw(d2=Tr[Sw])两类之间的距离各类间的总均方距离总的类内类间及总体离差矩阵ST=Sw+

6、ST基于几何距离的可分性判据模式特征的提取与选择2类别可分性判据J1=Tr[Sw-1SB]J2=Tr[SB]/Tr[Sw]J3=Tr[Sw-1ST]J4=

7、ST

8、/

9、SW

10、=

11、Sw-1ST

12、基于几何距离的可分性判据上述各种判据存在关联性,其中一些判据如J1,J4具有非奇异线性变换不变性.它们本质相似,但性能可能不同.模式特征的提取与选择2类别可分性判据基本原则Jp非负.当两类概率密度函数完全不重叠时,Jp趋于无穷大.当两类概率密度函数完全重合时,Jp为零.相对于两个概率密度具有对称性.基于类概率密度函数的可分性判据模式特征的提取与选择2类别可分性判据判据举例Bhattacharyya判据JB=

13、-lnS[p(x

14、w1)p(x

15、w2)]1/2dxChernoff判据JC=-lnSp(x

16、w1)sp(x

17、w2)1-sdx散度(总的平均可分性信息)JD=I12(x)+I21(x)基于类概率密度函数的可分性判据模式特征的提取与选择2类别可分性判据I12(x)=E1{ln[p(x

18、w1)/p(x

19、w2)]}基于类概率密度函数的可分性判据I21(x)=E2{ln[p(x

20、w2)/p(x

21、w1)]}模