pr07 特征选择与提取

《pr07 特征选择与提取》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第第77章章特征选择与提取特征选择与提取Outline:引言类别可分性判据第七按距离度量的特征提取方法章基于距离的可分性判据特征按欧氏距离度量的特征提取选择按概率距离判据的特征提取与提取基于熵的可分性判据2YunTianBeijingNormalUniversity引言研究的问题是对已有的特征空间进行改造,,着重于研究对第样本究竟用什么样的度量方法更好。七章对分类器设计来说，使用什么样的特征描述事物，也就特是说使用什么样的特征空间是个很重要的问题。这个问征题称之为描述量的选择问题，意思是指保

2、留哪些描述量，选择删除哪些描述量的问题。但对特征进行删选并不是唯一与提的方法，这种方法也不一定很有效，因此还要必要研究取其它方面，由于对特征空间进行改造目的在于提高其某方面的性能，因此又称特征的优化问题。3YunTianBeijingNormalUniversity引言对特征空间的改造、优化、主要的目的是降维，即把第维数高的特征空间改成维数低的特征空间，降维主要七有两种途径。一种是删选掉一些次要的特征，问题在章特于如何确定特征的重要性，以及如何删选。另一种方征法是使用变换的手段，通过变换来实现降维，这两种选

3、择方法的区分要弄清楚。与提取4YunTianBeijingNormalUniversity问题：第七章特征选择与提取5YunTianBeijingNormalUniversity引言前面所讨论的分类方法与分类器设计中，都是在d维特征空间已经确定的前提下进行的。因此讨论的分类器设计问题是一个选择什么准则、使第用什么方法,,将已确定的d维特征空间划分成决策域的问题。对分类器设七计方法的研究固然重要，但如何确定合适的特征空间是设计模式识别系章统另一个十分重要、甚至更为关键的问题。如果所选用的特征空间能使特同类物

4、体分布具有紧致性，即各类样本能分布在该特征空间中彼此分割征选开的区域内，这就为分类器设计成功提供良好的基础。反之，如果不同择类别的样本在该特征空间中混杂在一起，再好的设计方法也无法提高分与类器的准确性。这一章要讨论的问题就是特征空间如何设计的问题。提取如何构个构造一个特特征空间，即对要识别的事什法描事物用什么方法进行描述、分析的问题。6YunTianBeijingNormalUniversity引言—物理量的获取与转换这是指用什么样的传感器获取电信号，如摄取景物则要第用摄像机。文字与数字识别首先要用扫描仪

5、等设备。手七写体文字所用传感器与印刷体文字也很可能不同。这些章都属于物理量的获取，并且已转换成电信号，为计算机特分析打下了基础。征选择与对从传感器中得到的信号，可以称之为原始信息，因为提它要经过加工、处理才能得到对模式分类更加有用的信取号。7YunTianBeijingNormalUniversity引言—描述事物方法的选择与设计在得到了原始信息之后，要对它进一步加工，以获取对分类最有效的信息。这部分信息必须对原始信息进第七行加工，设计出所要信息的形式是十分关键的。章特征选择与提取8YunTianBeij

6、ingNormalUniversity引言—特征空间的优化这个层次的工作发生在已有了特征的描述方法的基础上，也就是已有了一个初始的特征空间，如何对它进第行改造与优化的问题。一般说来要对初始的特征空间七章进行优化是为了降维。即初始的特征空间维数较高。能否改成一个维数较低的空间，称为优化，优化后的特征特征空间应该更有利于后续的分类计算。选择与总的说来，确定特征空间是对样本使用何种描述量度量的提问题，但是其中包括若干层次的问题。一个首要的问题是取如何把物体所具有的物理性质，结构性质等转换成计算机能处理的数学描述

7、量。9YunTianBeijingNormalUniversity引言—讨论的问题对原有特征空间的处理与加工，使之较原特征空第七间优化。所谓优化是要求既降低特征的维数，又章能提高分类器的性能。特征选择对特征空间进行优化有两种基本方法，一种为特与征选择，一种为特征的组合优化。简单说，选择提取只是删掉部分特征，而特征的组合优化是要通过一种映射，也就是说新的每一个特征是原有特征的一个函数。10YunTianBeijingNormalUniversity引言—讨论的问题为了说得更明确，假设已有D维特征向量空间，

8、Yyy12,,,yD则所谓特征选择是指从原有的D维特征空间，删去一些特征第描述量，从而得到精简后的特征空间。在这个特征空间中，七章样本由d维的特征向量描述：：，Xxx12,,,xd，d＜D。由于X只是Y的一个子集，因此每个分量x必然能在原特征集中找到特i征xy征其对应的描述量ij。选择而特征提取则是找到一个映射关系：与A:Y→X提取使新样本特征描述维数比原维数降低。其中每个分量x