特征的选择与提取

《特征的选择与提取》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、§4.6基于Karhunen-Loeve变换的特征提取K-L变换又称主分量分析，是一种正交变换，K-L变换常用来作为数据压缩，这里我们用它作降维，学习这一节主要要掌握以下几个问题：1．什么是正交变换2．K-L变换是一种最佳的正交变换，要弄清是什么意义的最佳，也就是说它最佳的定义。3．K-L变换的性质。4．K-L变换的重要应用。8/27/20211中国矿业大学计算机科学与技术学院§4.6.1Karhunen-Loeve变换正交变换概念变换是一种工具，是用来描述事物，特别是描述信号用的。描述事物的基本方法之一

2、是将复杂的事物化成简单事物的组合,或对其进行分解，分析其组成的成分。变换的实质是一套度量用的工具。对某一套完整的工具就称为某种变换，如傅里叶变换就是用一套随时间正弦、余弦信号作为度量工具，这些正弦，余弦信号的频率是各不相同的，才能度量出信号中相应的不同频率成分。8/27/20212中国矿业大学计算机科学与技术学院图4.6-1一个正弦信号图4.6-2(a)另一种信号图4.6-2(b)信号的基波与谐波8/27/20213中国矿业大学计算机科学与技术学院对事物可以有不同的描述方法。对复杂事物进行经济有效的描述，

3、我们希望将其分解成相互独立的成分，用变换对信号进行分析，所使用的数学工具是点积。8/27/20214中国矿业大学计算机科学与技术学院对正交变换的定义归为：如果将这种变换中的每一成分，用一个向量ui表示，i是其下标，原理上可以到∞，则正交变换可表示成：8/27/20215中国矿业大学计算机科学与技术学院以样本特征向量在特征空间分布为原始数据，通过实行Karhunen-Loeve变换，找到维数较少的组合特征，达到降维的目的。由于样本的描述都是离散的向量，因此我们只讨论Karhunen-Loeve变换(以后称K

4、-L变换)的离散情况。K-L变换的最佳：特征空间的降维，原特征空间是D维的，现希望降至d维d

5、的，不同的要求使用不同的正交变换。如果将由(4.6-1)表示的无限多维基向量坐标系统改成有限维坐标系近似，即(4.6-2)表示X的近似值或估计量，我们希望在同样维数条件下，使向量X的估计量误差最小。确切地说是使所引起的均方误差：(4.6-3)8/27/20217中国矿业大学计算机科学与技术学院要找满足(4.6-3)式为最小是一个求极值的问题，求最佳的是正交变换的基ui，i=1,…∞。同时还要满足变换是正交归一这个条件，因此这是一个求条件极值的问题。至于对某一个数据X的相应cj值，可以通过X与每一个基uj的

6、点积来计算。由于不同的基之间是相互正交的，这个点积值就是cj的值，即cj=ujTx如果要求一组系数cj，并将其表示成一个向量形式C=(c1,c2,……)T，则可得：(4.6-4)8/27/20218中国矿业大学计算机科学与技术学院则U就是一个变换矩阵，其中每一行是某一个正交基向量的转置。由X计算C称为对X的分解。反过来，如果希望用C重构信号X，则它是各个成分之和。如果我们将对应于每个基ui的成分表示成xi，则重构的信号又可表示成一个向量形式。(4.6-5)显然，与原向量X是有差别的，是原向量的一个近似，要

7、使与X的差异越小，则要用更多维数的正交基。8/27/20219中国矿业大学计算机科学与技术学院如果将代入(4.6-3)可得到由于uj,j＝1,…，∞是正交归一坐标系，有(4.6-6)所以有(4.6-7)系数cj可以利用正交坐标系的特性得到。如令某一基向量uj与向量X作点积，则有(4.6-8)利用(4.6-6)有(4.6-9)8/27/202110中国矿业大学计算机科学与技术学院(4.6-9)代入(4.6-7)得(4.6-10)如令则有欲使该均方误差ε为最小，就变成在确保正交变换的条件下，使ε达最小的问题，

8、这可用拉格朗日乘子法求解。为此设一函数：并令其对uj求导数，得(4.6-11)8/27/202111中国矿业大学计算机科学与技术学院可见向量ujj=d+1,…,∞应是ψ矩阵的特征值λj的特征向量，而此时截断误差为如将λj按其大小顺序排列，即则取前d项特征值对应的特征向量组成的坐标系，可使向量的均方误差为最小。满足上述条件的变换就是K-L变换。8/27/202112中国矿业大学计算机科学与技术学院§4.6.2K-L变换的性质(1