第一章绪论[011]

《第一章绪论[011]》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、湖南大学毕业设计（论文）第-33-页第一章绪论1.1课题背景及目的在现实生活中，我们能够轻而易举地识别人脸、感知音乐、去做时常的体育运动、或者感受热与冷，其实在这简单的行为背后其实隐藏着非常复杂的处理机制。这种机制是在过去几千万年里我们进化出高度复杂的神经和认知系统。模式识别（patternrecognition）——这种输入原始数据并根据其类别采取相应行为的能力——对于我们的生存是至关重要的[1]。一个模式分类系统通过传感器进行输入，再用分割器对个体进行分割和组织，把各自的特征提取出来，从这里后我们就要根据提取出来的特征进行分类，分类后经过后处理就可以决策了。在

2、这个模式分类处理过程中，分类是其中重要的一个环节。本课题就是研究分类中的一个重要组成部分——线性模式分类。严格地说，一切实际的系统都是非线性的，真正的线性系统在现实世界是不存在的。但是，很大一部分实际系统，它们的某些主要关系特性，在一定的范围内，可以充分精确地用线性系统来加以近似地代表。并且，实际系统与理想化了的线性系统间的差别，对于所研究的问题而言已经小到无关紧要的程度而可予以忽略不计。因此，从这个意义上说，线性系统或者可线性化的系统又是大量存在的，而这正是研究线性系统的实际背景。[2]简单说，线性系统理论主要研究线性系统状态的运动规律和改变这种运动规律的可能性

3、方法，建立和揭示系统结构、参数、行为和性能间的确定的和定量的关系。在对系统进行研究的过程中，建立合理的系统数学模型是首要的前提。分类是数据挖掘中一项非常重要的任务，目前在商业上应用最多。分类的目的是提出一个分类函数或分类模型（也常常称作分类器），该模型能把数据库中的数据项映射到给定类别中的一个。分类和回归都可以用于预测。预测的目的是从历史数据记录中自动推导出对给定数据的推广描述，从而能对未来的数据进行预测。和回归方法不同的是，分类的输出是离散的类别值，而回归的输出是连续数值。[3]湖南大学毕业设计（论文）第-33-页1.2国内外研究状况及成果VladimirN.V

4、apnik等人在20世纪60年代就开始研究有限样本情况下的机器学习问题，直到90年代中，有限样本情况下的机器学习理论研究逐渐成熟起来，形成了一个较完善的理论体系一统计学习理论(StatisticalLeamingTheory)。1992-1995年，在统计学理论的基础上发展出了一种新的分类方法——支持向量机.[3]支持向量机作为一种新型的分类工具具有以下优点:1结构简单。2.性能优良，尤其是泛化能力好。3.适合处理高维数据，避免了维数灾难。4.有关的优化问题有唯一的极小点。5.学习速度快。6.更换核K可以得到各种不同的分离曲面。由于支持向量机具有坚实的理论基础和它

5、应用于很多领域所表现出的良好的性能，引发了学者们的广泛研究，其中包括算法本身的改进和算法的实际应用。由于SVM最终所要求解的问题可以归结为求解一个具有线性约束条件的二次规划问题，求解这个二次规划问题的基本思路是把所要求解的问题分成若干子问题，通过迭代求子问题的解从而求得最优解。就目前所查文献中提到的训练算法主要有:1.1995年Cortes和Vapnik提出的Chunking算法。其目的是将一个大型的二次规划问题分解成一系列较小规模的二次规划问题，其出发点是删除矩阵中对应Lagrange乘数为零的行和列将不会影响到最终的结果。2.Osuna提出的分解算法，主要针对

6、了SVM训练速度慢复杂度高的问题。它主要思想是将训练样本分为工作集B和非工作集N,B中的样本个数为q个，9远小于总样本个数，每次只针对工作集B中的q个样本训练，而固定N中的训练样本。该算法的关键在于选择一种最优的工作集选择算法，Osuna的工作集的选择算法也并不是最优的，但是Osuna的这一工作应该说是开创性的，并为后来的研究奠定了基础。3.Plat提出的序贯最小优化算法(SMO算法)，主要是针对大样本问题。SMO算法和以往的一些SVM湖南大学毕业设计（论文）第-33-页算法相同，即把整个二次规划问题分解成为许多易处理的小问题，它优于其它算法的地方在于它把问题分解

7、成为可能达到的最小规模，具体操作是每次优化只处理两个样本的优化问题，并且用解析的方法进行处理。4.1998年7oachims提出了SVM-light算法。该算法实际上是Osuna方法的推广，其基本思想是:如果存在不满足K-K-T条件的样本，则以某种方式选择的4个样本作为工作集，其他样本保持不变，在这个工作集上解决二次规划问题，重复这一过程，直至所有样本都满足K-K-T条件，并且用软件实现了这个算法。5.HsuChihweit提出了BSVM算法。这种算法主要通过改变SVM的提法提出了一种简单的训练算法BSVM，主要是针对SVM得到的一种不同的数学提法，从而使算法简单

8、易行。6.