支持向量机理论、方法和应用研究

《支持向量机理论、方法和应用研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、*支持向量机理论、方法和应用研究摘要传统的统计学研究的是样本无穷大时的渐进理论。然而在实际的问题中，样本数往往是有限的。现有的基于传统统计学的学习方法在有限样本的情况下难以取得理想的效果。统计学习理论是在有限样本情况下新建立起来的统计学理论体系。统计学习理论为人们系统地研究小样本情况下机器学习问题提供了有力的理论基础。支持向量机是在该理论体系下产生的一种新的、非常有力的机器学习新方法。它较好地解决了以往困扰很多学习方法的小样本、非线性、过学习、高维数、局部极小点等实际问题，具有很强的泛化能力。目前，统计学习理论和支持向量机作为小样本学习的最佳理论，开始受到越来越广

2、泛的重视，正在成为人工智能和机器学习领域新的研究热点。本文从支持向量机理论、方法和应用相结合的角度出发，在支持向量机算法、模型选择和应用等方面进行了系统地研究，本文的主要工作和贡献包括以下内容：1．重点研究了支持向量机估计算法。分析了贝叶斯框架下基于数据的机器学习问题。结合非线性支持向量机估计算法，提出了贝叶斯框架下的标准支持向量机估计算法和最小二乘支持向量机估计算法，在贝叶斯框架下进行支持向量机估计算法的参数调整和最优模型选择。在此基础上，提出了贝叶斯框架下支持向量机估计算法的建模方法，并应用于非线性系统辨识，得到了十分有效的结果。2．根据软测量建模中小样本、非

3、线性及要求模型泛化能力强等特点，将支持向量机估计算法应用于软测量建模，提出了基于支持向量机的软测量建模方法。它主要包括基于贝叶斯框架下的支持向量机软测量建模方法和基于交叉验证下的支持向量机软测量建模方法。将基于支持向量机的软测量建模方法应用于工业过程中的催化裂化生产过程的主分馏装置，进行轻柴油的凝固点估计。另外，根据时变系统的建模特性，将滚动优化的思想与支持向量机建模相结合，提出了基于滚动时间窗的最小二乘支持向量机在线软测量建模方法。3．重点研究了支持向量机分类算法。在基于贝叶斯框架下标准支持向量机分类算法的基础上，统一提出了贝叶斯框架下标准支持向量机分类算法和最

4、小二乘支持向量*国家十五863项目,编号：2001AA413130I机分类算法，在贝叶斯框架下进行支持向量机分类算法的最优正规化参数和核参数的选择。在此基础上，提出了贝叶斯框架下支持向量机分类算法的建模方法，并应用于工业过程故障诊断和心脏病诊断。针对多类分类问题，提出了一种贝叶斯框架下的最小二乘支持向量机多类分类算法。4．将支持向量机分类算法应用于支持决策系统。从支持决策系统体系结构的角度出发，提出了两类基于支持向量机的并行决策模型，并将它们应用于分布式的故障诊断中。接着提出了一种多支持向量机决策模型，该方法提高了决策系统的鲁棒性。5．介绍了核的概念、核的性质及核

5、的分类，分析了一种非监督核学习方法，即核主元分析。针对主元分析在非线性数据协调中的缺点，提出了一种基于核主元分析的非线性数据协调新方法，并应用于三组分精馏过程的成分协调。针对非线性故障诊断过程，提出了一种基于核主元分析的非线性故障诊断的方法，并通过实验研究说明了新方法的有效性。关键词：统计学习理论，支持向量机，贝叶斯理论，模型选择，分类，回归估计，建模，软测量，诊断，支持决策系统，核学习，核主元分析IISTUDYOFSUPPORTVECTORMACHINESTHEORY，ALGORITHMANDAPPLICATIONABSTRACTTraditionalstati

6、sticaltheoryaimsattheasymptotictheorywhensamplesizeistendtoinfinity.However,inmanypracticalcases,samplesarelimited.Mostofexistingmethodsbasedontraditionalstatisticaltheorymaynotworkwellforthesituationoflimitedsamples.StatisticalLearningTheory(SLT)isanewstatisticaltheoryframeworkestabl

7、ishedfromfinitesamples.SLTprovidesapowerfultheoryfundamenttosolvemachinelearningproblemwithsmallsamples.SupportVectorMachine(SVM)isanovelpowerfulmachinelearningmethodbasedonSLT.SVMsolvespracticalproblemssuchassmallsamples,nonlinearity,overlearning,highdimensionandlocalminima,whichexit

8、inmos