基于集成学习的覆盖算法研究

《基于集成学习的覆盖算法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、安徽大学硕士学位论文基于集成学习的覆盖算法研究姓名：冯伦阔申请学位级别：硕士专业：计算机软件与理论指导教师：贾瑞玉2010-02摘要摘要分类和聚类是两种重要的数据挖掘技术，分类是对数据集中具有同样类标号的数据建立规则或模型，通过这些规则或模型能对数据正确分类。聚类是通过相似度对没有类别标号的数据集中数据进行分组，使得组内对象相似度高而组间相似度低。构造型神经网络是一种新型的神经网络，它将网络功能划分成若干独立的功能模块，整个网络可以分层逐步构造。相对于传统神经网络，构造型神经网络具有大规模网络构建相对简单、易理解、内部功能模

2、块相对独立、设计简单、可并行处理等特点，在解决海量数据、解决传统神经网络结构复杂、训练速度慢、扩展神经网络应用领域等方面显示出了巨大的优势和潜力。基于覆盖思想的构造型神经网络是从神经元模型几何意义出发而提出来的，它的核心是领域覆盖算法，算法首先是逐步在样本集的投影域构造出只含同类数据的“球形区域”，然后再将具有共同类标号的“球形区域”组成统一的输出。集成学习技术是利用多个学习器来解决同一个问题，这样可以显著地提高学习系统的泛化能力以及稳定性。传统的覆盖算法并不能实现对增量样本的学习过程，本文提出基于集成学习的覆盖增量学习算法

3、，通过样本权值的设置加大对新增样本的学习，并针对不同情形的增量样本给出对应的算法，成功实现覆盖算法对增量样本的学习过程。针对传统领域覆盖算法因为“球形区域”过多导致“拒识样本”过多，交叉覆盖算法因为本身构造时过分依赖训练样本而导致泛化能力较差的问题，本文提出基于集成学习的覆盖算法，该算法一方面大大减少了“拒识样本”，另一方面也显著提高了算法的泛化能力。覆盖聚类算法是将传统的领域覆盖算法应用于聚类分析，是利用聚类数据局部聚集的特性进行聚类的算法，算法具有聚类快速、参数设置相对简单的特点，本文利用覆盖聚类算法为K-means算法

4、探索初始中心，改进后的算法不仅可以显著降低K-means的迭代次数，而且还有助于发现K-means的最佳聚类效果。针对覆盖聚类算法聚类效果不理想的问题，本文结合覆盖算法本身特点，提出基于“中心匹配”的新的簇标号匹配方法，并在此基础上提出基于集成学习的覆盖聚类算法，该算法可以提高覆盖算法的聚类效果。覆盖算法的分类或者聚类结果就是得到若干个“球形区域”，因此衡量分类-i-基于集成学习的覆盖算法研究器或聚类器的差异性，也就变成衡量“球形区域”的差异性，而“球形区域”是通过中心和半径来确定，本文由此出发，提出了基于中心相似的差异性度

5、量方法，来实现覆盖分类和聚类算法的选择性集成学习，改进后的算法可以大大减少用于集成的个体学习器的个数。关键词：覆盖算法；覆盖聚类；差异性；集成学习；选择性集成-ii-AbstractAbstractClassificationandClusteringaretwoimportantdataminingtechniques,Classificationfocusesonthedatawiththesametypelabelstoestablishrulesormodels,bytheserulesorthemodelscanc

6、orrectlyclassifythedata.Clusteringgrouptheabsencecategorylabelsdatabysimilaritydegree,therearehighsimilarityinnergroupandlowsimilaritybetweengroups.Constructiveneuralnetworkisanewtypeofneuralnetwork,whichdividenetworkfunctionintoanumberofseparatefunctionalblocks,th

7、eentirenetworkcanbeconstructedstepbystep.Comparedwithtraditionalneuralnetworks,Constructiveneuralnetworkhavesimplyandeasilyconstructed,relativelyindependentoftheinternalfunctionalmodules,simplydesigned,parallelprocessing.Inthemassivedata,expandthefieldsofneuralnetw

8、orkapplicationsandsolvethedisadvantagesoftraditionalneuralnetworks,forexample,complexstructure,slowlytraining,itshowstremendousandpotentialadvant