隐含概念漂移的数据流分类算法研究

《隐含概念漂移的数据流分类算法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、合肥工业大学硕士学位论文隐含概念漂移的数据流分类算法研究姓名：侯传宇申请学位级别：硕士专业：计算机应用技术指导教师：胡学钢20080901隐含概念漂移的数据流分类算法研究摘要电信、网络等众多应用领域存在着大量的数据流，其具有快速性、连续性、多变性及无限性等特性。数据流中存在大量的有用信息，因而从数据流中挖掘出未知的、有价值的模式或规律将对网络安全、企业决策等产生重大影响。数据流挖掘技术的潜在应用是十分广泛的，从政府管理决策、商业经营决策和信息安全等很多领域都可以找到数据流挖掘技术的应用。然而，由于概念漂移现象的影响，使得经典的挖掘方法不再适

2、用。因此，研究快速的、精确的、稳定的数据流挖掘系统具有较高的理论价值和应用前景。概念漂移的频度可以看作是概念漂移中部分概念重现次数，本文研究了基于频度的概念漂移的特点，以及低频概念对分类时空性能的影响，提出对基于频度的概念漂移进行检测的算法和对其中的低频概念进行消减的算法LFCR。本文主要研究内容如下：(1)概述了数据流挖掘产生与发展，分析了相关算法及存在的问题。(2)研究了经典的分类算法，分析了数据流分类所面临的问题。分析了概念漂移对数据流分类的影响，对适合于隐含概念漂移的数据流分类算法进行研究，并对其所存在的问题进行探讨。(3)针对基于

3、频度的概念漂移的特点提出对基于频度的概念漂移进行检测的算法，以便利用概念变换的规律来对发生漂移的概念进行预测，从而提高分类的时间性能。(4)分析了基于频度的概念漂移中低频概念对分类时空性能的影响，设计了消减其中低频概念的算法LFCR。实验表明了LFCR算法具有良好的时间性能。关键词：数据挖掘；数据流；概念漂移；分类；频度"lheResearchonDataStreamingClassificationhiddenConceptDriftAbstractThestreamingdataexistingintheTelegraphy,Netwo

4、rkandotherapplicationfieldshascharacteristicsofhigh-speed，continuity,levityandopenness．Someusefulinformationexistsindatastreaming，SOmininganyunknownvaluablemodelOJregularitywillexertagreatinfluenceontheNetworkSecurityandenterprisedecision．Thepotentialapplicationofdatastrea

5、mminingtechnologyisappliedverywidelyinmanyfieldssuchasgovernmentManagement，commercialmanagementdecision—making，informationsecurity,etc．Butthetraditionalalgorithmsofdataminingarenolongersuitable，becauseoftheeffectoftheconceptdriftindatastreaming．Theresearchonthehighlyaccura

6、teandstablesystemsofdatamininghasbecomemorevaluableinboththeoremandpractice．Thefrequencyofconceptdriftmaybeconsideredasthereappearancenumberofsomeoftheconcepts．Inthisdissertation，thecharacteristicsofconceptdriftbasedonthefrequency，andtheeffectoflowfrequencyconceptondatastr

7、eamingclassification，areexplored．Twoalgorithmsareproposed，onealgorithmistoidentifythefrequencyconceptdriftandtheother(LFCR)istoreducethelowfrequencyconceptwithsomemechanisms．Thecontentsofthedissertationareasfollows：(1)Thebackgroundanddevelopmentofdatastreamingmining．andsom

8、eexistingproblemsofcorrelationalgorithmsarediscussed．(2)Thetraditionalclassificationalgor