数据流频繁模式挖掘算法研究

《数据流频繁模式挖掘算法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、哈尔滨工稃大学硕十学伊论文摘要近年来，随着信息技术的高速发展，数据流广泛出现在多种应用领域中，如传感器数据处理、金融证券管理、网络故障监测、电子商务记录等，这些数据数量巨大，而且增长迅速超出人们的想象。数据流应用的出现，带动了相关技术的发展，特别是数据流频繁模式挖掘技术的发展。然而传统的频繁模式挖掘算法大多需要多次扫描数据集，无法直接将它们应用到数据流挖掘领域，高效的数据流频繁模式挖掘研究是一个新兴的研究热点，在数据流挖掘任务具有举足轻重的作用。本文首先对传统的数据挖掘相关理论进行了全面深入的研究，对数据流处理技术和数据流

2、挖掘中的关键问题进行了系统地分析和归纳；同时，研究了采样、界标模型、滑动窗口等经典的频繁模式挖掘算法，指出了以往频繁模式挖掘算法在固定支持度阈值和固定时间区间上挖掘的缺点和不足，在此基础上提出并实现了一种在整个数据流上基于支持度阈值可变情况下的频繁模式挖掘算法，即SvFP算法。该算法利用数据结构AFI和SEG对历史模式的信息进行存储，通过STRFI树对数据流中的频繁模式进行存储和挖掘，因此SVFP算法可以实现在任意时间段进行频繁模式挖掘。最后，搭建了实验环境，对SVFP算法在各种参数下进行实验，实验结果表明采用支持度阈值可

3、变的方法是有效的，算法在时间和空间上保持着较高的效率。关键词：数据流；数据挖掘；频繁模式；STRFI树哈尔滨T稃大学硕士学位论文AbstractInrecentyears，withtherapiddevelopmentofinformationtechnology，datastreamshaveappliedinthewidevarietyapplications，suchassensordataprocessing，financialandsecuritiesmanagement，networkfaultmonitori

4、ngandrecordsofe—commerce．Thehugenumberandtherapidgrowthofthesedatahasexceededtheimaginationofpeople．Theemergenceofdatastreamingapplicationshasledinthedevelopmentofrelatedtechnologiesandespeciallyinthetechnologyinminingoffrequentpatternoverdatastream．However，thetra

5、ditionalminingalgorithmsoffrequentpatternneedSCanthedatasetsmanytimes，SOtheyCannotbedirectlyappliedtothefieldofminingindatastreams．Itisanemergingresearchfocusthatwestudytheefficientminingoffrequentpatternindatastreams．Itplaysadecisiveroleinthedataminingtask．First，

6、westudythetraditionalrelatedtheoryofdataminingdeeplyandanalyzeandsummarizetheprocessingtechnologyindatastreamandthekeyissuesontheminingindatastreamssystematically．Atthesametimewestudysomeclassicalalgorithms，suchassampling，landmarkwindow，slidingwindow，andpointoutth

7、eshortcomingsandinadequaciesonthepreviousalgorithmforminingfrequentpatternsinafixedsupportthresholdandinafixedtimeinterval．weproposedandimplementedthealgorithmoftheminingoffrequentpattemindatastreambasedonthevariablesupportthreshold．namelyAlgorithmSVFP．Thealgorith

8、musesthedatastructuresAFIandSEGtostoretheinformationofhistoricalpatterns．ThealgorithmstoredandminedfrequentpatternindatastreambytheSTRFItree．SVFPalgorit