滑动窗口中数据流频繁项集挖掘算法研究

《滑动窗口中数据流频繁项集挖掘算法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、万方数据独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得云洼王业太堂或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均己在论文中作了明确的说明并表示了谢意。学位论文作者签名：萆黄玉签字日期：z<4s年f月缸日学位论文版权使用授权书本学位论文作者完全了解云蓬工业太坐有关保留、使用学位论文的规定。特授权云连工业太堂可以将学位论文的全部或部分内容编入有关数据库进行检索，并采用

2、影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校向国家有关部门或机构送交论文的复印件和磁盘。(保密的学位论文在解密后适用本授权说明)学位论文作者签名：覃砷乇、导师签名：I●JJ一穸彩7茅签字日期：扫圬年l,El以日签字日期：如侉年(,El钐日万方数据学位论文的主要创新点一、．针对数据流的独有特点，提出了一种滑动窗口中数据流最大频繁项集挖掘算法。该算法主要采用0-1矩阵作为储存结构，把事务的相关信息以二进制的形式储存到事务矩阵中，并通过两个矩阵的相关操作和子集检测快速挖掘出最大频繁项集存储到数组MFI中，大大减少了候选项

3、集的产生，进一步提高了挖掘的时间效率。二、一些传统的数据流频繁闭项集挖掘算法存在搜索空间大和查找效率低的问题，从而造成算法的时间效率较低。针对以上问题，提出了滑动窗口中数据流频繁闭项集挖掘算法DS-MCFI，该算法同样采用两个0-1矩阵作为储存结构，然后通过二项集矩阵扩展得到频繁k一项集，并通过逻辑与操作得到频繁k一项集的支持度，再将支持度相等的频繁项集存储到数据字典结构中来提高算法的查找效率；最后通过挖掘所有支持度相等的频繁项集中的最大频繁项集组合生成频繁闭项集。万方数据摘要I删吵㈣Y2757321近年来，随着信息技术的高速发展

4、，变化多样的数据形式使得传统的静态数据挖掘技术己无法适应高速流动的动态的数据挖掘，数据挖掘的发展方向更加深入。数据流就是其中最新出现的很重要的数据形式，在计算机网络、传感器、金融市场、股票交易以及医疗卫生等众多领域得到了广泛的应用，因此数据流挖掘技术成为了当前研究问题的热点。作为关联规则的基础和核心，数据流频繁项集的挖掘更是成为了数据流挖掘领域的一个热点问题。数据流最大频繁项集的项集数目相对很少并且己隐含所有的频繁项集，所以数据流中最大频繁项集的挖掘具有很好的时空效率并且有很大的意义，也受到了业界更多的关注。针对数据流最大频繁项集

5、的挖掘，提出了在滑动窗口中基于矩阵的数据流最大频繁项集挖掘方法SWM-MFI，主要采用两个矩阵来存储数据信息：一个矩阵是事务矩阵，存储事务数据；一个矩阵是二项集矩阵，存放频繁2一项集。通过二项集矩阵扩展得到频繁k一项集，基于SwM-MFI算法挖掘出最大频繁项集。经过理论和实验证明该算法具有很好的时效性。有些传统的数据流频繁闭项集挖掘算法存在搜索空间大和查找效率低的问题，从而造成算法的时间效率较低。针对以上问题，提出了滑动窗口中数据流频繁闭项集挖掘算法DS—MCFI，首先引入两个矩阵：一个矩阵是事务矩阵，存储事务数据；一个矩阵是二项

6、集矩阵，存放频繁2一项集；然后通过二项集矩阵扩展得到频繁k一项集，并通过逻辑与操作得到频繁k一项集的支持度，两个矩阵的相关操作可以明显降低算法的时间复杂度；再将支持度相等的频繁项集存储到数据字典结构中来提高算法的查找效率；最后通过挖掘所有支持度相等的频繁项集中的最大频繁项集组合生成频繁闭项集。经过理论分析和实验证明，DS-MCFI算法具有很好的时空效率。关键词：数据流；数据流挖掘；最大频繁项集；滑动窗口；频繁闭项集万方数据Inrecentyears，withtherapiddevelopmentofmodeminformation

7、technology,theavarietyofdataformmakesthetraditionalstaticdataminingtechniqueshavebeenunabletoadapttothehigh-speedflowdynamicdatamining．Andthedevelopmentdirectionofdataminingismoredeeply．Datastreamisoneofthelatestimportantformsofdata．Ithasbeenwidelyusedincomputernetwor

8、ks，sensors，financialmarket,stooktrading，medicalandhealth，andmanyotherfields．Sothedatastreamminingtechnologyhasbecomethefocus