数据挖掘算法的改进及其在Chord网络中的应用.doc

《数据挖掘算法的改进及其在Chord网络中的应用.doc》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、数据挖掘算法的改进及其在Chord网络中的应用摘要:为了提高数据挖掘算法的效率以及chord资源定位的速度，引入条件模式以及深度优先的策略改进数据挖掘算法，并将改进后的数据挖掘算法应用到chord网络的路由表中，通过删除无效或使用频率极低的路由和增加相关路由信息的方法，加速资源定位过程。最终性能比较实验表明，数据挖掘改进算法不仅体现了优越的算法性能，同时通过挖掘chord网络的关联规则，有效地提升了系统的资源定位性能。关键词:数据挖掘；资源定位；定位机制；频繁项目集；路由信息中图分类号:tp311.131文献标志码:aabstract:toimprov

2、etheefficiencyofdataminingalgorithmsandthespeedofchordresourcelocation,thepaperoptimizedthedataminingalgorithmbyintroducingtheconditionalmodelandthedepth-firststrategy,andthenappliedthedataminingalgorithminthechordnetworkroutingtable.thepaperspeededuptheprocessofresourcelocationbyd

3、eletingtheroutinginformationofinvalidorlowfrequencyuse,andaddingtherelevantroutinginformation.finally,theperformancecomparisonexperimentsshowthattheimproveddataminingalgorithmreflectsthesuperiorperformance,andeffectivelyimprovesthepositioningperformanceofthesystemsresourcesbyminin

4、gtheassociationrulesofthechordnetwork.keywords:datamining;resourcelocation;locationmechanism;frequentitemset;routinginformation0引言网络中数据资源分布在各个独立的节点上，如何高效地索引、查找、定位以及访问这些数据信息资源是一个重要的问题，在分布式系统中这些问题同样也是正在研究的热点问题。本文主要研究优化后的数据挖掘技术在网络chord定位中的应用。因为网络在运行的过程中会产生大量的访问日志数据，而数据挖掘技术可以从海量的数据中挖掘

5、出有用的知识，利用从这些日志数据中挖掘出的规则来指导网络的运行，可以改善网络在chord定位速度方面的性能。1数据挖掘算法的分析与改进1.1问题的提出关联规则挖掘是数据挖掘技术中的一个重要研究领域，apriori算法一直作为经典的关联规则挖掘算法被引用。apriori算法的实现过程比较简单，但是每次生成含有不同项目数的候选集时都要扫描数据库，当候选集规模较大时，该算法在时间上的开销就会比较大［1］。另外由于事务数据库中的数据在不断地增加，每次增加数据后，apriori算法计算频繁项目集和生成关联规则这两项工作必须针对增加新数据后的数据库重新做起，这意味

6、着以前生成的频繁项目集和关联规则都没用了，这显然不利于快速高效地发现关联规则［2］。再有当数据库的规模超出主存的容量时，该算法效率较低，不足也就明显体现。频繁模式树(frequentpatterntree,fp-tree)算法采用了一种fpgrowth的方法。它采用了分而治之的策略：在对数据库进行第一次扫描后，把找到的频繁集压缩进一棵fp-tree，同时依然保留其中的关联信息。随后再将fp-tree分化成一些条件库，然后再对这些条件库分别进行挖掘。fpgrowth方法挖掘过程中将会产生所有的频繁项集,当数据集中包含大量频繁项集时，fp-tree算法性能较差

7、,而且大量的cpu时间被fp-tree遍历占用［3-4］。本文在apriori算法及fp-tree算法的基础上，提出了一种有效且快速发现最大频繁项目集的算法——基于条件模式的最大频繁项集的挖掘算法。它一方面引入条件模式，很好地达到了压缩事务数据库的目的；另一方面充分利用了挖掘技术的特点，采用深度优先的策略，将计算量压缩到很小。该算法在挖掘最大频繁项目集时，具有更优越的性能。1.2数据挖掘算法的改进思想本文所研究的数据挖掘改进算法采用深度优先搜索策略和数据库的垂直表示形式，无需重复扫描数据库，节省了算法的执行时间。改进算法的思想是：首先从根节点执行基于深

8、度优先的搜索算法，这样可以更有效到达最大频繁项目集所