数据挖掘理论与方法若干问题研究

《数据挖掘理论与方法若干问题研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、华东理工大学博士学位论文第I页数据挖掘理论与方法若干问题研究数据挖掘就是从大量的数据集中抽取和精炼新的模式或知识的过程，目前已经成为一个重要的研究课题。本文以提高数据挖掘的效率为目的，以微机机群为平台，以油田地质数据库为背景开展研究工作，主要包六个方面的内容。1提出了两种处理缺损数据的方法.据挖掘所面向的数据库或数据仓库中的数据往往是不完整的、含有噪声的或不一致的，以为确保数据挖掘的效率和质量，必须对这些数据进行预处理。本文提出了两种处理缺损数据的方法护种是基于Bayesian网络的缺损数据处理方法;另一种是基于数据库先验知识的缺损数据处理方法，它充

2、分利用数据库的冗余信息来推断缺损数据。2.提出了两种聚类新算"A分析是数据挖要内容，它能帮助我们了解数据分布的整体状况。本文提出了两种新的聚类学习算法是进化聚类学习方法，蚁群算法是解决离散优化问题的一种重要算法，本文首次将其应用到聚类学习中，提出了一种基于蚁群算法的进化聚类学习方法，取得了很好的效果;另一种是基于代表点的聚类方法，对于一些非球形分布的数据集，用普通的方法聚类的效果不理想，利用该方法可以首先根据领域知识选取一些代表点，然后再进行聚类学习，实验效果较好.3.提出了两种关联规则挖掘算规则是人们感兴趣的规则，也是数据挖掘的重要研究内容。本文提

3、出了两种新的关联规Ii挖掘算呼种是基于概念格的关联规则挖掘方法，将概念格的方法应用到关联规则挖掘中来，首先建立概念格的Hasse图，然后利用Hasse图的节点进行关联规则挖掘;另一种是基于微机机群平台的挖掘关联规则的并行方法，我们发现矩阵中的上三角矩阵具有良好的性质，将该性质运用到关联规则的挖掘中来可以大大提高挖掘效率。4提出了一种基于超图理论的离群数据挖掘群数据挖掘是新兴的研究课题，在生产科中有广泛的应用前景。本文提出了一种基于超图理论的解决高维离群数据挖掘的方法法首先建立了超图模型，然后利用超图的分割算法寻找频繁超边，根据超边上权重的来检测离群点

4、.5.提出了离群数据再挖掘的概念和算法。离群数据一般可以分为三种情况:一是错误，二是正常的偏离，三是含有一定信息量的数据。其中第三种情况的数据是我们感兴趣的.本文提出了在离群数据集中进行再挖掘的概念，并给出了一种基于频繁属性子空间的再挖掘算法。6提出了一种基于Multi-Agent理论的智能数据挖掘体系结构。仅仅从改进算法和提高硬件速度的角度来提高数据挖掘的效率，已经远远不能适应数据量日益增长的需要，因此需要新的理念来指导数据挖机机群为数据挖掘提供了高效廉价的硬件平台Multi-Agent理论为我们提供了新的思路，根据Wooldrige等人的观点我们

5、将单独一台微机视为一个Agent，将微机机群看作是Multi-Agent系统，这样就可以用Multi-Agent理论来第I页华东理工大学博士学位论文管理这些计算机。在此基础上我们提出了一种基于Multi-4eent理论的智能数据挖掘体系结构并讨论了在微机机群平台上进行并行挖掘的方法。关键词:数据挖掘数据预处理进化聚类概念格离群数据挖掘华东理工大学博士学位论文第m页ResearchonTheoryandMethodsofDataMiningDataminingisakindofprocesswhichexactsandrefinesnewpaterns

6、orknowledgefromlargescaledatabases.Andnowitbecomesanimportantresearchfield.ThemainsubjectofthispaperistoimprovetheeficiencyofdataminingfortheoilfielddatabaseonthePCclusterplatform.Themaincontributionsareasfollows:1.Twoalgorithmsfordealingwithimperfectdatawerepresentedinthispape

7、r.Somedataofthedatabaseordatawarehousetendtobeimperfect,noisyorinconsistent.Thesedatamustbepreprocessedinordertoimprovetheeficiencyandqualityofdatamining.Twomethodstodealwithimperfectdatawerepresentedasfollows:OneisbasedonBayesiannetwork,anotherisusedtodeducethemissingvaluewith

8、redundantinformationindatabasebasedonexperienceknowled