《(最新)数据挖掘集成技术研究》

《《(最新)数据挖掘集成技术研究》》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、数据挖掘集成技术研究黄晓霞1,2,萧蕴诗1(1.同济大学信息与控制工程系,上海200092;2.上海海运学院计算机系,上海200135)摘要:数据挖掘的集成实现是目前研究的一个重要方向。从数据挖掘算法的集成及数据挖掘与其它技术的集成两个方面介绍了研究领域中的一些思想和实现的方法。其中数据挖掘方法的集成有水平集成和垂直集成两种类型。数据挖掘与其它技术(如数据库和数据仓库)的集成方式有松散方式、紧耦合和“黑箱”方式,其中,紧耦合方式是集成发展的方向。关键词:数据挖掘;集成;数据库;数据仓库中图法分类号:TP311文献标识码:A文章编号:100123695(2003)04200372

2、03ResearchontheIntegrationTechniquesofDataMiningHUANGXiao2xia1,2,XIAOYun2shi1(1.Dept1ofInformation&ControlEngineering,TongjiUniversity,Shanghai200092,China;2.Dept.ofComputer,ShanghaiMarineUniversity,Shanghai200135,China)Abstract:Theintegrationindataminingapplicationisanimportantdirectioninth

3、eresearcharea.Somethoughtsandmethodsintheresearchareaabouttheintegrationofdataminingmethodsandintegrationbetweendataminingandothertechniques(suchasdatabaseanddatawarehousetechniques)arepresentedinthispaper.Therearetwotypesofdataminingmethodsintegration,theyarehorizontalintegrationandvertical

4、integration.Themethodsofintegrationbetweendatamininganddatabaseordatawarehousesystemsarelooselycoupled,tightlycoupledandblockbox.Thetightlycoupledmethodisthedirectionofdevelopment.Keywords:DataMining;Integration;Database;DataWarehouseKDD是一个多学科结合的新兴研究领域,它所涉及的领域包括数据库、统计学、模式识别、机器学习、人工智能、可视化技术等。

5、KDD之所以能够得到快速的发展,从一开始就是基于将这些领域所取得的成就协调结合的结果。可以预见,多种技术的进一步集成必将推动KDD研究更快的发展。引言当今,随着数据、信息以惊人的速度在增多,知识的理解却变得越来越难1。人类的使命并不是为了处理数据,正如R.Hamming所说“:计算机的作用是为了获得洞察力,而不是数据”。数据库中知识发现(KnowledgeDiscoveryinDatabase,KDD),这一研究领域的出现,正是力图解决这种信息丰富而知识贫乏(Information2richKnowledge2poor)的状况。Frawley等人对KDD下过这样的定义:KDD是

6、从数据中获取正确、新颖、有潜在应用价值和最终可理解的模式的非平凡的过程。近年来,KDD的研究主要集中在获取模式的方法(即数据挖掘算法),模式含义的扩展,过程的交互性和动态性等方面的研究上。其中,数据挖掘作为核心环节成为研究的重点。早期的DM研究主要集中在算法的研究上,针对不同的挖掘任务,提出了许多数据挖掘的方法。每一种算法都有其自身的特点,都有一定的针对性。不同的应用领域,适用的算法不同,1数据挖掘技术的集成没有一种算法是万能的,将多个数据挖掘技术有效的集成已成为近年来DM和KDD的一个重要的研究方向,并取得了很大的进展。对于挖掘技术的集成研究主要分为两类:挖掘方式的水平集成和

7、垂直集成。水平集成针对不同区域的数据所适用的算法不同这一特点,在挖掘时通过将多种算法集成,使挖掘精度得以提高;垂直集成指的是在挖掘过程中,不同的阶段应用不同的算法,从而可高效精确地实现挖掘目的。211水平集成数据挖掘水平集成的研究是基于这样一种事实:不2分类器集为C。T为{(xi,yi),i=1,,n},n为训练实例步发现潜在的信息。分割的目的是将数据分成感兴趣的、有意义的子集和种类,可以通过聚类技术进行。分割可以是DM的最终目的,也可能是其它目标的一个子数,xi为属性的矢量,属性集{xj}