数据挖掘软件发展分析

《数据挖掘软件发展分析》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、主讲人朱扬勇数据挖掘软件发展分析一、数据挖掘概念----定义数据挖掘--从大量数据中寻找其规律的技术，是统计学、数据库技术和人工智能技术的综合。数据挖掘与统计学数据挖掘与人工智能数据挖掘与数据库技术数据挖掘与KDD2一、数据挖掘概念----原由国民经济和社会的信息化社会信息化后，社会的运转是软件的运转社会信息化后，社会的历史是数据的历史因此政府提出“信息化”和“发展软件产业”3一、数据挖掘概念----原由数据挖掘数据库越来越大有价值的知识可怕的数据4一、数据挖掘概念----原由数据爆炸，知识贫乏苦恼:淹没在数据中;不能制定合适的决策!数据知识决策模式趋势事实关

2、系模型关联规则序列目标市场资金分配贸易选择在哪儿做广告销售的地理位置金融经济政府POS.人口统计生命周期5一、数据挖掘概念----发展1989IJCAI会议：数据库中的知识发现讨论专题KnowledgeDiscoveryinDatabases(G.Piatetsky-ShapiroandW.Frawley,1991)1991-1994KDD讨论专题AdvancesinKnowledgeDiscoveryandDataMining(U.Fayyad,G.Piatetsky-Shapiro,P.Smyth,andR.Uthurusamy,1996)1995-199

3、8KDD国际会议(KDD’95-98)JournalofDataMiningandKnowledgeDiscovery(1997)1998ACMSIGKDD,SIGKDD’1999-2002会议,以及SIGKDDExplorations数据挖掘方面更多的国际会议PAKDD,PKDD,SIAM-DataMining,(IEEE)ICDM,DaWaK,SPIE-DM,etc.6一、数据挖掘概念----技术技术分类预言（Predication）：用历史预测未来描述（Description）：了解数据中潜在的规律数据挖掘技术关联分析序列模式分类（预言）聚集异常检测7二

4、、数据挖掘软件的发展代特征数据挖掘算法集成分布计算模型数据模型第一代作为一个独立的应用支持一个或者多个算法独立的系统单个机器向量数据第二代和数据库以及数据仓库集成多个算法：能够挖掘一次不能放进内存的数据数据管理系统，包括数据库和数据仓库同质、局部区域的计算机群集有些系统支持对象,文本和连续的媒体数据第三代和预言模型系统集成多个算法数据管理和预言模型系统intranet/extranet网络计算支持半结构化数据和web数据第四代和移动数据/各种计算设备的数据联合多个算法数据管理、预言模型、移动系统移动和各种计算设备普遍存在的计算模型RobertGrossman，

5、NationalCenterforDataMiningUniversityofIllinoisatChicago的观点8二、数据挖掘软件的发展第一代数据挖掘软件特点支持一个或少数几个数据挖掘算法挖掘向量数据（vector-valueddata）数据一般一次性调进内存进行处理典型的系统如SalfordSystems公司早期的CART系统(www.salford-systems.com)缺陷如果数据足够大，并且频繁的变化，这就需要利用数据库或者数据仓库技术进行管理，第一代系统显然不能满足需求。9二、数据挖掘软件的发展第一代数据挖掘软件CBA新加坡国立大学。基于关联

6、规则的分类算法，能从关系数据或者交易数据中挖掘关联规则，使用关联规则进行分类和预测10二、数据挖掘软件的发展第二代数据挖掘软件特点与数据库管理系统（DBMS）集成支持数据库和数据仓库，和它们具有高性能的接口，具有高的可扩展性能够挖掘大数据集、以及更复杂的数据集通过支持数据挖掘模式（dataminingschema）和数据挖掘查询语言增加系统的灵活性典型的系统如DBMiner，能通过DMQL挖掘语言进行挖掘操作缺陷只注重模型的生成，如何和预言模型系统集成导致了第三代数据挖掘系统的开发11二、数据挖掘软件的发展第三代数据挖掘软件特点和预言模型系统之间能够无缝的集成

7、，使得由数据挖掘软件产生的模型的变化能够及时反映到预言模型系统中由数据挖掘软件产生的预言模型能够自动地被操作型系统吸收，从而与操作型系统中的预言模型相联合提供决策支持的功能能够挖掘网络环境下（Internet/Extranet）的分布式和高度异质的数据，并且能够有效地和操作型系统集成缺陷不能支持移动环境12二、数据挖掘软件的发展第四代数据挖掘软件特点目前移动计算越发显得重要，将数据挖掘和移动计算相结合是当前的一个研究领域。第四代软件能够挖掘嵌入式系统、移动系统、和普遍存在（ubiquitous）计算设备产生的各种类型的数据第四代数据挖掘原型或商业系统尚未见报导

8、，PKDD2001上Kargupta发