数据库与数据挖掘.ppt

《数据库与数据挖掘.ppt》由会员上传分享，免费在线阅读，更多相关内容在PPT专区-天天文库。

1、第8章数据挖掘技术概述8.1什么是数据挖掘？数据挖掘（DataMining），是指从大量数据中提取人们感兴趣的知识，这些知识是隐含的、事先未知的、潜在有用信息，提取的知识一般可表示为概念（Concepts）、规则（Rules）、规律（Regularities）、模式（Patterns）等形式。有人将数据挖掘称为数据库中的知识发现（KDD:KnowledgeDiscoveryinDatabase）。也有人将数据挖掘看成为KDD中的一个步骤。KDD过程由以下步骤组成：数据清理（消除噪音和不一致数据）数据集成（多种数据源组合在一起）数据选择（选择与分析任

2、务相关的数据）数据变换（变换成适合挖掘的形式）数据挖掘模式评估（用兴趣度度量）易于理解、新颖、潜在有用、有效知识表示8.2数据挖掘产生与发展1989年8月在美国底特律召开的第11届国际人工智能会议上首先出现“数据库中知识发现（KDD）”这个术语，随后引起了国际人工智能和数据库等领域专家的广泛关注。1995年在加拿大蒙特利尔召开了首届KDD&DataMining国际学术会议。1997年《KDD&DataMining》国际刊物创刊。20多年来，数据挖掘研究引起国际国内广泛重视，成为一个重要的研究方向，研究内容不断扩展，被各国列为重点资助的科技计划，并且

3、向其他应用领域渗透。数据挖掘:多学科的融合数据挖掘数据库技术统计学归纳推理模式识别机器学习可视化技术8.3数据挖掘分类1.针对不同的数据源分：关系数据挖掘文本数据挖掘图像数据挖掘声音数据挖掘空间数据挖掘时态数据挖数据流挖掘Web数据挖掘树挖掘图挖掘2.根据挖掘的知识分：关联分析:关联规则挖掘分类:构造分类器，用于离散值的预测聚类分析：发现新的事物/模式序列模式分析：发现事物变化的规律/周期离群数据挖掘：发现异常事物/模式趋势分析：用于预测回归分析：建立数学模型，用于连续值的预测8.4数据挖掘采用的技术/方法(1)统计归纳(2)决策树方法(3)神经网

4、络(4)支持向量机(5)遗传算法(6)粗集方法(7)Bayes方法等8.5数据挖掘技术研究的选题(1)针对不同的数据源进行挖掘例如：关系数据挖掘、文本数据挖掘、Web数据挖掘、空间数据挖掘、数据流挖掘、树挖掘、图挖掘等(2)针对不同的知识类型/目标进行挖掘例如:关联分析、分类、聚类分析、离群数据挖掘、序列模式挖掘(3)采用不同技术进行挖掘例如：统计推理、支持向量机方法、遗传算法、决策树、粗糙集方法(4)数据挖掘的应用研究例如：用于网络入侵检测、生物信息学、医学图像自动诊断、地理信息系统等(5)针对不同环境下的数据挖掘单机环境、网络环境、分布式环境、

5、云计算环境8.6数据挖掘应用数据挖掘技术在科学研究、金融投资、市场营销、保险、医疗卫生、产品制造业、通信网络管理等行业已得到应用。（1）科学研究：在信息量极为庞大的天文、气象、生物技术等领域中，所获得的大量实验和观测数据靠传统的数据分析工具难以对付，因此对功能强大的智能化自动分析工具要求迫切，这种需求推动了KDD技术在科学研究领域的应用发展，并且已获得一些重要的应用成果。例如，美国加州理工学院喷气推进实验室与天文学家合作开发的SKICAT系统通过对几百万个天体进行分类，帮助天文学家发现了16个新的类星体。（2）金融投资：由于金融投资的风险很大，因此

6、在进行投资决策时，需要对各种投资方向的有关数据进行分析，以选择最佳的投资方向。数据挖掘可以通过对已有数据进行处理，利用学习得到的模式进行市场预测。例如，智能股票分析系统，可以对股票行情进行分析预测。（3）市场营销：主要用于商品的市场定位和消费者分析，辅助制定市场策略；还可以用来分析购物模式，预测销售行情。例如，IBM公司开发的QUEST和IntelligentMiner系统可以挖掘顾客的购物行为模式。（4）保险业：保险是一项风险业务，保险公司的一个重要工作就是进行风险评估。可以利用数据挖掘技术进行风险分析，在保险公司建立的保单及索赔信息数据库的基础

7、上寻找保单中风险较大的领域，从而得出一些实用的控制风险的规则，指导保险公司的工作。例如，利用SGI公司的MineSet系统提供的分类器就可以预测投保人在将来的索赔概率。（5）制造业：制造业应用数据挖掘技术进行零件故障诊断、资源优化、生产过程分析等。通过对生产数据进行分析，发现容易产生质量问题的工序以及相关的故障因素等。例如，Acknosoft公司开发的CASSIOPEE系统已用于诊断和预测在波音飞机制造过程中可能出现的问题。（6）通信网络管理：在通信网络运行过程中，会产生一系列警告，这些警告有的可以置之不理，而有的如果不及时采取措施则会带来不可挽回

8、的损失。由于警告产生的随机性很大，究竟哪些警告可以不予理睬，哪些警告必须迅速处理往往很难判断，一般需要由人工根据经验进行处