数据挖掘讲座一、序论

《数据挖掘讲座一、序论》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、数据挖掘主讲教师：王灿E-mail:wcan@zju.edu.cn教科书和参考书教科书数据挖掘：概念与技术，JiaweiHan和MichelineKamber著，机械工业出版社(2001)参考书数据挖掘原理,DavidHand,HeikkiMannila和PadhraicSmyth著，机械工业出版社(2003)中文版英文影印版数据挖掘的发展动力---需要是发明之母数据爆炸问题自动数据收集工具和成熟的数据库技术使得大量的数据被收集，存储在数据库、数据仓库或其他信息库中以待分析。我们拥有丰富的数据，但却缺乏有用的信息解决方法：

2、数据仓库技术和数据挖掘技术数据仓库(DataWarehouse)和在线分析处理(OLAP)数据挖掘：在大量的数据中挖掘感兴趣的知识（规则，规律，模式，约束）数据库技术的演化(1)1960s和以前:文件系统1970s:层次数据库和网状数据库1980s早期:关系数据模型,关系数据库管理系统(RDBMS)的实现数据库技术的演化(2)1980s晚期:各种高级数据库系统(扩展的关系数据库,面向对象数据库等等.)面向应用的数据库系统(空间数据库，时序数据库，多媒体数据库等等）1990s:数据挖掘,数据仓库,多媒体数据库和网络数据库20

3、00s流数据管理和挖掘基于各种应用的数据挖掘XML数据库和整合的信息系统什么是数据挖掘？数据挖掘(从数据中发现知识)从大量的数据中挖掘哪些令人感兴趣的、有用的、隐含的、先前未知的和可能有用的模式或知识挖掘的不仅仅是数据（所以“数据挖掘”并非一个精确的用词）数据挖掘的替换词数据库中的知识挖掘（KDD）知识提炼、数据/模式分析数据考古数据捕捞、信息收获等等。数据挖掘:数据库中的知识挖掘(KDD)数据挖掘——知识挖掘的核心数据清理数据集成数据库数据仓库Knowledge任务相关数据选择数据挖掘模式评估KDD的步骤从KDD对数据挖

4、掘的定义中可以看到当前研究领域对数据挖掘的狭义和广义认识数据清理:(这个可能要占全过程60％的工作量)数据集成数据选择数据变换数据挖掘（选择适当的算法来找到感兴趣的模式）模式评估知识表示典型数据挖掘系统的体系结构数据仓库数据清洗过滤数据库数据库或数据仓库服务器数据挖掘引擎模式评估图形用户界面知识库数据集成并非所有的东西都是数据挖掘基于数据仓库的OLAP系统OLAP系统专注于数据的汇总，而数据挖掘系统可以对数据进行多种复杂的处理。机器学习系统，数据统计分析系统这些系统所处理的数据容量往往很有限。信息系统专注于数据的查询处理。

5、相比于上述系统，数据挖掘系统关注更广的范围，是一个多学科的融合在何种数据上进行数据挖掘关系数据库数据仓库事务数据库高级数据库系统和信息库空间数据库时间数据库和时间序列数据库流数据多媒体数据库面向对象数据库和对象-关系数据库异种数据库和历史(legacy)数据库文本数据库和万维网(WWW)空间数据库空间数据库是指在关系型数据库（DBMS）内部对地理信息进行物理存储。空间数据库中存储的海量数据包括对象的空间拓扑特征、非空间属性特征以及对象在时间上的状态变化。常见的空间数据库数据类型地理信息系统(GIS)遥感图像数据医学图像数据

6、数据挖掘技术的应用：通过空间分类和空间趋势分析，引入机器学习算法，对有用模式进行智能检索时间数据库和时序数据库时间数据库和时序数据库都存放与时间有关的数据。时间数据库通常存放包含时间相关属性的数据。时序数据库存放随时间变化的值序列。对时间数据库和时序数据库的数据挖掘,可以通过研究事物发生发展的过程，有助于揭示事物发展的本质规律，可以发现数据对象的演变特征或对象变化趋势。流数据与传统的数据库技术中的静态数据不同，流数据是连续的、有序的、变化的、快速的、大量的数据输入的数据。主要应用场合网络监控网页点击流股票市场流媒体…等等与

7、传统数据库技术相比，流数据在存储、查询、访问、实时性的要求等方面都有很大区别。多媒体数据库多媒体数据库实现用计算机管理庞大复杂的多媒体数据，主要包括包括图形(graphics)、图象(image)、声音(audio)、视频(video)等等，现代数据库技术一般将这些多媒体数据以二进制大对象的形式进行存储。对于多媒体数据库的数据挖掘，需要将存储和检索技术相结合。目前的主要方法包括构造多媒体数据立方体、多媒体数据库的多特征提取和基于相似性的模式匹配。面向对象数据库和对象-关系数据库面向对象数据库是面向对象技术和数据库技术结合的

8、产物，该技术对数据以对象的形式进行存储，并在这个基础上实现了传统数据库的功能，包括持久性、并发控制、可恢复性、一致性和查询数据库的能力等。对象－关系数据库基于对象－关系模型构造，该模型通过处理复杂对象的丰富数据类型和对象定位等功能，扩充关系模型。面向对象数据库和对象－关系数据库中的数据挖掘会涉及一些新的