最新数据仓库与数据挖掘原理及应用v3教学讲义PPT课件.ppt

《最新数据仓库与数据挖掘原理及应用v3教学讲义PPT课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、数据仓库与数据挖掘原理及应用v3目录数据仓库基础7.分类和预测数据仓库设计和实现8.关联分析数据仓库实例9.Web挖掘OLAP和OLAM10.数据挖掘实例5.数据挖掘基础11.知识聚类分析12.语义网和本体1数据仓库基础1.1引言1.2体系结构1.3组成1.4元数据1.5数据粒度1.6数据模型1.7ETL集成的最重要的特点。应用问题的设计人员制定出不同的设计决策，且表示方法不同。例如编码、命名习惯、实际属性和属性度量等方面不一致。数据进入数据仓库时，需要消除各种不一致性。例如，数据仓库中顾客“性别”的编码，可采用“男/女”或“m/f”，

2、采用哪种方式并不重要，重要的是在数据仓库中应该统一编码。如果应用数据编码为“X/Y”，则进入数据仓库时需要进行转换。此外，对所有应用所涉及的问题都要考虑一致性。例如命名习惯、键码结构、属性度量以及数据特点等。1.1引言与时间相关的数据仓库以维的形式对数据进行组织，时间维是数据仓库中很重要的一个维度。并且数据仓库中的数据时间跨度大，从几年甚至到几十年，称为历史数据。1.1引言数据仓库中数据随时间变化的特性数据仓库中的数据时间期限要远远长于操作型数据库中的数据时间期限。操作型数据库的时间期限一般是60～90天，而数据仓库中数据的时间期限通常

3、是5～10年。操作型数据库含有“当前值”的数据，这些数据的准确性在访问时是有效的，同样当前值的数据能被更新。而数据仓库中的数据仅仅是一系列某一时刻生成的复杂的快照。操作型数据的键码结构可能包含也可能不包含时间元素，如年、月、日等。而数据仓库的键码结构总是包含某一时间元素。1.1引言不可修改的面向应用的事务数据库需要对数据进行频繁的插入、更新操作，而对于数据仓库中数据的操作仅限于数据的初始导入和记录查询。操作型数据是一次访问和处理一个记录，可以对操作型数据库中的数据进行更新。但数据仓库中的数据则不同，通常是一起载入与访问的，在数据仓库环境

4、中并不进行一般意义上的数据更新。1.1引言数据仓库是决策支持系统（DecisionSupportSystem，DSS）的基础。在数据仓库中只有单一集成的数据源，并且数据是可访问的。所以与传统数据库相比，在数据仓库环境中DSS分析员的工作将较为容易。1.1引言演变过程60年代数据收集、数据库创建、信息管理系统（IMS）和网络数据库管理系统（NetworkDBMS）70年代关系数据模型以及关系型DBMS1.1引言演变过程80年代至今高级数据模型(具有扩充关系的,面向对象的,演绎的等等)和面向应用的DBMS(空间的,科学的,工程的等等)90年

5、代至今数据挖掘和数据仓库，多媒体数据库和Web数据库。1.1引言演变过程在20世纪70年代之前，数据一般存储在文件中，由应用程序直接管理；之后有了简单的数据收集和数据库的构造；后来发展到对数据的管理，包括数据存储、检索以及数据库事务处理；再后来发展到对数据的分析和理解，这时候出现了数据仓库技术和数据挖掘技术。数据挖掘使数据库技术进入了一个更高级的阶段，它不仅能对过去的数据进行查询和遍历，并且能够找出过去数据之间的潜在联系，并且能够预测未来的数据。1.1引言数据仓库与数据库的关系到目前为止，数据仓库在国外已经发展了十几年的时间。在国内，虽

6、然起步较晚，但发展较为迅速。目前有很多的大公司或企业正在建或计划建设不同规模的数据仓库和数据集市。1.1引言数据仓库与数据库的关系数据仓库建立在传统事务型数据库的基础之上，为企业决策支持系统、OLAP及数据挖掘系统提供数据源。1.1引言数据仓库与数据库的关系数据库的应用包括：事务型应用和分析型应用物理数据库实际存储的数据包括：事务型数据（或称操作数据）和分析型数据（也可称为汇总数据、信息数据）。起初，两类数据放到一起，即分散存储在各底层的业务数据库中。后来，随着企业规模的扩展、数据量的增加、以及希望在决策分析时得到更多支持需求的日益迫切

7、，并且考虑保证原有事务数据库的高效性与安全性。因此将分析型数据与事务型数据相分离，单独存放，即形成了所谓的数据仓库。1.1引言数据仓库与数据库的关系数据仓库只不过是因为用户需求增加而对某一类数据库应用的一个范围的界定。单就其是数据的存储容器这一点而言，数据仓库与数据库并没有本质的区别。而且在更多的时候，我们是将数据仓库作为一个数据库应用系统来看待的。因此，不应该说数据库到数据仓库是技术的进步。1.1引言数据库与数据仓库的区别业务数据库数据仓库内容与业务相关的数据与决策相关的信息数据模型关系、层次结构的关系的/多维的访问经常是随机的读写操

8、作经常是只读操作负载事务处理量大、但每个事务涉及的记录数较少查询量少，但每次要查询大量的记录事务输出量一般很少可能非常大停机时间可能意味着灾难性错误可能意味着延迟决策数据库的局限性传统数据库所能做到的只是对