数据仓库的概念与体系结构

《数据仓库的概念与体系结构》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、2021/10/7数据仓库与数据挖掘1第1章数据仓库的概念与体系结构主讲：张莉Email：zhangliml@suda.edu.cn历史数据的处理方法删除已经失效的历史数据介质备份后删除建立数据仓库系统2021/10/7数据仓库与数据挖掘22021/10/7数据仓库与数据挖掘31.1数据仓库的概念、特点与组成数据仓库的概念数据仓库就是一个面向主题的（SubjectOriented）、集成的（Integrate）、相对稳定的（Non-Volatile）、反映历史变化（TimeVariant）的数据集合，通常用于辅

2、助决策支持（DDS）2021/10/7数据仓库与数据挖掘41.1数据仓库的概念、特点与组成数据仓库的特点：面向主题数据仓库中的数据是按照一定的主题域进行组织的集成数据仓库中的数据是在对原有分散的数据库数据作抽取、清理的基础上经过系统加工、汇总和整理得到的2021/10/7数据仓库与数据挖掘51.1数据仓库的概念、特点与组成数据仓库的特点：相对稳定数据操作主要是数据查询和定期更新数据加载后，将作为数据档案长期保存反映历史变化数据仓库中的数据通常包含较久远的历史数据2021/10/7数据仓库与数据挖掘61.1数据仓

3、库的概念、特点与组成数据仓库的组成：数据仓库数据库；数据抽取工具；元数据：技术元数据与业务元数据；访问工具；数据集市（DataMarts）；数据仓库管理；信息发布系统。2021/10/7数据仓库与数据挖掘7数据仓库的组成数据仓库数据库核心是数据信息存放的地方对数据提供存取和检索支持数据抽取工具提取数据，进行转换、整理，再存放转换的内容：删除对决策分析没有意义的数据转换到统一的数据名称和定义计算统计和衍生数据填补缺失数据统计不同的数据定义方式2021/10/7数据仓库与数据挖掘8数据仓库的组成元数据描述数据仓库数

4、据的结构和建立方法的数据技术元数据设计和管理人员用于开发和管理数据仓库时使用的元数据业务元数据从单位业务的角度描述数据仓库的元数据2021/10/7数据仓库与数据挖掘9数据仓库的组成访问工具为用户访问数据仓库提供的手段数据集市（DataMarts）为特定的应用目的，从数据仓库中独立出来的一部分数据，也称为部门数据或者主题数据2021/10/7数据仓库与数据挖掘10数据仓库的组成数据仓库管理安全与权限的管理数据更新的跟踪数据质量的检查元数据的管理与更新信息发布系统把数据仓库中的数据或其他相关数据发给不同的地点或

5、用户2021/10/7数据仓库与数据挖掘111.2数据挖掘的概念与方法数据挖掘的概念数据挖掘(DataMining)，就是从大量数据中获取有效的、新颖的、潜在有用的、最终可理解的模式的非平凡过程。简单的说，数据挖掘就是从大量数据中提取或“挖掘”知识，又被称为数据库中的知识发现(KnowledgeDiscoveryinDatabase,KDD)2021/10/7数据仓库与数据挖掘121.2数据挖掘的概念与方法数据挖掘的方法：直接数据挖掘对某个变量建立一个模型包括分类、估值和预测间接数据挖掘在所有的变量中建立起某种

6、关系如相关性分组或关联规则，聚集聚类，描述和可视化，及复杂数据挖掘2021/10/7数据仓库与数据挖掘131.2数据挖掘的概念与方法数据仓库与数据挖掘的关系若将数据仓库（DataWarehouse）比作矿井，那么数据挖掘（DataMining）就是深入矿井采矿的工作数据挖掘是从数据仓库中找出有用信息的一种过程与技术2021/10/7数据仓库与数据挖掘141.3数据仓库的技术、方法与产品联机事务处理（OLTP）与联机分析处理（OLAP）的比较2021/10/7数据仓库与数据挖掘151.3数据仓库的技术、方法与产品

7、OLAP技术的有关概念多维数据集：一个数据集合维度：一个实体的一些重要属性定义为维dimension度量值：度量指标，是多维数据集中的一组数值多维分析：对以“维”形式组织起来的数据采取切片，切块，钻取和旋转等各种分析动作，以求分析数据2021/10/7数据仓库与数据挖掘161.3数据仓库的技术、方法与产品OLAP根据其存储数据的方式可分为三类：ROLAP,relationalOLAP事实表、维表MOLAP,multidimensionalOLAPHOLAP,hybridOLAPOLAP工具针对特定问题的联机数据

8、访问与分析，通过多维的方式对数据进行分析、查询和报表2021/10/7数据仓库与数据挖掘171.3数据仓库的技术、方法与产品数据仓库实施中的三个关键环节数据抽取；数据存储与管理数据表现2021/10/7数据仓库与数据挖掘18数据仓库实施中的三个关键环节数据抽取数据进入数据仓库的入口抽取技术包括：互连、复制、增量、转换、调度和监控实现抽取专业的数据抽取工具直接开发抽取接口程序2021/1