数据仓库与数据挖掘-数据的组织管理ppt课件.ppt

《数据仓库与数据挖掘-数据的组织管理ppt课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、作业3学习课本的相关内容熟悉数据仓库结构体系的构成理解数据仓库的数据组织要求和方法查阅并学习数据仓库应用的材料，学习在数据仓库和数据挖掘的应用中需要解决的关键难题。2021/9/171数据仓库与数据挖掘数据仓库原理：数据的组织管理提要内容回顾:几个重要的概念数据仓库的结构与技术要求数据仓库中数据的组织－－数据模型数据仓库的概念模型数据仓库的逻辑模型与物理模型元数据2021/9/173数据仓库的总体结构从数据仓库的概念结构看，应该包含数据源、数据准备区、数据仓库数据库、数据集市/知识挖掘库以及各种管理工具和应用工具。数据仓库的创建、应用可以利用各种数据仓库管理工具辅助完成

2、。2021/9/174数据仓库的总体结构业务系统外部数据源数据准备区数据集市/知识挖掘库数据仓库数据库数据集市/知识挖掘库应用工具应用工具用户用户管理工具数据源2021/9/175数据仓库的体系结构2021/9/176数据仓库涉及的几个重要概念外部数据源:决策的需要数据抽取一部分业务数据用于支持决策活动现代数据仓库产品几乎都提供数据接口和抽取引擎支持数据抽取数据清洗将不一致、错误的数据应予更正或删除，确保数据仓库中数据的正确数据转换格式的一致性转换2021/9/177数据仓库涉及的几个重要概念数据加载将清洗、转换后的数据装入数据仓库的过程采取不同的加载策略元数据数据集市

3、数据仓库中的数据子集，只存放某个主题的数据，服务于某个业务部门物理上或逻辑上划分提高处理效率数据粒度数据仓库的数据单位中保存数据的细化程度或综合程度的级别，细化程度越高，粒度级别越低。2021/9/178数据仓库的层次结构为实现数据仓库的功能，数据仓库的总体层次结构应该由数据仓库基本功能层、数据仓库管理层和数据仓库环境支持层组成。(1)数据仓库的基本功能层应该包含从数据源抽取数据，对所抽取的数据进行筛选、清理，将清理后的数据加载到数据仓库中，根据用户的需求设立数据集市，完成数据仓库的复杂查询、决策分析和知识的挖掘等功能。(2)数据仓库的管理层包含数据管理与元数据管理两部

4、分。数据管理与元数据管理主要负责对数据仓库中的数据抽取、清理、加载、更新与刷新等操作进行管理。(3)数据仓库环境支持层主要包含数据传输和数据仓库基础两大部分。这两大部分对于数据仓库的创建和使用来说是必不可少的，没有这两个数据仓库的支持环境，数据仓库的创建与使用是无法实现的。2021/9/179数据仓库的结构模式数据仓库的自顶向下结构这是最早提出的数据仓库结构。数据仓库的自底向上结构核心是通过独立开发的数据集市逐渐构建数据仓库。2021/9/1710数据集市1.数据集市的产生数据仓库工作范围和成本常常是巨大的。开发数据仓库是代价很高、时间较长的大项目。提供更紧密集成的数据

5、集市就应运产生。目前，全世界对数据仓库总投资的一半以上均集中在数据集市上。数据集市（DataMarts）是一种更小、更集中的数据仓库，为公司提供分析商业数据的一条廉价途径2021/9/1711数据集市的特点具有数据仓库的基本特征其他特点：1、规模较小，灵活，可以按照多种方式来组织，如按特定的应用、部门、地域、主题等。2、发工作一般由业务部门主持定义、设计、实施、管理和维护。3、能够快速实现，代价较低，投资回收期短，风险小。4、紧密集成。5、有利于进一步升级到完整的数据仓库或形成分布式数据仓库。2021/9/1712数据集市的类型数据集市可以分为两种，一种是从属数据集市（

6、DependentDataMart)另一种是独立数据集市（IndependentDataMart),2021/9/1713数据仓库的技术要求：1.数据管理技术（1）大批量数据管理在数据仓库的所有技术中最重要的是管理大批量数据技术。如果不能管理大批量数据，那么数据仓库的创建与使用是不可能的。管理大批量数据包括管理大批量数据能力和管理好大批量数据的能力，即管理大批量数据技术要求管理能力的满足和管理的高效率两方面要求。2021/9/1714数据仓库的技术要求：1.数据管理技术（2）数据仓库的高效率索引与数据监视技术数据仓库中对数据的访问应有灵活性，即对数据具有快速和易访问的能

7、力。显然，如果数据不能被方便地检索和访问，数据仓库很难适应大数据量存储和处理的要求。因此，支持辅助索引、稀疏索引、动态索引和临时索引等的索引技术就变得十分重要，还必须考虑创建索引和使用索引的代价等。2021/9/1715数据仓库的技术要求：1.数据管理技术（3）元数据管理技术典型的元数据包括：数据仓库表结构。数据仓库表属性。数据仓库数据源。从记录系统到数据仓库的映射。2021/9/1716数据仓库的技术要求：2.数据存储技术数据的存储技术包含多介质存储设备的管理技术，数据存储的控制技术，数据的并行存储与管理技术，可变长技术和锁切换技术等。