电子数据交换ppt课件.ppt

《电子数据交换ppt课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第二章数据仓库原理第2章数据仓库原理2.1数据仓库的结构与技术要求2.1.1数据仓库的总体结构2.1.2数据集市2.1.3数据仓库的技术要求2.2数据仓库中的数据2.2.1数据仓库的数据组织2.2.2数据模型2.2.3数据仓库的概念模型2.2.4数据仓库的逻辑模型与物理模型2.3元数据2.3.1元数据的作用2.3.2元数据的分类2.3.3元数据的标准化2.3.4数据粒度2.1数据仓库的结构与技术要求2.1.1数据仓库的总体结构1.数据仓库的概念结构从数据仓库的概念结构看，应该包含数据源、数据准备区、数

2、据仓库数据库、数据集市/知识挖掘库以及各种管理工具和应用工具。数据仓库的创建、应用可以利用各种数据仓库管理工具辅助完成。图2-1数据仓库的概念结构业务系统外部数据源数据准备区数据集市/知识挖掘库数据仓库数据库数据集市/知识挖掘库应用工具应用工具用户用户管理工具数据源2.数据仓库的总体层次结构为实现数据仓库的功能，数据仓库的总体层次结构应该由数据仓库基本功能层、数据仓库管理层和数据仓库环境支持层组成。(1)数据仓库的基本功能层应该包含从数据源抽取数据，对所抽取的数据进行筛选、清理，将清理后的数据加载到数

3、据仓库中，根据用户的需求设立数据集市，完成数据仓库的复杂查询、决策分析和知识的挖掘等功能。（2）数据仓库的管理层包含数据管理与元数据管理两部分。数据管理与元数据管理主要负责对数据仓库中的数据抽取、清理、加载、更新与刷新等操作进行管理。（3）数据仓库环境支持层主要包含数据传输和数据仓库基础两大部分。这两大部分对于数据仓库的创建和使用来说是必不可少的，没有这两个数据仓库的支持环境，数据仓库的创建与使用是无法实现的。3.数据仓库的结构模式（1）数据仓库的自顶向下结构，这是最早提出的数据仓库结构。（2）数据仓

4、库的自底向上结构，核心是通过独立开发的数据集市逐渐构建数据仓库。2.1.2数据集市1.数据集市的特点数据集市除具有数据仓库的基本特征以外，还具有以下特点：（1）规模较小，灵活，可以按照多种方式来组织，如按特定的应用、部门、地域、主题等。（2）发工作一般由业务部门主持定义、设计、实施、管理和维护。（3）能够快速实现，代价较低，投资回收期短，风险小。（4）具集的紧密集成。（5）有利于进一步升级到完整的数据仓库或形成分布式数据仓库。2.数据集市的类型数据集市可以分为两种，一种是独立数据集市（Independ

5、entDataMart),另一种是从属数据集市（DependentDataMart)3.企业级数据集市结构尽管自底向上结构也存在许多缺点，但它基于数据集市构建数据仓库的由小到大，由部分到整体的思想给后来者很大的启发。2.1.3数据仓库的技术要求1.数据管理技术（1）大批量数据管理在数据仓库的所有技术中最重要的是管理大批量数据技术。如果不能管理大批量数据，那么数据仓库的创建与使用是不可能的。管理大批量数据包括管理大批量数据能力和管理好大批量数据的能力，即管理大批量数据技术要求管理能力的满足和管理的高效率

6、两方面要求。一般数据仓库对大批量数据的管理可以通过对文件的寻址、索引，数据的外延，有效的溢出管理等技术来实现。（2）数据仓库的高效率索引与数据监视技术数据仓库中对数据的访问应有灵活性，即对数据具有快速和易访问的能力。显然，如果数据不能被方便地检索和访问，数据仓库很难适应大数据量存储和处理的要求。因此，支持辅助索引、稀疏索引、动态索引和临时索引等的索引技术就变得十分重要，还必须考虑创建索引和使用索引的代价等。另一方面，能够随时监控数据仓库有许多方面的原因，包括：A.决定是否对数据进行重组。B.决定索引结

7、构的有效性。C.决定数据仓库中的数据是否溢出。D.决定数据的统计组成。E.决定剩余可用空间。如果某项技术不能高效和方便地监视数据，则这种技术不适用于元数据管理。（3）元数据管理技术典型的元数据包括：A.数据仓库表结构。B.数据仓库表属性。C.数据仓库数据源。D.从记录系统到数据仓库的映射。E.数据模式说明。F.数据抽取和转换。G.通用数据访问例程。（4）数据压缩技术（5）复合键码技术（6）有效地装载数据2.数据存储技术数据的存储技术包含多介质存储设备的管理技术，数据存储的控制技术，数据的并行存储与管理

8、技术，可变长技术和锁切换技术等。3.数据仓库接口技术（1）多技术的接口：对于数据仓库的创建和运行来说，能够使用各种不同的技术获取或传送数据是很重要的。（2）语言的接口：数据仓库的实际应用必须依赖某种语言来完成，典型的数据仓库语言接口必须满足如下要求：A.能够一次访问一组数据。B.能够一次访问一条记录。C.能够确保使用一个或多个索引以满足用户访问需要D.有SQL接口。E.能够插入、删除和更新数据。（3）数据的高效率加载：在数据仓库的实际应用中，经常需要从数