高级数据库技术-高级数据库技术9－DW与应用

《高级数据库技术-高级数据库技术9－DW与应用》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、数据仓库与olap分析高级数据库技术课讲义郭玉彬数据仓库与数据挖掘数据仓库基础知识OLAP分析与多维数据模型数据仓库实施过程数据仓库与ETL原理数据仓库基础知识－－什么是数据仓库数据仓库理论的创始人W.H.Inmon在其《BuildingtheDataWarehouse》一书中给出的定义一个面向主题的,集成的,时变的,非易失的的数据集合.数据仓库特点－面向主题的数据仓库围绕一些主题,排除对于决策无用的数据,提供特定主体的简明视图.数据仓库基础知识－－什么是数据仓库数据仓库基础知识－－什么是数据仓库数据仓库特点－集成的构造数据仓库是将多个异种数据源集成在一起,确保命名约定,编码结构,属性度

2、量等一致性数据仓库基础知识－－什么是数据仓库数据仓库特点－时变的数据存储从历史的角度提供信息.数据仓库的关键结构,隐式或显式地包含时间元素.数据仓库基础知识－－什么是数据仓库数据仓库特点－非易失的数据仓库总是物理地分离存放数据;由于这种分离,数据仓库不需要事务处理,恢复和并发控制.通常数据仓库只需要两种数据访问:数据的初始化装入和数据访问.数据仓库基础知识－－与数据库区别操作数据库系统的主要任务是联机事务处理OLTP数据仓库在数据分析和决策方面为用户提供服务,这种系统称为联机分析处理OLAP操作型数据分析型数据细节的综合的，或提炼的在存取瞬间是准确的代表过去的数据可更新不更新操作需求事先

3、可知道操作需求事先不知道生命周期符合SDLC完全不同的生命周期对性能要求高对性能要求宽松一个时刻操作一个单元一个时刻操作一个集合事物驱动分析驱动面向应用面向分析一次操作数据量小一次操作数据量大支持日常操作支持管理需求数据仓库基础知识－－与数据库区别用户和系统的面向性:OLTP是面向顾客的,用于事务和查询处理OLAP是面向市场的,用于数据分析数据内容:OLTP系统管理当前数据.OLAP系统管理大量历史数据,提供汇总和聚集机制.是多操作数据库系统中分离出来的用以提高两个系统的性能数据仓库基础知识－－所研究主要问题数据仓库并没有严格的数学理论基础，也没有成熟的基本模式，具有强烈的工程性。从工作过

4、程等方面来分析，其关键技术:数据的抽取存储与管理数据的表现数据仓库基础知识－－所研究主要问题数据的抽取－－数据进入仓库的入口。通过抽取过程将数据从联机事务处理系统、外部数据源、脱机的数据存储介质中导入到数据仓库。数据抽取在技术上主要涉及互连、复制、增量、转换、调度和监控等方面。防止”GarbageInGarbageOut”数据仓库基础知识－－所研究主要问题数据的存储和管理数据仓库的组织管理方式决定了它有别于传统数据库，同时也决定了其对外部数据的表现形式。要决定采用什么产品和技术来建立数据仓库的核心，则需要从数据仓库的技术特点着手分析。数据仓库基础知识－－所研究主要问题数据表现--数据仓库

5、的门面主要集中在多维分析、数理统计和数据挖掘方面。多维分析又是数据仓库的重要表现形式，近几年来由于互联网的发展，使得多维分析领域的工具和产品更加注重提供基于Web前端联机分析界面，而不仅仅是在网上发布数据。数据仓库基础知识－－数据仓库系统的体系结构数据仓库基础知识－－数据仓库系统的体系结构数据源－－数据仓库系统的基础，是整个系统的数据源泉。通常包括企业内部信息和外部信息。内部信息包括各种业务处理数据和各类文档数据。外部信息包括各类法律法规、市场信息和竞争对手的信息等等。数据仓库基础知识－－数据仓库系统的体系结构数据存储与管理数据仓库的组织管理方式要决定采用什么产品和技术来建立数据仓库的核

6、心，则需要从数据仓库的技术特点着手分析。针对现有各业务系统的数据，进行抽取、清理，并有效集成，按照主题进行组织。数据仓库按照数据的覆盖范围可以分为企业级数据仓库和部门级数据仓库（通常称为数据集市）。虚拟数据仓库—一种特殊存储的数据仓库数据仓库基础知识－－数据仓库系统的体系结构OLAP服务器对分析需要的数据进行有效集成，按多维模型予以组织，以便进行多角度、多层次的分析，并发现趋势。聚合数据存放于多维数据库中。数据仓库基础知识－－数据仓库系统的体系结构前端工具包括各种报表工具、查询工具、数据分析工具、数据挖掘工具以及各种基于数据仓库或数据集市的应用开发工具。其中数据分析工具主要针对OLAP服务

7、器报表工具、数据挖掘工具主要针对数据仓库。数据仓库基础知识－－一个实例采购子系统:订单（订单号，供应商号，商品号，类别，单价。数量，总金额，日期，…）供应商（供应商号，供应商名，地址，电话，…）销售子系统：客户（客户号，姓名，地址，电话，…）销售（客户号，商品号，数量，单价，日期，…）库存子系统：进库单（编号，商品号，数量，单价，日期，…）出库单（编号，商品号，数量，单价，日期，…）库存（商品号