最新数据仓库实践培训PPT课件.ppt

《最新数据仓库实践培训PPT课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、数据仓库实践培训什么是OLTP（联机事务处理）？On-LineTransactionProcessing联机事务处理系统(OLTP)也称为面向交易的处理系统，其基本特征是顾客的原始数据可以立即传送到计算中心进行处理，并在很短的时间内给出处理结果。这样做的最大优点是可以即时地处理输入的数据，及时地回答。也称为实时系统(RealtimeSystem)。衡量联机事务处理系统的一个重要性能指标是系统性能，具体体现为实时响应时间(ResponseTime)，即用户在终端上送入数据之后，到计算机对这个请求给出答复

2、所需要的时间。　　OLTP数据库旨在使事务应用程序仅写入所需的数据，以便尽快处理单个事务。支持大量并发用户定期添加和修改数据。反映实时变化的对象状态，但不保存其历史记录。包含大量数据，其中包括用于验证事务的大量数据。一般具有复杂的数据结构。可以进行优化以对事务活动做出响应。提供用于支持单位日常运营的技术基础结构。个别事务能够很快地完成，并且只需访问相对较少的数据。OLTP系统旨在处理同时输入的成百上千的事务。OLTP系统中的数据主要被组织为支持一些事务性的数据操作，完成基础业务数据的增、删、改及简单

3、的查询操作，这些操作往往是基于关系数据库的数据操作。包括的应用系统小型的有如MIS、OA系统、电子商务交易系统、财务系统、eHR等；大型的如ERP、BOSS等。这类应用系统对响应时间要求比较高，强调的是密集数据更新处理的性能和系统的可靠性及效率。定义特征应用领域什么是OLAP（联机分析处理）？联机分析处理（OLAP）的概念最早是由关系数据库之父E.F.Codd于1993年提出的。当时，Codd认为联机事务处理(OLTP）已不能满足终端用户对数据库复杂查询分析的需要，SQL对大数据库进行的简单查询也不能

4、满足用户分析的需求。用户的决策分析需要对关系数据库进行大量计算才能得到结果，而查询的结果并不能满足决策者提出的需求，因此Codd提出了多维数据库和多维分析的概念即OLAP。OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果，OLAP的技术核心就是“维度”这个概念。基本多维分析操作有钻取（rollup和drilldown）、切片（slice）和切块（dice）、以及旋转（pivot）、drillacross、drillthrough等。钻取是改变维的层次，变换

5、分析的粒度。它包括向上钻取（rollup）和向下钻取（drilldown）。切片和切块是在一部分维上选定值后，关心度量数据在剩余维上的分布。旋转是变换维的方向，即在表格中重新安排维的放置（例如行列互换）。ROLAP表示基于关系数据库的OLAP实现（RelationalOLAP）。以关系数据库为核心,以关系型结构进行多维数据的表示和存储MOLAP表示基于多维数据结构组织的OLAP实现（MultidimensionalOLAP）MOLAP使用多维数组存储数据。HOLAP表示基于混合数据组织的OLAP实现（

6、HybridOLAP）。如低层是关系型的，高层是多维矩阵型的。这种方式具有更好的灵活性。定义OLAP操作OLAP存储数据仓库建立“五步法”二、确定度量它们一般为数值型数据。我们或者将该数据汇总，或者将该数据取次数、独立次数或取最大最小值等，这样的数据称为量度。量度是要统计的指标，必须事先选择恰当，基于不同的量度可以进行复杂关键性能指标(KPI)等的设计和计算。在确定了主题以后，我们将考虑要分析的技术指标，诸如年销售额之类数据仓库建立“五步法”三、确定事实数据粒度例如：假设目前的数据最小记录到秒，即数据

7、库中记录了每一秒的交易额。那么，如果我们可以确认，在将来的分析需求中，时间只需要精确到天就可以的话，我们就可以在ETL处理过程中，按天来汇总数据，此时，数据仓库中量度的粒度就是“天”;反过来，如果我们不能确认将来的分析需求在时间上是否需要精确到秒，那么，我们就需要遵循“最小粒度原则”，在数据仓库的事实表中保留每一秒的数据，以便日后对“秒”进行分析。在采用“最小粒度原则”的同时，我们不必担心海量数据所带来的汇总分析效率问题，因为在后续建立多维分析模型(CUBE)的时候，我们会对数据提前进行汇总，从而保障

8、产生分析结果的效率。关于建立多维分析模型(CUBE)的相关问题，我们将在下期栏目中予以阐述。在确定了量度之后，我们要考虑到该量度的汇总情况和不同维度下量度的聚合情况。考虑到量度的聚合程度不同，我们将采用“最小粒度原则”，即将量度的粒度设置到最小。数据仓库建立“五步法”四、确定维度这里我们首先要确定维度的层次(Hierarchy)和级别(Level)(图四：pic4.bmp)。如图所示，我们在时间维度上，按照“年-季度-月”形成了一个层次，其中“年”、“季