数据仓库基础知识

《数据仓库基础知识》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、数据仓库基础知识安徽国税信息中心赵为民数据仓库基本概念数据仓库技术产生的背景什么是数据仓库技术数据仓库技术组成数据参考参考架构数据仓库的建设步骤信息技术发展的几个阶段1960s：数据采集、数据库创建阶段集中于原始文件的处理层次数据库和网状数据库1970s：关系数据库系统关系数据模型和关系数据库管理系统E-R模型、sql语言、查询处理和优化、OLTP（恢复和并发技术）1980s：高级数据库管理系统面向对象数据库、对象－关系数据库、主动数据库、空间数据库等数据挖掘技术1990s：数据仓库、联机分析处理

2、和数据挖掘数据仓库、联机分析处理和数据挖掘、多媒体数据库、web数据库现有数据库系统分析on-linetransactionprocessing联机事务处理系统(OLTP)也称为面向交易的处理系统基本要求是顾客的原始数据可以立即传送到主机进行处理，并在很短的时间内给出处理结果。这样做的最大优点是可以即时地处理输入的数据，及时地回答。也称为实时系统(RealtimeSystem)。衡量的重要性能指标是系统性能，具体体现为实时响应时间(ResponseTime)，即用户在终端上送入数据之后，到计算机对

3、这个请求给出答复所需要的时间。主要支持如下业务：一笔存款（一张存款单）一笔转帐（一张转帐单）一笔登记信息（一张登记信息表）现有数据库系统分析OLTP数据库旨在使事务应用程序仅写入所需的数据，以便尽快处理单个事务。OLTP数据库通常具有以下特征：支持大量并发用户定期添加和修改数据。反映随时变化的单位状态，但不保存其历史记录。包含大量数据，其中包括用于验证事务的大量数据。具有复杂的结构。可以进行优化以对事务活动做出响应。提供用于支持单位日常运营的技术基础结构。个别事务能够很快地完成，并且只需访问相对较

4、少的数据。OLTP系统旨在处理同时输入的成百上千的事务。税务信息化建设现状在数据库技术的支持下，一大批成熟的业务信息系统投入运行，为税务发展作出了巨大贡献各类信息系统大多属于面向事务处理的OLTP系统信息系统多年运行，积累了大量的数据数据是一种宝贵的资源，但没有充分发挥作用管理决策层对数据分析基础平台的需求日益强烈数据仓库基本概念数据仓库技术产生的背景什么是数据仓库技术数据仓库技术组成数据仓库参考架构数据仓库的建设步骤什么是数据仓库数据仓库是作为决策支持系统（DSS）服务基础的分析型数据库，它用来

5、存放大容量的只读数据，为制定决策提供所需的信息。数据仓库是一个面向主题的（SubjectOriented）、集成的（Integrate）、相对稳定的（Non-Volatile）、反映历史变化（TimeVariant）的数据集合，用于支持管理决策。－－billinmon数据仓库的特点面向主题操作型数据库的数据组织面向事务处理任务，各个业务系统之间各自分离，而数据仓库中的数据是按照一定的主题域进行组织的。集成的数据仓库中的数据是在对原有分散的数据库数据抽取、清理的基础上经过系统加工、汇总和整理得到的，

6、必须消除源数据中的不一致性，以保证数据仓库内的信息是关于整个企业的一致的全局信息。相对稳定的数据仓库的数据主要供企业决策分析之用，所涉及的数据操作主要是数据查询，一旦某个数据进入数据仓库以后，一般情况下将被长期保留，也就是数据仓库中一般有大量的查询操作，但修改和删除操作很少，通常只需要定期的加载、刷新。反映历史变化数据仓库中的数据通常包含历史信息，系统记录了企业从过去某一时点(如开始应用数据仓库的时点)到目前的各个阶段的信息，通过这些信息，可以对企业的发展历程和未来趋势做出定量分析和预测。数据仓库

7、是完全不同的数据库系统OLTP系统数据仓库/决策分析系统金税二期CTAIS办公自动化出口退税财务系统高度汇总数据轻度汇总数据当前详细数据过去详细数据分析型CRM业务指标分析数据集市5-10年数据仓库的内容和应用1.日常报表2.即席查询3.分析4.专题应用5.混合DSS/数据挖掘Administration12345数据仓库应用类型应用价值时间税务数据仓库应用税务决策支持主要针对：税收业务、行政管理两个方面。税务数据仓库应用——业务查询税务数据仓库应用——执法监督税务数据仓库应用——业务分析税务数据

8、仓库应用——预测为什么要建立数据仓库目前数据应用存在的问题：数据存放较分散，异构环境不易进行统一的查询访问。源于事务处理的数据存储模式不能满足现有的需求。表现在：A、决策层需要的信息往往涉及到大量的计算、比较、分析。同时需要对结果从各个维度观察，功能上要可以旋转、切片、钻取。而在操作型的海量数据库中，一个简单的统计就需要等待很长的时间。效率十分低下。多维分析无法在面向事务的数据库中进行。这极大地限制了数据利用工作的深入开展。为什么要建立数据仓库源于事务处理的数据存储模式不能满足现有