数据仓库实践系列课程(1)——数据仓库基本概念.pptx

《数据仓库实践系列课程(1)——数据仓库基本概念.pptx》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、数据仓库实践系列课程（1）——数据仓库基本概念文思海辉©Pactera.Confidential.AllRightsReserved.2数据仓库概念数据模型介绍数据管理介绍数据仓库项目实施数据仓库出现的背景需求的变化业务系统的建设逐渐完善分析类需求不断增加不断增加的信息孤岛导致数据集成问题不断增加技术发展状况关系数据库技术日趋成熟报表和复杂查询处理起来非常困难各个系统之间数据不一致数据仓库与OLTPOLTP系统(生产系统)面向应用事务驱动的实时性高数据检索量相对少只存当前数据数据仓库系统(决策系统)面向主题分析和决策实时性要求不是特别高数据检索量大存储大量的历史数据和当前数据分析型系统与操作

2、型系统之间的区别操作型数据分析型数据细节的细节的，综合的，或提炼的在存取瞬间是准确的代表过去的数据可更新不更新操作需求事先可知道操作需求事先不知道对性能要求高对性能要求相对宽松一个时刻操作一单元一个时刻操作一集合事务驱动分析驱动面向应用面向分析一次操作数据量小一次操作数据量大支持日常操作支持管理需求数据仓库建设的分歧数据仓库建设的分歧BillInmonKimball1991年，提出了企业级数据仓库企业级数据仓库建设遭受大面积失败Kimball出版了TheDataWarehouseToolkit数据集市建设在初期取得了成功多个数据集市之间的复杂的ETL/数据不一致争论与混乱期（1996-199

3、7）EDWODSDataMart走向融合（1998-2001）提出了企业信息工厂（CorporateInformationFactory）的架构，融合了EDW/ODS/DataMartKimball也提出了数据仓库的扩展架构，把EDW/ODS/DataMart结合在了一起数据仓库理论的形成数据仓库的四个特征数据仓库是面向主题的（Subject-Oriented）集成的（Integrated）随时间不断变化（Time-variant）不可更新的（Nonvolatile）数据仓库之父：BillInmon数据仓库面向主题与面向应用OLTP应用是面向应用进行数据组织的分析应用面向主题进行组织主题一个

4、抽象的概念在较高层次上将企业信息系统中的数据综合、归类并进行分析利用的抽象。例如：对于一个保险公司来说OLTP数据库所面向的应用可能是汽车保险、健康保险、人寿保险与意外伤亡保险数据仓库所面向的主题域可能是顾客、保险单、保险费与索赔。目前主流的数据仓库大都是采用关系数据库技术来实现的数据仓库的数据最终也会用关系模型表现。因此要把握主题和面向主题的概念，需要将它们提高到一个更高的抽象层次上来理解，也就是要特别强调概念的逻辑意义。数据集成数据集成的内务数据清洗按照数据质量管理的要求进行数据的清洗数据转换按照源系统与数据仓库中模型之间的差异进行转换数据整合不同源系统的数据在数据仓库中可能会进入到相同

5、的模型中为什么要进行数据集成？源系统的多样性数据质量的要求模型的差异不可更新与不断变化不可更新不会修改细节数据（源系统传来的详细数据）数据转换：通常需要保留原值不断变化不断增加新的数据删除旧的数据新的汇总周期带来的新的汇总数据数据集市数据集市(DataMart)是部门级决策支持的数据集合。数据集市数据仓库数据访问与分析(企业级)(部门级)数据集市数据集市建设的几种体系架构数据仓库逻辑数据集市物理数据集市依赖数据集市独立数据集市14©Pactera.Confidential.AllRightsReserved.数据集市的缺点多个数据模型多个传输转换程序数据不一致系统复杂，难于维护生产系统独立数

6、据集市市场部......财务部储蓄系统信用卡系统MedicaidWelfareMentalHealthChildServices分布式(数据集市)集中式(数据仓库)MedicaidWelfareMentalHealthChildServicesEmployeesClientServicesProgramEffectivenessDistrictOfficesCostsEligibility“垂直”“水平”数据仓库与数据集市的业务分析能力DW/DM的流派之争----BillInmon与RalphKimballADW(ActiveDataWarehouse)n=1,072BI已经深入到企业的各个

7、部门后台管理人员前台业务人员问:BI在您的企业中的哪些领域被用来制定关键的决策，请选择所有适用的选项。Source:IDCWhitePaper,“TamingInformationChaos”,Nov2007BI已经不仅仅是办公室的管理人员的专利主要发现在美国企业中，监管和审计要求(SarbOx)是驱动BI应用的重要原因–这是与其它地区非常大的区别。IDC观点财务分析通常是BI应用的主要推动力，但这一应用仍然