基建工程数据仓库构建与应用研究.doc

《基建工程数据仓库构建与应用研究.doc》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、基建工程数据仓库构建与应用研究　　[摘要]完整而规范的数据仓库既能解决异构数据源集成问题，也为多维数据分析和数据挖掘提供数据支撑。本文基于基建工程数据仓库研究和建设的实际做法，阐述了基于数据仓库的决策支持系统架构与相应的商业智能开发平台构建，系统建设中数据仓库的设计、数据收集的ETL设计、数据分析的OLAP设计和数据展示的报表设计，希望通过探索和研究，为基本建设工程领域构建规范化数据仓库提供参考和借鉴意义。　　[关键词]数据仓库；ETL；OLAP；Report　　doi：10.3969/j.issn.1673-0194.2

2、016.21.085　　[中图分类号]TP392[文献标识码]A[文章编号]1673-0194（2016）21-0163-06　　0引言　　经过多年发展，基本建设工程领域各个业务部门开发并使用各类管理信息系统，积累了大量业务数据。然而，现有系统互不联通，相应的数据资源被分割在不同的系统中，无法实现跨系统综合查询与分析，同时，在现有系统中，统计查询仅仅作为一种辅助功能，直接基于业务数据库进行简单的浏览查询和统计汇总。因此，如何将异构的数据资源集成在一起，实现跨系统、跨表、全面灵活的统计查询与分析，为基建工程精细管理与科学决策

3、提供信息化手段支撑，成为目前的重要研究课题。本文提出了一种基于数据仓库的基建工程决策支持系统框架、搭建了自主集成的商业智能平台，在此基础上重点阐述基建工程数据仓库的建设，以及数据仓库之上的数据分析应用。通过构建数据仓库，有效解决数据不一致、冗余、异构等问题；同时，基于数据仓库的基建工程决策支持系统支持多维数据分析和数据挖掘，更好地支撑基建工程管理和决策[1]。　　1系统架构与平台构建　　1.1系统架构　　基于数据仓库的基建工程决策支持系统框架主要包括：数据源层、数据处理层、数据存储层、应用服务层和用户访问层。　　1.1.1

4、数据源层　　数据源层是数据仓库系统的数据来源，基建工程业务涉及的数据源主要分布于工程计划、房屋土地、住房、两项普查等核心业务系统。　　1.1.2数据处理层　　数据处理层采用统一的ETL调度平台，实现对原始数据抽取、清洗、转换、加载，消除数据间的不一致和冗余，按数据仓库模型结构重新组织数据并加载到数据仓库，形成能够对决策提供支持的多重粒度级的数据仓库标准化数据。　　1.1.3数据存储层　　数据存储层主要包括操作数据层（ODS）、基础数据层（EDW）和数据集市层（DM）3层。ODS层与EDW层共同构成企业统一数据平台。ODS层

5、主要实现企业数据整合、共享和准实时运营监控等功能，EDW层为中央数据仓库，将不同的OLTP数据集中到面向主题、集成、稳定、随时间变化的统一数据层中，主要为企业提供分析决策服务。DM层是针对各部门的特殊分析需要设计独立数据集市（即EDW的子集），建立维度汇总信息，为不同部门业务应用建立汇总数据区。　　1.1.4应用服务层　　应用服务层是访问数据仓库信息的核心，它接收用户请求访问数据仓库，生成各种形式的复杂报表，并以多种方式展现，包括预定义报表、多维分析、即席查询、数据挖掘等。　　1.1.5用户访问层　　用户访问层是数据服务与

6、决策人员、管理人员、分析人员和业务人员等用户之间的接口，该层提供用户对数据仓库数据的浏览、请求、存取等服务，以及向用户的数据交付。　　1.2自主集成的基于Pentaho的BI平台　　针对基建工程决策支持系统框架，在开源的商业智能BI（BusinessIntelligence）平台基础上构建自主集成的BI平台。构建平台分两步走：首先是开源商业智能BI平台选型，其次是自主集成商业智能平台。　　1.2.1开源商业智能平台选型　　选择开源的商业智能BI平台的依据有：平台具有开放性、灵活性和功能全面。开放性是指源代码开放，在此基础上

7、才能实现灵活性；灵活性是指平台小巧，可移植，可集成；功能全面是指具有通用商业智能平台的数据集成、数据存储、数据分析和数据展现功能。通过追踪权威咨询机构Gartner从2010-2016年的年度BI报告[3]，开源BI平台Pentaho连续6年入围商业智能魔力四象限图，因此，我们选择Pentaho作为决策支持系统的商业智能平台。Pentaho满足通用商业智能平台数据集成、数据存储、数据分析和数据展现的功能[4]，此外，Pentaho主要目标是和商业BI抗衡，市面上已经有一些基于Pentaho的决策支持系统研发的实例可供参考[

8、5-7]。然而，Pentaho在页面框架设计的灵活性和报表展现的美观性两方面能力较弱，同时，考虑到对大数据存储与分析的需求，基于Pentaho平台我们提出一种自主集成的商业智能BI平台。　　1.2.2自主集成BI平台　　自主集成的商业智能平台分为数据持久化层、服务层、控制层、表现层。数据持久化层集成了文