资源描述:
《数据仓库设计和维护的研究与实践》由会员上传分享,免费在线阅读,更多相关内容在学术论文-天天文库。
1、华中科技大学硕士学位论文数据仓库设计和维护的研究与实践姓名:赵燕申请学位级别:硕士专业:控制理论与控制工程指导教师:田忠和20050426摘要数据仓库技术是信息技术自然演化的结果由于企业和机关对新的数据处理方法和模式的迫切要求数据处理的重点从传统的业务处理扩展到在线分析处理重在从中得到面向各种主题的统计信息和决策支持信息数据仓库技术是一种全新的技术解决方案融合了数据清洗数据转换数据装载(ETL技术)和联机分析处理(OLAP)技术一般来说在数据仓库建成之后数据仓库的维护管理具有非常大的现实意义其中怎样对数据仓库进行增量更新更是一个难点首先本文就研究背景目的意义和当前研究热点进行了综
2、述并全面的介绍了数据仓库的基本概念数据仓库的体系结构以及它们的特点数据仓库的数据组织结构(介绍了数据仓库的逻辑结构粒度元数据等重要概念)联机分析处理技术的体系结构以及多维数据的分析操作随后深入探讨了ETL技术的体系结构并从应用的角度具体论述了ETL的应用过程阐述了怎样在实际应用中进行数据提取数据清洗和转换数据加载ETL的调度控制监控等工作并且介绍了两种比较成熟的数据仓库解决方案最后以浙江省暂住人口信息系统为背景按照数据仓库的设计方法构建了雪花型的暂住人口数据仓库并在此数据仓库的基础上集中探讨了数据仓库增量更新的方法进行了时间戳通过Oracle透明网关对SQLServer数据仓库进
3、行CDC更新的实践接着阐述了数据仓库在维护管理过程中需要注意的问题数据仓库技术为各种形式的信息处理提供了理想的基础结合数据挖掘和知识发现技术的发展具有广阔的发展空间关键词数据仓库技术数据清洗数据转换数据加载增量维护时间戳Oracle透明网关变化数据捕获IAbstractDatawarehousingtechnologyistheevolvementresultofinformationtechnology.Onaccountoftheurgentrequestoftheenterprisesanddepartmentsfornewdataoperationmethodsandpa
4、tterns,thestressofdataoperationexpandsfromtraditionalOLTPtoOLAP.Peoplefocusonthesubject-orientedstatisticalinformationandDSSinformation.Datawarehousingtechnologyisonekindofcompletelynewscheme,whichsyncretizestheETLtechnologyandtheOLAPtechnology.Generally,aftertheestablishmentofDW,themaintenan
5、ceandmanagementofDWhavegreatpracticalsignificance.Thereinto,itisdifficulttoincrementallymaintaintheDW.Atfirst,thispaperpresentstheresearchfulbackground,purpose,significanceandthecurrentresearchofDW,introducesthebasicconceptsofDW,thesystemframeworkofDWandtheircharacteristics,thedatastructureof
6、DW(includinglogicstructure,units,metadata),thesystemstructureofOLAP,theanalysisandoperationofmultidimensionaldataset.Then,wethoroughlyprobeintothesystemstructureofETL,anddiscussthepracticalapplicationofETL.Weintroducehowtoextract,transform,cleanandloaddata,andhowtocontrolandwatchETL.Moreover,
7、weintroducetwokindsofmatureDWschemes.Atlast,accordingtothedesignmethodofDW,inactualapplicationofZhejiangProvincefloatingpopulationinformationsystem,weestablishDWofthesnowflakeschema.OnthebasisofthisDW,weconcentrativelypracticetheincrementalma