水电企业大数据基础平台的设计与实现

《水电企业大数据基础平台的设计与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、电子科技大学UNIVERSITYOFELECTRONICSCIENCEANDTECHNOLOGYOFCHINA专业学位硕士学位论文MASTERTHESISFORPROFESSIONALDEGREE论文题目水电企业大数据基础平台的设计与实现专业学位类别工程硕士学号201552201015作者姓名冯俊指导教师郭建东副教授分类号密级注1UDC学位论文水电企业大数据基础平台的设计与实现（题名和副题名）冯俊（作者姓名）指导教师郭建东副教授电子科技大学成都熊开智教授级高级工程师雅砻江流域水电公司成都（姓名、职称

2、、单位名称）申请学位级别硕士专业学位类别工程硕士工程领域名称软件工程提交论文日期2018.3.15论文答辩日期2018.05.18学位授予单位和日期电子科技大学2018年6月答辩委员会主席评阅人注1：注明《国际十进分类法UDC》的类号。DesignandimplementationofbigdatafoundationplatformforhydropowerenterprisesAMasterThesisSubmittedtoUniversityofElectronicScienceandTech

3、nologyofChinaDiscipline:MasterofEngineeringAuthor:JunFengSupervisor:JiandongGuoSchool:SchoolofInformationandSoftwareEngineering摘要摘要随着水电企业信息化的不断发展，企业已经累积了大量的结构化数据和非结构化数据，同时还存在潜在的可采集的海量实时数据。现今，数据已是企业的无形资产,企业对于利用数据驱动发展的需求十分迫切。当前水电企业在建设数据中心时基本采用传统架构，存在扩展性差

4、、建设成本高、运行成本高，支持数据类型单一、数据处理效率低下等问题。无法满足大数据时代下高速增长的全类型数据存储和处理需求，不能支撑大数据时代下水电企业深度利用潜在数据资产的需求。本文针对目前的问题，梳理了水电企业的信息数据资源，完成了水电企业大数据基础平台的需求分析，完成了混合架构的大数据基础平台的设计和实现。大数据基础平台主包括两个数据集成层和数据存储层。大数据基础平台的数据集成层针对水电企业各信息系统、自动化系统中的结构化数据、非结构化数据和实时数据三种类型的数据集成需求，从数据场景、技术方式

5、、数据特征、触发机制、处理步骤等维度总结，数据集成层通过接口表、接口数据文件、接口调用、消息队列等方式，实现数据的自动收集、整理、清洗、转换，并存储到平台的数据存储层。大数据基础平台的数据存储层包含数据仓库平台，分布式数据平台，流数据平台。基于国产数据库搭建Gbase8T数据仓库平台，数据仓库进行了分区设计，分为缓冲区、整合区、汇总区和集市区，通过ETL技术在数据仓库内对数据实现整合、汇总，实现结构化数据按照业务主题域进行分类和存储。基于Hadoop搭建分布式数据平台，文件格式采用HDFS分布式文件

6、系统，数据库采用HBase分布式列式数据库，满足海量数据存储和并发需求。分布式数据平台进行了分区设计，分为非结构化数据区，流数据转储区。非结构化数据区实现了非结构化数据的存储，并与结构化数据建立了关联。流数据转储区实现了海量实时消息数据的持久化存储。基于“Kafka+Storm+Redis”搭建流数据平台，针对数据源层中的各种实时消息进行，实现高效的，可靠的，实时的流式处理并存储。大数据基础平台实现流域全类型数据的集中存储和整合，具备高数据处理能力，解决了企业内部各信息系统的数据孤岛情况，为后续挖掘

7、数据价值，实现数据驱动企业打下基础。关键词：大数据，分布式平台，流数据平台，水电企业IABSTRACTABSTRACTWiththecontinuousdevelopmentofhydropowerenterpriseinformatization,enterpriseshaveaccumulatedalargeamountofstructureddataandunstructureddata,andtherearealsopotentialmassivereal-timedatathatcanbe

8、collected.Nowadays,dataisanintangibleassetofanenterprise.Theneedforenterprisestousedata-drivendevelopmentisurgent.Atpresent,hydropowerenterprisesbasicallyadopttraditionalarchitectureswhenbuildingdatacenters,whichhavetheproblemsofpoorsca