基于hadoop的铁道供电监控信息流分布式压缩存储及容错研究.pdf

《基于hadoop的铁道供电监控信息流分布式压缩存储及容错研究.pdf》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、分类号______________________________密级______________________________ＵＤＣ______________________________编号______________________________硕士学位论文基于Hadoop的铁道供电监控信息流分布式压缩存储及容错研究学位申请人：陈阁学科专业：交通信息工程及控制指导教师：屈志坚副教授答辩日期：华东交通大学2015届硕士学位论文基于Hadoop的铁道供电研监控究信息研流究分布式压缩存储及容错研究电气与电子工程学院陈阁

2、摘要基于Hadoop的铁道供电监控信息流分布式压缩存储及容错研究摘要现代电网规模与容量不断扩大，能量流与信息流互动，构成智能调度应用的基础,为了增强调度监控的协调与交互，各式新型智能电子设备不断接入，电力系统监控中监测点数量增多，数据量呈几何形式大规模增长，数据结构既复杂又多样。典型的如某风电场风机SCADA系统一个月产生的数据量约达2490GB，运行一年就将达到20多个TB[1,2]，现有的数据管理系统通常采用传统磁盘阵列来存储与管理数据，相应的数据库管理软件采用关系型数据库处理方案，数据需要集中处理，对单台服务器有较高性能

3、要求，而且数据管理系统的扩展性相对较差、可靠性也不高，虽然能满足一般数据处理应用，但是在应对大规模数据处理方面存在困难，若通过传统关系数据管理系统对海量数据集中式处理计算，已远远满足不了未来智能调度监控海量数据存储、共享、自动化处理要求，大数据集信息的有效存储与计算仍是目前调度监控系统所面临的一个难题。学术界在电力领域引入云计算，将云计算技术引入调度监控大数据的存储处理，研究调度监控大数据的应对方案。作为目前研究较普遍的Hadoop云框架，突破了传统数据集中存储处理的模式，具有强大的分布式并行处理能力，其所具有的冗余容错、高可

4、靠、高伸缩等突出优势，为调度监控系统海量化大数据的有效存储与计算处理提供了一种新的解决思路。某些特殊的工业配电系统如铁道供电系统除具有一般配电系统的特点外，还具有其自身特点，其安全性不仅涉及供电安全更涉及行车安全，其智能调度监控对系统可靠性要求高，因此，本文结合工程应用中数据处理实际要求与Hadoop云平台，构建基于Hadoop的铁道供电调度监控系统，并构建基于Hive的调度监控数据仓库和基于HBase的分布式调度监控数据库，以铁道供电调度监控量测大数据作为研究对象，进行数据压缩存储研究。实验表明：RCFile文件格式的查询和

5、压缩性能优于TextFile与SequenceFile，且三种文件格式经Deflate、Gzip、Lzo的压缩查询效率得到提高；验证了HBase良好的实时读写性能；实现了Hive与HBase的信息融合交互；验证了基于云计算的监控系统的数据容错能力。研究结果对调度监控系统处理大数据具有重要的理论和实践价值。关键词：电力大数据，铁道供电调度监控，Hadoop云计算，Hive数据仓库，HBase分布数据库，无损压缩IAbstractRESEARSHONDISTRIBUTEDCOMPRESSIONSTORAGEANDFAULTTOLE

6、RANCEOFMONITORINGINFORMATIONFLOWOFPOWERSUPPLYSYSTEMOFELECTRIFIEDRAILWAYBASEDONHADOOPABSTRACTThescaleandthecapacityofmodernpowersystemexpandconstantly,theinteractionsbetweentheenergyandtheinformationflowconstructthebasisfortheintelligentdispatchingandmonitoringsystem

7、,inordertomeetthecoordinationandcommunicationrequirementsofthedispatchingandmonitoringsystem,moreandmorenewkindsofelectronicandelectricalequipmentsareintegratedintothesystem,leadingthatthedataofthedispatchingandmonitoringsystemincreasesinageometryform,anddatatypeand

8、structurebecomescomplexanddiverse.TypicalexamplesuchasoneturbineSCADAsystemofawindpowerstation,therelatedproduceddataamountofthesystemreac