智能电网电力大数据技术研究

《智能电网电力大数据技术研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、智能电网电力大数据技术研究内蒙古电力(集团)有限责任公司巴彦淖尔电业局信息通信处内蒙古巴彦淖尔市015000【摘要】智能电M系统在我国的应用H渐广泛，大数据处理技术已然是智能电网安全运行的有利武器。但在电网智能化的发展进程中，实时、隐私等方面的性能需求对大数据技术木身提出了更严峻的挑战，鉴于此，木文对智能电网电力大数据技术进行了分析探讨。【关键词】智能电网；大数据；技术一、智能电网中大数据的特点智能电网业务中的基木数据按内容可以划分成三大类。(1)运行数据、设备检测数据、设备实时状态参数数据。(2)电力企业营销数据(用电客户、电量报价等)。(3)电力企业管理数据。在

2、上述类目可以再次细化为结构化数据和非结构化数据两大类。但无论基于何种分类方式，大数据在智能电网中体现出来的特点是不变的，简单概括为体量大、类型多，具体如下：(1)数据体量大：即数据的数量和体积较为庞大。在智能时代的推动下，电网在数据吞吐量的级别已经从以往的TB级飙升为PB级。(2)数据类型繁杂：由于电力企业自身存在的特殊性，加之其地理分布情况在IX域上的差异性，电网企业涉及到的数据有着极为复杂的类别划分，细分后的子类和子项同样在数量上非常庞大，也正是由于这一特点,不同的数据类别对服务器端硬件设备及用户端的系统平台均有不同程度的配置、性能及处理需求，从而更是增加了电网

3、企业内网及外设双重建设项目的难度。(3)数据价值密度低：异常数据出现的频率低，同时也是对电网软、硬件设备维修和检测最有价值的。二、智能电网大数据关键技术1、多源异构数据的聚合管理技术电力大数据的数据集成管理技术，包含关系型和非关系型数据库技术、数据融合和集成技术、数据抽取技术、过滤技术和数据清洗等。电力大数据的来源极其广泛，数据类型极为繁杂，且数据质量不高，准确性、及吋性均有所欠缺，对于这种多源异构数据的聚合管理技术也提出了更高的要求。首先必须对数据源的数据进行抽取和集成，现有的数据抽取与集成方式主要是基于ETL引擎的方式和基于搜索引擎的方式等，首先把数据抽取成文件

4、，再对数据文件进行转换和清洗，最后生成多维度、多粒度的分析型数据并存储到数据仓库中。云计算技术中的分布式存储技术满足了电网海量数据的存储需求，因此云计算技术推出不久，电力云的概念就被提出来。可信的云存储模型的建立，解决了结构化和非结构化数据的统一存储与安全管理问题。虽然分布式计算方法可以人人提高计算机的存储空间，但是不能满足电力数据的实时性要求。因此存储时需要对数据进行分级、分类，如对性能要求高的实吋数据需采用实吋数据库系统进行存储，对历史数据采用分布式文件系统存储，对核心、Ik务数据则使用传统的并行数据仓库系统存储，形成完整的数据库分级存储系统。这种层次式和分布式

5、存储和集成系统，利用海量多源异构数据存储、组织、管理最新技术，保证了数据存储的完整性与访问的高效性。2、复杂数据处理技术电力大数据处理技术主要解决大数据的实时处理和批处理问题。0前主要采用分布式计算技术、内存计算技术、实吋流数据计算技术等来解决大数据的处理问题。分布式计算主要解决计算机分布式计算和存储的问题。分布式计算典型的例子是Google文件系统(GoogleFileSystem，GFS)，随后Yahoo幵发了该系统的开源版本Hadoop，Hadoop集群系统具宵成本低廉、灵活性强等优点，同吋还支持海量数据存储和计算。己有研宄针对智能电网状态监测的特点，基于Ha

6、doop并利用其它虚拟化技术和分布式存储技术存储和管理数据，以实现对电力人数据的高效管理。内存计算技术主要解决大数据的实吋处理问题。SAPHANA是基于内存计算技术的高性能实时数据计算平台，有研究表明SAPHANA可以提高计算速度几十到上百倍。随着内存价格的不断下降，内存计算已经具备物质基础，这也在一定程度上解决了海量数据的实吋处理问题。文献中介绍了使用改良ApacheSpark作为执行引擎的内存计算引擎计算框架，采用轻量级的调度框架和多线程计算模型,与传统的Mapreduce框架相比，消除了频繁的I/O磁盘访问并降低了调度与启动开销。电力大数据包括实吋监测数据、企

7、业营销数据等，它们以一种顺序、大量、快速的方式呈现，可以被看作一种流式数据。流式人数据呈现出实吋性、易失性、突发性、无序性、无限性等特征，对系统提出了很多新的更高的要求。S4流式计算系统和Storm流式计算系统的推出，在一定程度上推动了大数据流式计算技术的发展和应用。但是，这些系统在可伸缩性、系统容错、状态一致性、负载均衡、数据吞吐量等诸多方面仍然存在着明显不足。0前，分布式数据流实吋计算系统在学术界和工业界都处于初步探索阶段。大数据流式计算技术应设计分布式多模态计算框架，选择能与Hadoop架构兼容的计算框架，调整各种计算框架中数据及索引访问模块，二次开发统一