海量数据处理方法(电能采集)

《海量数据处理方法(电能采集)》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、海量数据处理方法（电能采集）针对电能采集系统的海量数据，我们运用了如下几种方法进行处理，在很大程度上提升了数据的处理能力，这些方法也可以作为其它系统的实施参考。1、将大表进行分区大数据量的表，比如大于2GB。一方面2GB文件对于３２位os是一个上限，另外备份时间长。包括历史数据的表，比如最新的数据放入到最新的分区中。典型需要分区的例子：历史表，只有当前月份的数据可以被修改，而其他月份只能read-only。ORACLE只支持以下分区：tables,indexesontables,materializedviews,and

2、indexesonmaterializedviews分区对SQL和DML是透明的（应用程序不必知道已经作了分区），但是DDL可以对不同的分区进行管理。不同的分区之间必须有相同的逻辑属性，比如共同的表名，列名，数据类型，约束；但是可以有不同的物理属性，比如pctfree,pctused,andtablespaces。分区独立性：即使某些分区不可用，其他分区仍然可用。查询时根据分区关键字，只有相关的分区被访问到，可以最小化I/O操作，性能可以成倍提高，在数据量增加的情况下，响应时间不变。最多可以分成64000个分区，但是具有

3、LONGorLONGRAW列的表不可以分区。非分区的表可以有分区或者非分区的索引；分区表可以有分区或者非分区的索引；Partitioning方法：RangePartitioningListPartitioningHashPartitioningCompositePartitioningCompositePartitioning:组合，以及range-hashandrange-listcompositepartitioning分区索引：分为global,localindexlocalpartitionedindex:每个l

4、ocalindex对应一个分区。增加和删除分区自动的增加和删除了localindex。Localindex可以是全表unique的，条件是partitionkey必须是indexcolumns的一部分？CREATEINDEXemployees_local_idxONemployees(employee_id)LOCAL;分区上的位图索引只能建立为localpartitionedindex,不能是globalGlobalpartitionedindex:索引也分区，但是分几个区，按照什么样的partitionkey分区跟表

5、没有关系。不能增加分区，可以使用ALTERINDEXSPLITPARTITION；删除：ALTERINDEXDROPPARTITION；这些操作会使的索引失效，所以建议：ALTERTABLEDROPPARTITIONP1UPDATEGLOBALINDEXES这样保证索引仍然有效，online，不需重建。分区表建立全局索引或局部索引注意点：查询能限定在某个分区内，就用本地索引，与全局索引比，读的块少些而且分区索引可以单独设置存储参数比如表空间如果对分区表的查询条件（假如wherea=xx）不是分区字段，那么在a上建的索引就

6、只能是全局的效果才会好。局部索引只是建立在分区字段上的。用电信息采集系统运用：对用电实时表、冻结数据表、曲线数据表按时间关键字进行分区、建立本地索引管理，分区和索引划分不同的表空间，很大程度上优化了IO，简化数据管理，提高了性能处理能力。2、优化大表的连接方式排序--合并连接(SortMergeJoin,SMJ)：a)对于非等值连接，这种连接方式的效率是比较高的。b)如果在关联的列上都有索引，效果更好。c)对于将2个较大的rowsource做连接，该连接方法比NL连接要好一些。d)但是如果sortmerge返回的rows

7、ource过大，则又会导致使用过多的rowid在表中查询数据时，数据库性能下降，因为过多的I/O。嵌套循环(NestedLoops,NL)：a)如果drivingrowsource(外部表)比较小，并且在innerrowsource(内部表)上有唯一索引，或有高选择性非唯一索引时，使用这种方法可以得到较好的效率。b)NESTEDLOOPS有其它连接方法没有的的一个优点是：可以先返回已经连接的行，而不必等待所有的连接操作处理完才返回数据，这可以实现快速的响应时间。哈希连接(HashJoin,HJ)：a)这种方法是在orac

8、le7后来引入的，使用了比较先进的连接理论，一般来说，其效率应该好于其它2种连接，但是这种连接只能用在CBO优化器中，而且需要设置合适的hash_area_size参数，才能取得较好的性能。b)在2个较大的rowsource之间连接时会取得相对较好的效率，在一个rowsource较小时则能取得更好的效率。c)只能用于