面向海量无线电监测数据的分布式存储系统研究.pdf

《面向海量无线电监测数据的分布式存储系统研究.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第l8卷第2期成都工业学院学报Vo1．18。No．2!堡旦丝堡垒堡丝June．。2015DOI：10．13542／j．cnki．51—1747／tn．2015．02．008面向海量无线电监测数据的分布式存储系统研究冯浩，贾年术(西华大学无线电管理技术研究中心，成都610039)摘要：提出了一种针对海量无线电监测数据的分布式存储系统的体系结构。结合Hadoop云计算平台和HBase分布式数据库的存储特点，在Linux平台下设计了针对海量无线电监测数据的分布式存储系统。该系统旨在对海量分布式无线电监测数据进行快

2、速、高效、可靠地处理，用以满足无线电监测管理部门对监测数据的存储、检索和分析的需求。关键词：无线电监测；海量数据；分布式存储；云计算中图分类号：TP333文献标志码：A文章编号：2095—5383(2015)02—0025—04Study0naDistributedStorageSystemforMassiveRadioMonitoringDataFENGHaoJIANian(CenterforRadioAdministrationandTechnologyDevelopment，XihuaUniversi

3、ty，Chengdu610039，China)Abstract：Thes~cmreofadistributedstoragesystemformassiveradiomonitoringdataispresentedinthispaper．WiththestoragemethodofplatformforHadoopcloudcomputingandHBase，thepaperimplementsadistributedstoragesystemformassiveradiomonitoringdatain

4、Linuxplatform．Formassiveradiomonitoringdata，thepurposeofthissystemisanalyzingthemassivedistributedradiomonitoringdatarapidly，eficientlyandcorrectly，whichmeetstheRadiomanagementdepartmentdemandsofstorage，retrievalandanalysisformassiveradiomonitoringdata．Key

5、words：radiomonitoring；massivedata；distributedstorage；cloudcomputing近年来，各地各级无线电监测站响应国家无线电的云计算平台，其核心是Hadoop分布式文件系统办公室的要求，加快了小型无线电监测站的建设和发(HadoopDistributedFileSystem，HDFS)、MapReduce展，监测网络的规模和监测产生的数据量日益庞大的和HBase，HBase是一个基于HDFS的开源的、面向特点愈发突出。同时，国家、省、地市级的无线电监测列的

6、分布式数据库，可以利用集群处理大数据。中心互相传输监测数据的业务需求还没有实现，监测1存储系统体系结构数据的利用率不高。存储系统需要更大的存储容量由于不同系统集成商提供的监测设备在应用层和更高的可扩充功能，才能满足发展的需要。通信协议上的差异所造成的系统无法互联、互通以及随着无线电监测业务迅猛发展，海量级历史数资源无法共享，在国家无线电管理局和国家无线电监据需要长期存储、高效查询。传统的关系型数据库测中心推动下，结合《无线电管理VHF／UHF频段监在存储数据量越来越大的情况下，已经无法满足业测数据库结构技术

7、标准》，目前的无线电监测数据的务上的实时响应查询的需要。同时，无线电监测工编码规范来源于无线电监测网传输协议(Radio作涉及国防安全，这对存储数据提出了更高的要求。MonitorTransferProtoeal，RMTP)，数据采集格式统一。面对如此海量的无线电监测数据，怎样提高数据的存储、查询与分析的效率，这是亟需解决的问题。传统关系型数据库无法满足对海量数据的高效率存(HBas~《)—————储，结构化查询语言(StructuredQueryLanguage，UIp⋯，圃～，SQL)查询效率也非常低，

8、而且无法动态扩展。随着云技术的发展，为存储海量级的无线电监测数据找到了新的方法。本系统选择的Hadoop是一个开源图1无线电监测数据存储与查询系统架构图收稿日期：2015—04—22基金项目：国(家科技支撑计划“西菝自然科学博物馆基于物联网的信息管理系统关键技术研究及集威示范”2q11．BA．H26B03)；四川省科技支撑计划“无线电智能监测网络系统”(2011FZO051)；西华大学重点实验"-4室开放研究基金