基于Hadoop的海量气象数据的存储设计与实现

《基于Hadoop的海量气象数据的存储设计与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、论文题目：基于Hadoop的海量气象数据的存储设计与实现作者姓名：专业名称：指导教师：论文提交日期：论文答辩日期：授予学位日期：入学时间：研究方向：职称：算一计一雠且垃篡一月一月一旦6—6一年一生芏3—3一m

2、1—1—1_．一O—O一0一兰DESIGNANDIMPLEMENTATIoNoFMASSMETEoRoLoGICALDATASToRAGEBASEDoNHADOoPADissertationsubmittedinfuInllmentoftherequirementsofthedegreeofMASTERoFPHILOSOPHYf}omShandongUniVersityofSci

3、enceand1bchnologyXuZhaogangSuperVisOr：ProfessorFuY．ouColIege0fInformationScienceandEngineeringMay2013声明本人呈交给山东科技大学的这篇硕士学位论文，除了所列参考文献和公认的文献外，全部是本人在导师指导下的研究成果。该论文资料尚没有呈交于其它任何学术机关作鉴定。硕士生签名：日AFFIRMATIoNIdeclarethatthisdissertation，submittedinful矧雌mentOftherequirementsfortheawardofMasterofPhnOsOphyin

4、ShandOngUniversityOfScienceand1'echnOlOgy，iswhOllymyOwnwOrkunlessreferencedofacknowledge．Thedocumenthasnotbeensubmittedf．orqualificationatanyotheracademicinstitute．Signature：Date：山东科技大学硕士学位论文摘要近年来，气象灾害频繁发生，严重影响国家经济发展和人民的生命财产安全。人们对于气象预报的准确性和实时性提出了更高的要求，因此对数值天气预报技术的要求也越来越高。数值天气预报中，数值模式计算过程复杂，而且模式计

5、算中生成了大量数据，如何管理和存储海量气象数据是当前数值天气预报的研究内容之一。本文根据浙江Rewise公司气象数据实例，分析气象数据的特点，设计了一种基于Hadoop的海量气象数据存储方案，分别对海量气象数据小文件和海量的气象云图以及气象指数信息采用如下存储方式：将海量气象数据小文件合并成大文件，存储到HDFs分布式文件系统中，采用一种基于确e改进树的索引方式，按照地区的不同，获取气象数据。这种方式既符合HDFS大文件存储的需求，又能够提高气象数据的索引效率。对于海量的气象云图，则采用目录管理的方式存储到专门的图片服务器，并将云图的索引信息存储到HBase分布式数据库，以提高气象云图

6、的索引效率；对于气象指数信息则是按照地区的不同存储到HBase中，具有较好的可扩展性。最后，本文经过一系列的实验，分别采用Rewise公司目前采用的多级目录管理的气象数据存储方式和本文设计的Hadoop的HDFS分布式文件系统存储方式，从负载压力进行了对比，并且从访问速率进行的分析，证明了采用HDFS分布式文件系统进行海量气象数据的存储方法，能够解决目前Rewise公司面临的气象数据文件访问速率低和因用户访问量过大而造成的I／o瓶颈的问题。关键字：数值天气预报，气象数据，海量，Hadoop，存储J东科技大学硕士学位论文ABSTRACTRecently，climaticdisasters

7、occur疔equently，whichInnuencesthedeVelopmentofnationaleconomicandthesaf色tyofpeople’sliVesandproperty．Peoplesethigherrequirementsontheaccuracyandreal_timeofweatherforecast．Therequirementsoftechnologyfornumericalweatherpredictionis黟Owing．ThenumericalmodeliscomplexandgeneratesaJa唱eamountOfdatainNume

8、ricalweatherprediction．HowtomanageandstoremassiVeamountsofmeteorologicaldataisoneofresearchdirectionsofnumericalweatherpredictioncurrentlyBasedonthemeteorologicaldatainstancesofzhejiangRewisecompany，thispaperanalyzedthechara