hdfs元数据管理的高可用性优化技术研究

《hdfs元数据管理的高可用性优化技术研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、国内图书分类号：TP391.4学校代码：10213国际图书分类号：681.39密级：公开工学硕士学位论文HDFS元数据管理的高可用性优化技术研究硕士研究生：李聪导师：温东新副教授申请学位：工学硕士学科：计算机科学与技术所在单位：计算机科学与技术学院答辩日期：2016年6月授予学位单位：哈尔滨工业大学ClassifiedIndex:TP391.4U.D.C:681.39DissertationfortheMasterDegreeinEngineeringHIGHAVAILABILITYOPTIMIZATIONTECH

2、NOLOGYSTUDYSONHDFSMETADATAMANAGEMENTCandidate：LiCongSupervisor：Prof.DongXinWenAcademicDegreeAppliedfor：MasterofEngineeringSpeciality：ComputerScienceandTechnologyAffiliation：SchoolofComputerScienceandTechnologyDateofDefence：June,2016Degree-Conferring-Institutio

3、n：HarbinInstituteofTechnology哈尔滨工业大学工学硕士学位论文摘要随着数据存储设备的存储成本不断降低，数据存储已经不再是决定系统性能的主要因素，转而数据存储系统的可用性成为了当前评价系统性能的重要指标。本文从高可用性的角度出发，依托于当前流行的大数据平台Hadoop下部署的存储系统HDFS，研究其上元数据管理的高可用性优化技术，以此来提高当前HDFSHA方案的可用性。本文主要从HDFS元数据管理中节点故障时系统的可用性状态问题作为研究点，结合当前HDFSFederation与HA组织模式，

4、分析了在当前模式下单元数据节点故障时系统处于非高可用性阶段，双节点故障时管理员冷启动新的节点所耗费的大量时间，以及集中式缓存未设置缓存替换策略的问题。基于上述三个问题，提出了本文的优化技术，优化技术的主要思想是结合了双机热备与双机互备两种冗余工作模式，将Federation模式下独立的命名空间两两组合，当某个命名空间下的节点发生故障后，可以将系统配置的另一个命名空间下的备份节点与当前故障切换后的活跃节点形成新的高可用性组合，同时也实现了当一个命名空间下的HA双节点均发生故障时，可由另一个命名空间下的备份节点接替成为

5、故障命名空间下的活跃节点，实现了热备份启动新的节点。根据上述优化思想，本文在以下几种机制上进行了详细的设计实现，分别为基于QJM的共享存储机制优化，基于ZKFC的故障检测与切换技术优化以及数据块映射表动态维护技术优化。此外，根据元数据访问请求呈现出的集中性与突发性特征，本文设计了一个能提升系统高可用性的集中式元数据缓存替换策略，新策略选取数据流行度作为替换标准，利用神经网络预测模型、多元线性回归模型以及衰减函数模型结合形成的多个组合模型来周期性地预测数据流行度。最后，通过实验测试进行了优化技术的综合性能分析，根据得

6、出的实验结果，优化技术能够实现节点故障后启动新的高可用性组合以及热备方式启动新节点的功能，同时也能确保数据完整一致性等性能要求。此外，通过Simple-Scalar模拟器，验证了集中式缓存替换策略能够提高元数据的cache-hit-ratio。综上所述，本文提出的优化技术能够实现提高系统高可用性的设计要求。关键词：HDFS；元数据管理；节点故障；缓存替换策略；HA-I-哈尔滨工业大学工学硕士学位论文AbstractWiththelowerstoragecostofdatastoragedevices,datasto

7、rageisnolongerthemainfactorofdecisingthesystemperformance,buttheavailabilityofdatastoragesystemhasbecomeanimportantindicatortoevaluatingperformanceofthecurrentsystem.Thispapercamefromtheperspectiveofsystemhighavailability,basedonthecurrentpopularbigdataplatfor

8、m-Hadoopdistributedfilesystem,tostudythehighavailabilityofmetadatamanagementoptimizationtechnique,inordertoimprovethecurrentavailabilityofHDFSHAsystemscheme.Thispaper’sresearchpoin