基于hadoop的全分布式存储架构研究

《基于hadoop的全分布式存储架构研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、代号10701学号1008120054分类号TP333密级公开题（中、英文）目基于Hadoop的全分布式存储架构研究StudyonHadoopbasedFullDistributedStorageArchitecture作者姓名刘衍森指导教师姓名、职称樊凯副教授学科门类工学学科、专业通信与信息系统提交论文日期二〇一三年三月创新性声明本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研究成果；也不

2、包含为获得西安电子科技大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中做了明确的说明并表示了谢意。申请学位论文与资料若有不实之处，本人承担一切相关责任。本人签名：_____________日期____________关于论文使用授权的说明本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。本人保证毕业离校后，发表论文或使用论文工作成果时署名单位仍然为西安电子科技大学。学校有权保留送交论

3、文的复印件，允许查阅和借阅论文；学校可以公布论文的全部或部分内容，可以允许采用影印、缩印或其它复制手段保存论文。（保密的论文在解密后遵守此规定）本学位论文属于保密在年解密后适用本授权书。本人签名：_____________日期____________导师签名：_____________日期____________摘要随着互联网的飞速发展，人类已经进入大数据时代，数据量呈现爆炸式的增长，云计算作为解决海量数据的有效手段也越来越受到人们重视。同时，云存储作为云计算支撑性的底层服务也显得越发重要。尤其是目前最为流

4、行的开源分布式文件系统HadoopDistributedFileSystem(HDFS)，以其廉价、简单易部署的特点成为各大企业的首选。但是由于其自身的一些缺陷制约了HDFS的应用。本文首先研究了目前几种主流的分布式文件系统，分析了各自的特点，重点剖析了HDFS系统架构及其运行机制。HDFS采用的是主从式的架构，系统只有一个主节点，这种架构容易造成单点失效和高并发访问的性能瓶颈问题。本文针对这一问题，提出了一种去中心化全分布式架构。该架构通过将单个Namenode水平扩展为多个来解决单点失效问题。通过对元数

5、据同步机制的深入研究，我们使用SecondaryNamenode解决系统的元数据一致性问题。同时，文件采用读写分开的方式存储，对只读性文件的存储策略进行改进，采用一致性Hash存储，将部分元数据隐藏在文件名中，从而降低内存中的元数据量。同时采用文件偏移量而非固定分块方式存储文件位置，减小文件碎片。最后通过系统仿真，说明在可靠性、文件碎片、内存元数据方面所提架构比HDFS系统具有较大提升。关键词：云存储HDFSNamenode单点失效海量小文件存储AbstractWiththerapiddevelopment

6、ofInternet，peopleenteredtheeraofbigdata.Thedatapresentedanexplosivegrowth.Asaneffectivemethodtostoreandmanagemassdata,cloudcomputingplaysanimportantrole.Soasanunderlyingserviceofcloudcomputing,cloudstoragebecomesakeyissuesincloudcomputing.Asoneofthemostpop

7、ularopensourcedistributedfilesystem,HadoopDistributedFileSystem(HDFS)becomesthefirstchoiceofthemajorcompaniesbecauseofitsfeaturesofflexiblestructure,highefficientresponseandeasymanagement.ButsomedisadvantagesofitselfrestrictedHDFSapplication.Inthispaper,se

8、veralpopulardistributedfilesystemsarediscussed.Theircharacteristicsareanalyzedrespectively.EspeciallyHDFSsystemarchitectureanditsoperatingmechanismarestudied.HDFSisamaster-slavearchitecture,andthearchitecture