基于hdfs的分布式存储系统的设计与实现

《基于hdfs的分布式存储系统的设计与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号学号M201176121学校代码10487密级硕士学位论文基于HDFS的分布式存储系统的设计与实现学位申请人：田末学科专业：软件工程指导教师：沈刚教授答辩日期：2014.1.6万方数据AThesisSubmittedinPartialFulfillmentoftheRequirementsfortheDegreefortheMasterofEngineeringDesignandImplementationofDistributedStorageSystemBasedonHDFSCandidate:TianMoM

2、ajor:SoftwareEngineeringSupervisor:Prof.ShenGangHuazhongUniversityofScienceandTechnologyWuhan430074,P.R.ChinaJanuary,2014万方数据独创性声明本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由

3、本人承担。学位论文作者签名：日期：年月日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。保密□，在年解密后适用本授权书。本论文属于不保密□。（请在以上方框内打“√”）学位论文作者签名：指导教师签名：日期：年月日日期：年月日万方数据华中科技大学硕士学位论文摘要随着互联网的普及和

4、快速发展，用户数据出现了迅速的增长。传统的通过网络通信访问非本地数据在面对当前大规模数据存储需求，在数据容量、可靠性、安全性、高可扩展等方面已难胜任。针对上述问题，提出一种新的大规模数据存储系统，即基于HDFS(HadoopDistributedFileSystem)的分布式存储系统，通过充分利用分布式存储的技术优势，以满足当前大规模数据存储和管理的要求。HDFS作为主流的分布式存储系统，因为其高可靠、高性能存储服务而被广泛使用。LevelDB作为一个能支持数十亿级别数据量，而且在大数据情况下读写性能仍然非常高。鉴于此

5、，把HDFS和LevelDB进行架构融合，并在上层开发了TabletServer操作管理底层LevelDB的数据读写，通过更改LevelDB数据存储的路径，实现LevelDB把数据最终落地到HDFS集群上，然后设置系统的Master，利用其对系统中所有的TabletServer进行集中管理，监控和维护，同时，提供Client让用户通过其与整个系统交互，完成用户需要的系列功能，如包括大规模数据的读写、删改等。通过全面的规划和严格的设计考虑，最终完成了该分布式存储系统的开发和测试工作。通过成功的开发该分布式存储系统，证明了

6、LevelDB读写HDFS在性能和效率方面是可靠的。同时，作为基于HDFS和LevelDB的大规模数据分布式存储系统，在数据的容量、全局有序、负载均衡、列存储和多版本数据存储等方面产生较大的影响。关键词：Hadoop分布式系统HDFS文件系统分布式数据存储LevelDB数据库I万方数据华中科技大学硕士学位论文AbstractWiththepopularizationandrapiddevelopmentoftheInternet,usershaveexperiencedrapidgrowthindata.Traditi

7、onalcommunicationaccessthroughthenetworkofnon-localdatainthefaceoflarge-scaledatastoragerequirementscurrentlyindatacapacity,reliability,security,highscalability,etc.havebeendifficulttodothejob.Inresponsetotheseproblems,anewlarge-scaledatastoragesystems,namelyHDF

8、S(HadoopDistributedFileSystem)-baseddistributedstoragesystem,bymakingfulluseoftheadvantagesofdistributedstoragetechnologytomeetthecurrentlarge-scaledatastorageandmana