基于hadoop的云存储平台的研究与实现

《基于hadoop的云存储平台的研究与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、论文题目基于Hadoop的云存储平台的研究与实现学科专业计算机应用技术学号201021060342作者姓名张兴指导教师罗光春教授万方数据分类号密级注1UDC学位论文基于Hadoop的云存储平台的研究与实现（题名和副题名）张兴（作者姓名）指导教师罗光春教授电子科技大学成都（姓名、职称、单位名称）申请学位级别硕士学科专业计算机应用技术提交论文日期2013.03论文答辩日期2013.04学位授予单位和日期电子科技大学2013年6月29日答辩委员会主席评阅人注1：注明《国际十进分类法UDC》的类号。万方数据RESEARCHANDIMPLEMENTATIONOFCLOUDSTORA

2、GEPLATFORMBASEDONHADOOPAMasterThesisSubmittedtoUniversityofElectronicScienceandTechnologyofChinaMajor:ComputerApplicationTechnologyAuthor:ZHANGXingAdvisor:LUOGuangchunSchool:ComputerScienceandEngineering万方数据独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过

3、的研究成果，也不包含为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。作者签名：日期：年月日论文使用授权本学位论文作者完全了解电子科技大学有关保留、使用学位论文的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。（保密的学位论文在解密后应遵守此规定）作者签名：导师签名：日期：年月日万方数据摘要摘要近年来，云计算日益成为国内外关注

4、的焦点。当云计算系统中运算和处理的核心是大量数据的存储时，云计算系统就衍变为一个云存储系统。云计算的飞速发展，使云存储也成为当前业界最热门的研究领域。云存储作为一种新的服务，它将用户的数据存储在云端服务器上，用户只要通过互联网登录云存储服务系统，就可以在任何地方任何时候访问自己的数据，并且不用担心数据会丢失。Hadoop是Apache开发的一种开源的分布式计算平台，在分布式计算和数据存储方面表现出优异的性能，引起了国内外知名IT企业的关注，各大企业和科研机构纷纷投入研究，使得Hadoop在云计算和云存储中的应用越来越广泛。HDFS是Hadoop的分布式文件系统，它具有强大

5、的数据存储能力，适合云存储系统。但它在设计上存在一些缺陷，性能上并不完美，要想大规模推广使用，必须先进行改进。本文主要研究基于HDFS的云存储模型，针对HDFS在小文件存储不理想和副本分布不均衡两个问题上对其进行改进，并使用改进后的HDFS搭建云存储平台。主要工作如下：1.HDFS为确保数据存储的可靠性，采用副本机制将文件的副本存储在集群中。文件副本以数据块的形式存放在不同的DataNode上，然而HDFS默认的副本分布策略具有随机性，不能保证副本均衡地分布在集群中。为解决这一问题，本文提出了一种基于加权评价指标矩阵选择距离最优解最近、最差解最远的节点的算法，对权值的确定

6、采用层次分析法进行计算，在兼顾节点负载的同时，着重考察空间使用率，选择最合适的DataNode来放置数据副本，使各DataNode的空间负载整体均衡。2.HDFS是为大文件设计的，不适合大量小文件的存储。相同数据量情况下，小文件会浪费NameNode的内存，同时降低访问效率。针对这一问题，本文对HDFS的文件存储过程进行改进，在文件上传到HDFS集群之前先进行判断，如果是小文件则需要进行合并优化处理，并将小文件的索引信息以键值对的形式保存在索引文件中。改进方案减小了大量小文件对NameNode内存的消耗，并提高了访问效率。3.进行大量实验，将原HDFS与改进方案进行对比，

7、实验结果证明，本文提I万方数据摘要出的改进方案具有更好的效果，能够改善HDFS的性能。使用改进后的Hadoop搭建存储集群，开发Web应用程序，通过B/S模式模拟云存储平台，实现云存储的相关功能。关键词：云存储，Hadoop，HDFS，副本分布，小文件II万方数据ABSTRACTABSTRACTInrecentyears,cloudcomputinghasincreasinglybecomethefocusofattentionathomeandabroad.Whenthemajortaskofcomputingandproc