毕业论文：基于hdfs的云灾备存储系统——可靠存储及负载均衡方法研究

《毕业论文：基于hdfs的云灾备存储系统——可靠存储及负载均衡方法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、毕业论文：基于HDFS的云灾备存储系统——可靠存储及负载均衡方法研究毕业论文：基于HDFS的云灾备存储系统——可靠存储及负载均衡方法研究毕业论文：基于HDFS的云灾备存储系统——可靠存储及负载均衡方法研究:2013-8-1517:54:55毕业设计论文题目：基于HDFS的云灾备存储系统——可靠存储及负载均衡方法研究院（系）　　　计算机科学与技术　　　专业　　　网络工程　　　届别　　　2012　摘要随着计算机技术及因特网技术的发展，数据信息已成为现代企业以及每个人的重要资源，数据的丢失或被窃取将带来重大的损失，数据

2、的安全存储及备份显得尤为重要。本文设计一个基于Hadoop的云灾备存储系统来存储数据。论文采用在Linux虚拟机上创建hadoop分布式文件系统，由分布式系统管理并备份用户的数据。分布式系统由一个名字节点和多个数据节点构成，名字节点对数据的存储进行管理，而数据节点则负责数据的物理存储。为了防止名字节点的故障导致系统的崩溃，必须配置一个第二名字节点来作为冗余并定时处理保存名字节点的系统日志。为了数据的安全备份，必须把数据复制为多个副本存储在多个数据节点上。系统不仅要实现海量数据的存储，同时也要实现海量用户的的管理。

3、为了防止某个数据节点的负载过重，导致用户的操作延迟太大，还必须处理好系统数据节点的负载均衡，使海量用户能够同时流畅的访问hdfs系统。本文，通过配置多台数据节点，并在名字节点上设置一个文件要保存的副本数，来实现数据的安全备份，用户数据分为多份存储在不同的服务器上。名字节点则通过一张排序表来控制用户访问数据时是由哪个数据节点负责响应，排序表实现了负载低的数据节点首先响应用户的访问，从而达到各数据节点的负载均衡。关键词：Hadoop；云灾备；可靠存储；负载均衡ABSTRACTWiththedevelopmentofc

4、omputertechnologyandInternettechnology,informationhasbecomeamodernenterpriseaswellasimportantresourcesforeveryone.Sodata’slostorstolenwillbringasignificantloss.Securestorageandbackupofdataisparticularlyimportant.Thispaperdesignedaclouddisasterrecoverystorages

5、ystemwitchbasedonHadooptostoredata.PaperusingtheLinuxvirtualmachinetocreateahadoopdistributedfilesystem,distributedsystemsmanagementandbackuptheuser’sdata.Thedistributedsystemconsistsofanamenodeandmultipledatanodes,thenamenodemanagethedata’sstorage.Andthedata

6、nodeisresponsibleforthephysicalstorageofdata.Inordertopreventthenamenode’failuredledtothecollapseofthesystem,weshouldconfigureasecondarynamenodeasthenamenode’sredundancyandregularlydealwithsavesystemlog.Forthesecurityofdatabackup,datareplicationforthestorageo

7、fmultiplecopiesofmultipledatanodes.Thesystemmustnotonlymassdatastorage,butalsomassuser’smanagement.Inordertopreventtheoverloadingofadatanode,whichleadtothedelaybecometoolargeforusersoperation,wemustdealwiththedatanodes’loadbalancing,sothatthemassusers’accessw

8、illbesimultaneouslysmooth.Thearticle,byconfiguringmultipledatanodesandsetthenumberofcopiesftosaveforeachfileonthenamenodetoachievethesecurityofdatabackup,userdataisdividedintopaywouldbest