分布式文件系统容错机制的研究与实现

《分布式文件系统容错机制的研究与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、电子科技大学UNIVERSITYOFELECTRONICSCIENCEANDTECHNOLOGYOFCHINA硕士学位论文MASTERDISSERTATION论文题目：分布式文件系统容错机制的研究与实现学科专业：计算机系统结构指导教师：任立勇副教授作者姓名：许敏学号：200921060175万方数据分类号密级UDC学位论文分布式文件系统容错机制的研究与实现（题名和副题名）许敏（作者姓名）指导教师姓名任立勇副教授电子科技大学成都（职务、职称、学位、单位名称及地址）申请学位级别硕士专业名称计算机系统结构论文提交日期2012.03论文答辩日期2012.05学位

2、授予单位和日期电子科技大学答辩委员会主席评阅人年月日注1注明《国际十进分类法UDC》的类号万方数据独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。签名：日期：年月日论文使用授权本学位论文作者完全了解电子科技大学有关保留、使用学位论文的规定，有权保留并向国家有关部门或机构送交论文的复印件

3、和磁盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。（保密的学位论文在解密后应遵守此规定）签名：导师签名：日期：年月日万方数据摘要摘要随着互联网在当今时代的快速发展和信息技术的普及，人们处理的数据量正在成百上千的增加，海量数据的时代已经悄然来临。在以后的一段时间内，单位企业所产生、应用、存储的数据量将逐渐增长，分布式文件系统的发展与应用也会越来越普及。分布式文件系统是指被文件系统管理的物理存储资源借助计算机网络的手段存储在其它节点上，而不一定直接存储

4、在本地节点上。在一般文件系统服务能力的基础上额外增加了资源共享、高可用性、高可靠性和高存储容量等优点。其中分布式文件系统的基本准则是资源共，要达到这个基本原则，分布式文件系统必须以安全和可靠地方式共享数据。为了保证分布式文件系统的高可靠性和高可用性，发展分布式文件系统的容错技术是非常重要的。核心存储系统是以实现文件系统的高容错性而设计的分布式文件系统。在该系统下的节点的组织形式为分布式的松耦合体系结构，有良好的扩展性。充分考虑了服务器和端系统之间的结合机制，系统的灵活性加强。同时系统的各个模块之间独立，假如某个模块发生异常，在恢复过程中也不会干涉其他模块

5、。本文根据当前比较流行的容错技术和项目的需求，重点阐述了以下三个方面，保证了整体性能和高容错能力：第一：基于客户端触发的Lazy机制的容错设计，在本系统中由客户端来发现客户端缓存的规则与规则服务器上存储的规则不一致，然后客户端再去规则服务器上面去拉取规则，更新自身存储的规则，使其客户端缓存的规则与规则服务器上的规则一致。第二：元数据管理模块的容错设计，主要是通过双机热备份机制来实现的。从机根据日志来复制数据和根据Mysql数据库自带的复制功能实现同步数据、主机与从机根据心跳机制互相监控对方的运行状态和当主机发生故障时，从机自动切换为主机，这三个方面实现了

6、元数据的容错。第三：数据管理模块的容错设计，主要通过冗余副本和故障恢复来实现的，首先副本数量根据客户端的要求来存储，显得更加灵活；故障恢复是根据迁移桶设计来体现的。本系统还实现了系统的负载均衡的设计，增强了系统的整体性能。关键词：分布式文件系统，容错，可靠性，双机热备份I万方数据ABSTRACTABSTRACTNowadays,withtherapiddevelopmentoftheinternetandthegrowingpopularityofinformationtechnology,theamountofdatawhichpeopledealwi

7、tharehundredsofthousandsofincreasing,theeraofhugeamountsofdatahasbeenquietlycoming.Inthelaterperiodoftime,amountofdataproduced、usedandstoredbybusinessunitswillgraduallyincrease.Thedistributedfilesystem’sdevelopmentandapplicationwillbemorepopularitytoo.Distributedfilesystemisphysi

8、calstorageresourcesmanagedbythefilesyste