可伸缩分布式文件系统及其应用.pdf

《可伸缩分布式文件系统及其应用.pdf》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、可伸缩分布式文件系统及其应用焦晨宇2015年6月中图分类号：TP392UDC分类号：004可伸缩分布式文件系统及其应用作者姓名焦晨宇学院名称计算机学院指导教师刘峡壁副教授答辩委员会主席陆耀教授申请学位工程硕士学科专业计算机技术学位授予单位北京理工大学论文答辩日期2015年6月TheDesignandApplicationofAScalableDistributedFileSystemCandidateName:ChenyuJiaoSchoolorDepartment:SchoolofComputerScienceFacultyMentor:AssociatePro

2、f.XiabiLiuChair,ThesisCommittee：Prof.YaoLuDegreeApplied:MasterofEngineeringMajor：ComputerTechnologyDegreeby:BeijingInstituteofTechnologyTheDateofDefence：June，2015研究成果声明本人郑重声明：所提交的学位论文是我本人在指导教师的指导下进行的研究工作获得的研究成果。尽我所知，文中除特别标注和致谢的地方外，学位论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得北京理工大学或其它教育机构的学位或证书所使用

3、过的材料。与我一同工作的合作者对此研究工作所做的任何贡献均已在学位论文中作了明确的说明并表示了谢意。特此申明。签名：日期：北京理工大学硕士学位论文摘要伴随着移动互联网的迅速发展，互联网数据规模呈现出几何式增长态势，大数据时代随之来临。单独的文件存储服务器已经无法应对日益增长的数据规模，分布式文件存储系统应运而生。分布式文件系统已成为互联网应用的基础组件之一。由于互联网应用业务之间的差异，相同的分布式文件系统在不同的业务应用中的效率各不相同。为了保证文件系统的效率，通常需要针对具体的应用业务设计特定的分布式文件存储系统。本文在对分布式文件系统可靠性、可用性以及可伸缩

4、性进行深入研究后，设计并实现了一套可伸缩的分布式文件系统。并且，针对当前互联网应用中大部分图片资源为大小不超过100KB的小文件这一具体应用场景，进一步对本文设计的文件系统做出改进，确保本文件系统在应对海量小文件存储、频繁读写时具有良好的性能。本文的主要的研究工作主要包括以下内容。1.系统平滑扩容方法。在互联网应用中，业务规模会随着时间的增大而扩大，文件存储系统也会随之需要扩容。良好的可伸缩性是衡量分布式文件系统性能的重要指标。按照本文平滑扩容方法，可以根据业务需要，直接添加硬件即可完成容量扩展，无需其他任何配置。2.海量小尺寸文件的存储和读写方法。在互联网应用中

5、，大部分图片资源为不超过100KB的小文件，在此应用场景中，伴随的是文件数据的频繁读写，为了保证海量小文件的读写效率，本文对读写方法进行了重点优化。关键字：可伸缩性；分布式系统；文件系统；海量小文件。I北京理工大学硕士学位论文AbstractWiththerapiddevelopmentofmobileInternet,theburgeoningInternetdatashoweditsgrowthingeometricscale,meaningtheadventofBigDataera.Consequently,singlefilestorageserverha

6、sbeenunabletocopewiththeincreasingsizeofdata,thedistributedfilestoragesystemwasbuiltintouse,whichhasbecomeoneofthebasiccomponentsofInternetapplicationsnowadays.DuetodifferencesbetweenInternetapplicationservices,thesamedistributedfilesystem’sefficiencyvariesfrombusinessapplications.Toe

7、nsuretheefficiencyofthefilesystem,aspecificdistributedfilestoragesystemisspeciallydesignedforaspecificapplicationservice.Thispaperhasdesignedandimplementedascalabledistributedfilesystem,afteranin-depthstudyinthereliability,availabilityandscalabilityofdistributedfilesystems.Whileconsid

8、ering