分布式文件系统mogilefs改进研究与应用

《分布式文件系统mogilefs改进研究与应用》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、同济大学软件学院硕士学位论文分布式文件系统MogileFS改进研究与应用姓名：田磊申请学位级别：硕士专业：软件工程指导教师：张晨曦;罗怡桂20090901摘要随着Internet技术的发展与深入应用，互联网上的信息量呈爆炸式增长，以图片、音频和视频等文件形式的数据增长尤为迅速，如何有效的存储和管理这些数据并快速的提取信息已经成为网站程序员在工作中遇到的最令人头疼的问题。通过调查研究，可以采用分布式文件系统技术解决上述问题。本文在分析国内外现有分布式储存关键技术基础上，结合对MogileFS分布式文件系统

2、的研究以及自身的业务需求和实际软硬件环境，提出了一种基于MogileFS的图片文件处理服务原型系统。该原型系统可以提供文件的存储、管理、访问等服务。本文从需求分析、系统结构设计与关键技术实现等几个方面来介绍这个原型系统的开发过程，最后将该系统应用于大型网站的图片文件处理系统。另外，我们对MogileFS系统进行了部分优化改进研究，使用了消息队列，改善了MogileFS系统在文件上传、复制、删除等方面效率。本课题的特点是原型系统来自公司实际业务应用需要，利用前沿的分布式文件系统技术来很好的满足项目的需求，

3、并将原型系统应用到实际项目当中，用实验结果来检验原型系统的实用价值，如高效率、低成本、可拓展性和易维护性等。关键词：MogileFS、分布式文件系统。AbstractABSTRACTWiththedevelopmentofIntemettechnologyandapplications，theinformationhasbeenexplosivelygrowing，especiallythedataofimages，au(1iosandvideos．Howtoeffectivelystoreandman

4、agethesedataandextracttheinformationquicklyhasbecomeaveryannoyingproblemforaprogrammerinwork．Accordingtotheresearchandinvestigation,toapplyDistributedFileSystem(DFS)carlsolvetheproblemmentionedabove．BasedOiltheanalysisofthecurrentdistributedstoragetechno

5、logies,theimageprocessingprototypesystemderivedfromMogileFSWasproposedinthispaper,accordingtoresearchonMogileFSDFSandtherequirementsofworkandtherealsituationofhardwareandsol,rare．TheprototypesystemCallprovidefilestorage，management,accessandotherservices．

6、Thispaperexplainstheprototypesystemfromtheaspectsofrequirementsanalysis，systemarchitecturedesign,thekeytechnologiesandarealapplicationofimagefileprocessingsystemonalarge-scalewebsite．Besides，wealsodidsomeoptimizationsonMogileFSduringourresearchbyintroduc

7、ingmessagequeuesintoMogileFS，whichimprovedtheefficiencyoffilesuploading，duplication,deletionandsoon．Theprototypesystemofourresearchcamefromatlactualbusinessrequirement．ThellSeoftechnologyofdistributedfilesystemsatisfiedtherequirementoftheprojectverywell．

8、Ourprototypesystemhasbeenappliedtotheactualprojectsuccessfully，andtheresultsshowesthatourprototypesystemisveryefficient，low-costed，scalableandveryeasytomaintain．Keywords：MogileFS、distributedfilesystem．n学位论文版权使用授权书本人完全了解同济大