基于hdfs的小文件存储关键技术研究

《基于hdfs的小文件存储关键技术研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、■■＇－■■－Ｖ－Ｖ－一：，．：：Ｖ；Ｖ；；：：，．；；＂＂＇＾■：＾Ａｖｈ？，；：＇．＇．相、片Ｓ：；拉方爲’’一．．．ｆＶ＾’々．式－巧古斯》：－．＇满次；户．Ｖ短苗装＆、＇＇Ｉ瑕．Ｖ姑诗试喊论义．＇’’．．－．．Ｖ片．Ｖ一Ｘ＇．？：一－、化－．？＊－－？？——？？，Ｗ－－．．．？．；．片，．．基于ＨＤＦＳ的小文件存储关键技术研究、－＇；读．．‘辦．爾芦心．逆齡．．；

2、：．中■＂■■■：：＾Ｖ．古＾，；？ｙ＇■古皆’－＇＇、＇－＇－－．马尤＇．心Ｖ背＇＇：＾；＇ｊ；－；ｉ；，滅苗：三占ｙ．，：八＇－＇三：．苗心Ｊ；一避判．藝妒Ｖ塞贺灣賴霧議涅：：ｉｌｌ：．（老披留学生）ｉ＃；．．ｌｉｌｉＳｉ歡樣毒讚一？這ｉ奪議！議義‘－－＾＾的：鴻；；，感ｖ．＇－＇＇＇，‘所：Ｖ．．．；．嘴咸Ｖ；．品矿．ｖ也；＇ｘ＇‘－■—．＇＇一■．．巧方山＇－：．．始＇Ｖ八、ｖ；南＇、Ｉ‘＇：：＇ＨＶ…

3、．Ｖ一／诗、．．，＞．．一路兴记ｖ．Ｓ＇Ｉ．，＇＇ｒ＇；ｔ再．＇代礎—＇？个碱＾：林气譜＇■‘一＊＂＾＇＇ｒ－■＇■．＇二＇‘＇＇■？ＶＶ：■－－：＇Ｖ传－．．‘、一－ＶＶ‘＇‘＇山贾殘席乂＃：．．，■一．．＇？Ｘ、．－ｒ－ｆ－？－．、，Ｉ．＂，一纪＇＾二〇六年六月绽．廣５，論．；节九Ｖ被＇．．‘■．’—－＇Ｖｒ＇，話嫁ｆ的；六造试乎、＇＇＇＇＇；－＂—：；．．与：心；今；讀

4、該財节謂Ｖ．繁：销皆Ａ＇；作．式．ｓ一姑雜坤報游．攀；二分类号了Ｐ乏弓３密级公弄ＵＤＣ编号硕±学位论文基于ＨＤＦＳ的小文件存储关键技术研究塞贺学科专业计算祝应用巧术指导教师霍林论文答辩日期２０１６年５月１８日学位授予日期２０１６年６月３０日答辩委员会主席陈友初教授及窩级工程师广西大学学位论文原创性和使用授枚声明本人声明所呈交的论文，是本人在导师的指导下独立进行研究所取得的研究成果。除已特别加Ｗ标注和致谢的地方外，论文不包含任何其他个人或集体已

5、经发表或撰写的研究成果，也不包含本人或他人为获得广西大学或其它单位的学位而使用过的材料一同工作的同事对本论文的研。与我究工作所做的贡献均已在论文中作了明确说明。本人在导师指导下所完成的学位论文及相关的职务作品，知识产权归属广西大学。本人授权广西大学拥有学位论文的部分使用权，目Ｐ：学校有权保存并向国家有关部口或机构送交学位论文的复印件和电子版，允许论文被查阅和借阅，可将学位论文的全部或部分内容编入有关数据库进行检索和传播、汇编学位论文。，可Ｗ采用影印、缩印或其它复制手段保存本学位

6、论文属于：□保密，在年解密后适用授权。的保密。＂＂（请在上相应方框内打Ｖ）论文作者签名：豪％日期：么０仏从Ｕ？？，么Ｏ指导教师签名日期ｌｂ．：ＤＵｆｃ作者联系电话；：电子邮箱广巧太＃巧古＃位论义＊于ＨＤＦＳ巧小义件々Ｗｆ美Ｗ技术巧义基于ＨＤＦＳ的小文件存储关键技术研究摘要云存储系统为存储大规模数据应运而生，其底层采用分布式文件系统＊作为存储平台。册ＦＳ（ＨａｄｏｏｐＤｉｓｔｒ化ｕｔｅｄＦｉｌｅＳｙｓＴｔｅｍ）是开源的云计算）平台Ｈａｄｏｏｐ提出

7、的分布式文件系统，其设计简单，应用广泛。但是ＨＤＦＳ的设计初衷是为了处理大文件的，而目前随着互联网的发展，产生了越来越多的小文件需要处理，这给ＨＤＦＳ带来了挑战。ＨＤＦ一Ｓ采用单的元数据节点ＮａｍｅＮｏｄｅ来管理整个系统的元数据信息，并且为了提高访问效率，将元数据存储在内存中，但是当系统中存储着大量小文件时，会产生非常多的元数据，占用较大的ＮａｍｅＮｏｄｅ内存，使其工作性能受到影响。此外，大量的小文件访问，需要频繁向ＮａｍｅＮｏｄｅ发送请一求，造成ＮａｍｅＮｏｄｅ节点超负荷工作，成

8、为系统整体性能的个瓶颈。为了解决这个问题，使册ＦＳ能适应小文件的存储，本文进行了相关研究，主要包括：对ＨＤＦＳ的系统架构设计和工作原理进行了深入了解。本文提出一种基于合并策略的ＨＤＦＳ小文件存储解决方案，并给出改进的系统架构。新的方案将小文件合并成为大文件进行存储，并创建相应的索引，在文件读取时，设计恰当的数据预取和缓存策略，提高访问效率。此外一，为了进步提髙小文件合并之