基于hdfs的小文件存储模型研究与实现

《基于hdfs的小文件存储模型研究与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、万方数据分类号UDC密级学位论文基于HDFS的小文件存储模型研究与实现作者姓名：李宁指导教师：吕振辽副教授东北大学计算中心申请学位级别：硕士学科类别：工学学科专业名称：计算机应用技术论文提交日期：2014年6月论文答辩日期：2014年6月21日学位授予日期：2014年7月答辩委员会主席：蕞卫祖评阅人：趣德孕能呐东北大学2014年6月万方数据AThesisinComputerApplicationTechnologyResearchandImplementationofSmallFileStorageModelBasedonHDFSByLiNingSupervisor：AssociateP

2、rofessorLvZhenliaoNortheasternUniversityJune2014万方数据独创性声明本人声明，所呈交的学位论文是在导师的指导下完成的。论文中取得的研究成果除加以标注和致谢的地方外，不包含其他人己经发表或撰写过的研究成果，也不包括本人为获得其他学位而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均己在论文中作了明确的说明并表示谢意。l学位论文作者签名：哟日期：∽C坼‘．、I学位论文版权使用授权书本学位论文作者和指导教师完全了解东北大学有关保留、使用学位论文的规定：即学校有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人同意

3、东北大学可以将学位论文的全部或部分内容编入有关数据库进行检索、交流。作者和导师同意网上交流的时间为作者获得学位后：半年13一年口学位论文作者签名：荡—守签字Et期：W∽．6．1I一年半口两年Ⅳ翮签名：汪青陋签字日期：洲参．6．2-1万方数据．II—万方数据东北大学硕士学位论文摘要基于HDFS的小文件存储模型研究与实现摘要大数据是当前计算机领域研究的热点问题之一。企业通过大数据分析消费者行为，部门销售数据等指标，能得出对企业增加市场竞争力产生重要作用的情报数据。随着大数据对企业发展带来积极的影响，越来越多的企业将利用大数据，以及寻求适用于大数据的数据存储解决方案。HDFS是一个开源的分布式

4、文件系统，因其较低的成本，良好的可靠性等特点而成为企业与科研院所首选的海量数据存储解决方案。HDFS适用于采用流式数据访问和存储超大文件，在存储大数据研究过程中产生的海量小文件时，则表现出存储空间不足，读写效率低下等问题。如何使HDFS高效存储小文件，是一个十分有意义的研究方向。针对HDFS在存储小文件时表现出的效率低下等问题，本文从磁盘、网络通信和元数据等因素详细分析小文件问题产生原因，并提出包含管理节点与工作节点的小文件存储模型以优化HDFS上的小文件问题。论文主要工作如下：(1)提出小文件存储模型架构。存储模型是一个基于HDFS的应用。它通过采用小文件优化存储策略，代替HDFS处理

5、客户端的读写小文件请求，达到优化小文件存储的目的。(2)小文件合并存储。即多个客户端上传的小文件共同保存在一个HDFS文件中，该方法能有效减少HDFS中系统元数据的数目，并降低HDFS读取小文件数据的磁盘寻道时间。(3)小文件索引管理。索引管理主要包括：创建、序列化与反序列化小文件索引。每个工作节点在内存中保存与其相关的小文件集合的索引信息。通过查询索引表实现工作节点快速定位小文件数据在HDFS文件中的偏移地址。(4)小文件缓存管理。本文在工作节点的内存和磁盘上构建小文件缓存区，保存最近写入的和访问频率的小文件。缓存管理内置多种常用缓存置换算法，有效减少工作节点与HDFS交互次数，提高客

6、户端访问小文件的效率。(5)通过部署多节点实验平台，对小文件存储模型进行了读写性能测试。测．TTl．万方数据东北大学硕士学位论文摘要试结果与HDFS读写文件性能对比发现：小文件存储模型方案具有可行性，且表现出良好的小文件读写性能。关键字：HDFS；小文件；分布式；合并存储；元数据；缓存．．IV．．万方数据东北大学硕士学位论文AbstractResearchandImplementationofSmallFileStorageModelBasedonHDFSAbstractBigDataisoneofthehotissuesinthefieldofcomputerresearchcurre

7、ntly．Enterpriseanalysisofconsumerbehavior，departmentsalesdataandotherindicatorsthroughbigdata，cangaintheintelligencedatawhichplaysanimportantroleinincreasingthemarketcompetitivenessofenterprises．Withthebigdatapositivei