面向多磁盘集群的Hadoop系统IO优化研究

《面向多磁盘集群的Hadoop系统IO优化研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号学号M201272885学校代码10487密级硕士学位论文面向多磁盘集群的Hadoop系统I/O优化研究学位申请人：徐凡博学科专业：计算机技术指导教师：郑然副教授答辩日期：2014年5月31日万方数据AThesisSubmittedinPartialFulfillmentoftheRequirementsfortheDegreeofMasterofEngineeringI/OOptimizationforHadoopinClustersofMulti-diskNodesCandidate：FanboXuMajor：Compute

2、rTechnologySupervisor：Assoc.Prof.RanZhengHuazhongUniversityofScienceandTechnologyWuhan430074,P.R.ChinaMay,2014万方数据独创性声明本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到，本声明的法律结果由本人承担。学位论文作者签名：日期：年

3、月日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。保密□，在_____年解密后适用本授权书。不保密□。（请在以上方框内打“√”）学位论文作者签名：指导教师签名：日期：年月日日期：年月日万方数据华中科技大学硕士学位论文摘要Hadoop系统以其高可用性与高可靠性成为了当今大数据应用最常用的处理

4、工具。为满足大数据存储与处理的需求，主流的IT公司以及学术机构的Hadoop集群均由多磁盘节点构成。然而，在Hadoop系统粗粒度的管理方式下，多磁盘提供的I/O性能仍然无法匹配CPU的处理能力，使得磁盘I/O成为系统的性能瓶颈。多任务并发导致的I/O争用、多磁盘的I/O负载不均衡等现象，都使得多磁盘集群下Hadoop系统的I/O性能提升变得艰难。多磁盘集群下I/O高效的Kangaroo系统，对Hadoop系统进行了优化与修改，使其能更高效地在多磁盘集群环境中进行I/O密集型应用的处理。该系统提出了一套磁盘粒度的I/O优化方案，首先扩

5、展了HDFS（HadoopDistributedFileSystem）的地址结构，获取到文件数据块在节点及磁盘上的分布信息，为磁盘粒度的I/O优化提供基础条件，然后从三个方面实现了磁盘粒度的优化：磁盘感知的任务调度，使用磁盘粒度的任务调度算法解决输入数据读取时多Map任务之间的I/O争用，从而获取更快的数据读取速率；全局的I/O管理，将Map/Reduce任务的中间数据溢出进行统一地调配，解决了任务在中间数据溢出时多磁盘I/O负载不均衡的问题；基于磁盘的作业结果输出，利用管道以及Round-Robin等均衡多Reduce任务输出时集群

6、磁盘的I/O负载。这些磁盘粒度的I/O优化方法均从任务级别入手，提高系统在多磁盘集群中任务处理各阶段的I/O性能，并最终提高系统的整体性能。实验结果证明，Kangaroo系统能很好地解决Hadoop系统中存在的I/O问题。在实现了HDFS地址扩展功能的基础上，加快了任务输入数据的读取，均衡了I/O密集型应用在中间数据溢出以及结果输出时磁盘的I/O负载。最终，作业执行总时间能够缩短26%以上。关键词：大数据，多磁盘集群，Hadoop系统，I/O优化I万方数据华中科技大学硕士学位论文AbstractHadoopisawell-knownp

7、latformintheareaofBigDatafordataintensivecomputingandwidelyadoptedinmanycompaniesandorganizationsnow.MachinesinthoseHadoopclustersareequippedwithmultiplediskstostoreandprocessthelarge-scaledataset.However,withthecoarse-grainedmanagement,Hadoopcan’tbringthepotentialofthe

8、multipledisksintofullplayandthediskI/Oisstillthebottleneckofthesystem.TheI/OcontentionanddiskI/Ounbalancecause