基于hadoop平台的mapreduce作业调度算法研究

《基于hadoop平台的mapreduce作业调度算法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号TP391学校代码10590UDC004密级公开深圳大学硕士学位论文基于Hadoop平台的MapReduce作业调度算法研究李旭炜学位类别工程硕士专业学位专业名称软件工程学院（系、所）计算机与软件学院指导教师陈国良、刘刚原创性声明本人郑重声明：所呈交的学位论文基于Hadoop平台的MapReduce作业调度算法研究是本人在导师的指导下，独立进行研究工作所取得的成果。除文中已经注明引用的内容外，本论文不含任何其他个人或集体已经发表或撰写的作品或成果。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方

2、式标明。本声明的法律后果由本人承担。论文作者签名：日期：年月日基于Hadoop平台的MapReduce作业调度算法研究摘要近年来随着科学技术的发展，数据出现了爆发式的增长。云计算具有高效性、可扩展性等多种特征，因此被广泛应用于海量数据的分析和处理。MapReduce是一种全新的分布式计算模型，主要特点是对传统分布式程序的细节进行封装，从而实现业务逻辑与实现细节的分离。Hadoop是MapReduce计算模型的开源实现，并且得到了广泛应用。作业调度算法是Hadoop的核心算法之一，主要负责调度作业和分配集群资源

3、。作业调度算法的优劣直接影响集群的性能，因此对其进行研究具有非常重要的意义。首先，本文深入分析了当前Hadoop所使用的三种常见调度算法FIFO、FairScheduler和CapacityScheduler，并且详细介绍了业界所提出的相关改进算法。在深入分析现有调度算法的优劣后，针对本地化方面所存在数据本地化率不高、待执行任务空闲等待时间过长的问题，本文在公平调度算法的基础之上，提出了基于数据预处理的调度算法（DP-L）。DP-L算法是对非本地化任务执行调度操作之前，将其所需的输入数据提前传输到目标节点的磁

4、盘上。此算法通过网络资源和一部分磁盘空间的消耗作为代价，达到提升集群整体的数据本地化率和执行效率的目的。然后，针对资源分配方面所存在的执行效率低和集群响应时间过长等问题，本文提出了基于关键资源的调度算法（DP-R）。DP-R算法通过计算用户和作业的关键资源份额，选择关键资源份额最小的用户和作业进行资源分配。此算法在保证用户和作业公平性的前提下，有效提高了集群中资源的使用效率。最后，本文设计四个实验来验证算法的可行性和性能。实验结果表明本文所提出的算法提升了任务的执行效率、缩短了集群的响应时间、提高了数据的本地

5、化率。关键词：云计算；Hadoop；MapReduce；资源分配；数据本地化ITheresearchofMapReducejobschedulingalgorithmbasedontheHadoopplatformAbstractWiththedevelopmentofscienceandtechnologyinrecentyears,datahasanexplosiveincrement.Withthecharacteristicsofhighefficiencyandscalability,cloudco

6、mputingiswidelyusedtoanalyzeandprocessthemassiveamountofdata.MapReduceisanewkindofdistributedcomputingmodel.ThemaincharacteristicofMapReduceistoencapsulatethedetailsoftraditionaldistributedprogram.MapReduceseparatesthebusinesslogicandtheimplementationdetail

7、.HadoopisanopensourceimplementationofMapReducecomputingmodelandhasbeenwidelyused.JobschedulingalgorithmisoneofthecorealgorithmofHadoopandmainlyresponsibleforschedulingtasksandallocatingresources.Jobschedulingalgorithmaffectstheperformanceofthecluster,sother

8、esearchofjobschedulingalgorithmisverysignificant.Firstly,itisintroducedthreekindsofcommonlyusedjobschedulingalgorithminthisdissertation,includingFIFO,FairScheduler,CapacitySchedulerandsomeimprovedalgor