基于hadoop平台的作业调度技术研究

《基于hadoop平台的作业调度技术研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、西安建筑科技大学硕士学位论文基于Hadoop平台的作业调度技术研究专业：计算机应用技术硕士生：王皎指导教师：董丽丽摘要随着数据规模的急速增大，应用种类的极大丰富，个人用户和企业对信息的需求已经远远超过了原有平台的能力。越来越多的应用和平台，不论对企业级还是个人级用户都不堪重负，Hadoop平台作为一个开源的，且运行在集群上的大型数据库处理框架得到了广泛应用，然而由于Hadoop还比较年轻，在很多地方还有改进和修改的可能。本文通过广泛的调研，介绍了云计算的定义和关键技术，对基于云计算的Hadoop平台的两大核心Ma

2、preduce和HDFS进行了深入的研究。论文重点分析了现有的3种调度算法：先入先出调度算法（FIFO）、公平调度算法(Fair-Scheduler)和计算能力调度算法(CapacityScheduler)的设计思路和优缺点，并针对Hadoop的参数过多难以设置和调度算法过多难以选择的问题，提出了一种海量数据的抽样算法，设计了基于该算法的改进Hadoop框架，即在原有框架基础上加入了策略选择层，从而解决上述两个问题。最后对Hadoop平台重新打包并进行实验验证，实验结果表明，和以前版本相比，其处理海量数据问题的性

3、能有了明显的改进。关键词：Hadoop；Mapreduce；HDFS；调度算法；策略选择层论文类型：应用研究西安建筑科技大学硕士学位论文ResearchofJobSchedulingtechnologyinHadoopPlatformMajor:ComputerApplicationandTechnologyName:WangJiaoInstructor:Prof.DonngLiliAbstractWiththerapidincreaseofdatasizeandthegreatwealthoftheapplic

4、ationtypes,thedemandofinformationtoconsumerandcorporatefarexceedstheabilityoftheoriginalplatform.enterprise-levelorindividual-levelisoverwhelmedbymoreandmoreapplicationsandplatfom.theHadoopplatformasanopensourceframeworkwhichhandlelargedatabaserunningontheclu

5、sterbecomesmoreandmorepopular.however,Hadoopisstillyoung,Therearemanyplaceshavethepossibilitytomakechangesandimprovements.Throughextensiveresearch,thispaperintroducesthedefinitionofcloudcopmutingandkeytechnologies,In-depthresearchsontheMapreduceandtheHDFSofHa

6、doopcore..then,thispaperanalyzethedesignideasandtheadvantagesanddisadvantagesofexistingthreeschedulingalgorithms:FIFO,Fair-Scheduler,CapacityScheduler.FortheproblemthatHadoopparameterstoomuchtosetupandschedulingalgorithmtoomuchdifficulttochoose,proposeasampli

7、ngalgorithmbasedonhugeamountofdata.anddesigntheimprovedHadoopframeworkwhichjointhestrategicchoicelayertosolvethetwoproblem.finally,itrepackageandexperimenttheHadoopplatform.Comparedwiththeoldversion,Theresultsshowthatthereisobviousimprovementsindealingwithmas

8、sivedata.Keywords:Hadoop;Mapreduce;HDFS;Schedulingalgorithm;Strategic-choiceLayerThesisType:ApplicationStudy西安建筑科技大学硕士学位论文目录1绪论............................................................