hadoop任务调度本地化研究

《hadoop任务调度本地化研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号学校代码10487学号M201272833密级硕士学位论文Hadoop任务调度本地化研究学位申请人：周凯学科专业：计算机技术指导教师：朱虹教授答辩日期：2014年5月25日万方数据AThesisSubmittedinPartialFulfillmentoftheRequirementsfortheDegreeofMasterofEngineeringResearchonDataLocalityofHadoopTaskSchedulingCandidateMajorSupervisor:ZhouKai:ComputerTech

2、nology:Prof.ZhuHongHuazhongUniversityofScienceandTechnologyWuhan430074,P.R.ChinaMay,2014万方数据独创性声明本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。学位论文作者签名：日期：年月日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使

3、用学位论文的规定，即：学校有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。保密□，在_____年解密后适用本授权书。本论文属于不保密□。（请在以上方框内打“√”）学位论文作者签名：指导教师签名：日期：年月日日期：年月日万方数据华中科技大学硕士学位论文摘要目前，大数据处理系统采用基于MapReduce框架的Hadoop平台来处理和分析数据。作业调度要选择合适作业的合适任务进行调度，任

4、务调度时数据本地化能减小网络开销，提高作业的执行效率。但现有的任务调度方法存在不足之处，因此，研究基于数据本地化的Hadoop任务调度方法具有重要意义。首先，分析了现有任务调度方法存在的问题。然后，设计了抢占式调度方法的总体结构，并介绍了任务本地化的检验、任务剩余时间估算、任务杀死与启动、任务启动信息清除四个模块的功能。在各个模块的实现方面，任务本地化检验部分，给出了节点距离计算算法和任务本地化检验算法；任务剩余执行时间估算部分，给出了已启动和正准备启动任务剩余时间的估算方法；任务的杀死和启动部分，介绍了杀死一个正在运行的任务和重新启动一个新任务的方法；任务

5、启动信息清除部分，介绍了清除任务相关启动信息的方法。实验结果表明，当集群中节点在同一个机架内，如果其中存在计算和传输速度较慢的节点时，本课题研究的调度方法能够有效减少作业的运行时间。当集群中节点不是都在同一个机架内，复制非本地化任务的输入数据会带来更大网络开销时，实验效果应该更明显。本课题研究的抢占式任务调度方法在一定程度上能够提高Hadoop作业的运行效率。关键词：Hadoop，任务调度，数据本地化，跨机架I万方数据华中科技大学硕士学位论文AbstractAtpresent,largedataprocessingsystemusesHadoopplatfo

6、rmbasedonMapReduceframeworktoprocessandanalysisdata.Jobschedulingshouldchooseanappropriatetaskbelongingtoanappropriatejob.Whenschedulingtask,datalocalizationcanreducenetworkoverheadandimproveperformance.Butthereareshortcomingsfortheexistingtaskschedulingmethod,therefore,itisimporta

7、nttoresearchtheHadooptaskschedulingmethodbasedondatalocalization.Firstly,theexistingproblemsofthetaskschedulingmethodisanalyzed.Then,theoverallstructureofthepreemptiveschedulingmethodisdesigned,andfourfunctionmodulesareintroduced,thatis,localizationchecking,theremainingtimeestimati

8、onofthetask,killingandstar