hadoop平台的作业调度算法研究与改进

《hadoop平台的作业调度算法研究与改进》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、中文图书分类号：ＴＰ３９１密级：公开ＵＤＣ：００４学校代码：１０００５火／入ｆ乂？參ＢＥ口ＩＮＣＵＮＩＶＥＲＳＩＴＹＯＦ了ＥＣＨＮＯＬＱＧＹ硕±学位论文ＭＡＳＴＥＲＡＬＤＩＳＳＥＲＴＡＴＩＯＮ论文题目：Ｈａｄｏｏｐ平台的作业调度算法研究与改进论文作者：鲍雷学科：计算机科学与技术指导教师：蔡永泉教授论文提交日期：２０１６年６月ＵＤＣ：００４学校代码：１０００５ＴＰ１２０１３０７００３中文图书分类号：３９学号：Ｓ密级：公开北京王业大学

2、王学硕去学位论文题目：由ｄｏｏｐ平台的作业调度算法研究与改进英文题目：ＴＨＥＲＥＳＥＡＲＣＨＡＮＤＯＰＴＩＭＩＺＡＴＩＯＮＯＦＪＯＢＳＣＨＥＤＵＬＥＡＬＧＯＲＩＴＨＭＩＮＨＡＤＯＯＰ论文作者：鲍雷学科专业：计算机科学与技术研究方向：计算机软件与理论申请学位：工学硕击指导教师：蔡永泉所在单位：计算机学院答辩日期：２０１６年６月授予学位单位：北京工业大学独创性声明本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文

3、中特别加Ｗ标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育机构的学位或证书而使用过的材料一。与我同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。签名：鲍雷日期：２０化年６月１８日关于论文使用授权的说明本人完全了解北京工业大学有关保留、使用学位论文的规定，目Ｐ：学校有权，允许论文被查阅和借阅保留送交论文的复印件；学校可Ｗ公布论文的全部或部分内容，可Ｗ采用影印、缩印或其他复制手段保存论文。（保密的论文在

4、解密后应遵守此规定）签名：鲍雷日期：２０化年６月１８日１导师签名：蔡永泉日期：２０化年６月８日摘要摘要随着互联网行业的蓬勃发展，人们对大数据技术的应用更加深入和广泛。作为主流的海量数据并行计算平台，Ｈａｄｏｏｐ在性能方面正面临越发严格的考验。Ｈａｄｏｏｐ平台的调度器控制着作业的调度和资源的分配，其作业调度算法的优劣直接影响集群的性能的好坏。因此，研究并改进Ｈａｄｏｏｐ平台的作业调度算法具有重要意义。本文对Ｈａｄｏｏｐ平台的作业调度算法进行了Ｗ下两个方面的研究：

5、１ＹＡＲＮ集、针对现有的基于截止时间的作业调度算法在群无法工作的问题，本文提出了一种面向ＹＡＲＮ架构的作业调度算法。算法根据作业的截止时间和运行情况推测作业并发任务数量的临界值。利用该临界值将集群资源分为基本资源和额外资源两部分，通过对两部分资源采取不同的调度方式，在最大限度保证作业时间限制的前提下，实现资源使用效率最大化。经实验证明，此算法可Ｗ有效地提升在截止时间之前完成的作业数量。２ｆ一、针对細ｕｆｌｅ阶段产生的网络开销导致集群性能下降的问题，提出了种Ｒｅｄｕｃｅ任务调度算法。该算法

6、根据数据本地性和传输数据量对Ｓｈｕｆｆｌｅ阶段网络一开销的影响，计算种用于衡量由Ｒｅｄｕｃｅ任务产生的网络开销多少的指标。算法根据运个指标选择执行Ｒｅｄｕｃｅ任务的节点。当首选节点过载时，算法将根据节点的负载情况选择备用节点。实验表明，该算法能够有效地减少作业在Ｓｈｕｆｆｌｅ阶段产生的网络开销。对于Ｒｅｄｕｃｅ阶段时间比重较大作业，该算法可Ｗ有效地缩短响应时间。关键字：Ｈａｄｏｏｐ；ＹＡＲＮ；作业调度－Ｉ－Ａｂｓｔｍ。乂ｂｓ化ａｃｔＷｉｔｈｔｈｅｒａｐｉｄｄｅｖｅｌｏｐ

7、ｍｅｎｔｏｆｔｈｅＩｎｔｅｒｎｅｔｉｎｄｕｓｔｒｙ，ｔｈｅ也ｏｒｏｕｇｈｌ：ｅｃｈｎｏｌｏｇｙｏｆＢｉｇＤａｔａｉｓｅｘｔｅｎｓｉｖｅｌｙａｄｏｐｌ：ｅｄ．Ａｓａｍａｊｏｒｐａｒａｌｌｅｌｃｏｍｐｕｔｉｎｇｐｌａｔｆｏｒｍｏｆｍａｓｓｉｖｅｄａｔａ，Ｈａｄｏｏｐｉｓｆａｃｉｎｍｏｒｅｓｔｒｉｎｅｎｔｔｅｓｔｉｎｔｅｒｍｓｏｆｅｒｆｏｒｍａｎｃｅ．Ｔｈｅｓｃｈｅｄｕｌｅｒｏｆｇｇｐｈａｄｏｏｐｉｓｉｎｃｈａｒｇｅｏｆｓｃｈｅｄｕｌｉｎ

8、ｇｏｂａｎｄｒｅｓｏｕｒｃｅ，ｗｈｏｓｅａｌｏｒｉｔｈｍｄｅｔｅｒｍｉｎｅｓｔｈｅｊｇｐｅｒｆｏｒｍａｎｃｅｏｆｔｈｅｃｌｕｓｔｅｒ．ＨｅｎｃｅｉｔｉｓｃｒｕｃｉａｌｔｏｓｔｕｄｙａｎｄｏｐｔｉｍｉｚｅｔｈｅＪｏｂＳｃｈｅｄｕｌｅＡｌｇｏｒｉｔｈｍｏｆＨａｄｏｏｐ．Ｔｈｉ