异构环境下增强自适应能力的mapreduce调度算法研究

《异构环境下增强自适应能力的mapreduce调度算法研究》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、河南理工大学学位论文原创性声明本人郑重声明：所呈交的学位论文：异构环境下增强自适应能力的MapReduce调度算法研究，是我个人在导师指导下进行的研究工作及取得的研究成果。论文中除了特别加以标注和致谢的地方外，不包含任何其他个人或集体已经公开发表或撰写过的研究成果。其他同志对本研究的启发和所做的贡献均已在论文中作了明确的声明并表示了谢意。本人愿意承担因本学位论文引发的一切相关责任。学位论文作者签名:年月日河南理工大学学位论文使用授权声明本学位论文作者及导师完全了解河南理工大学有关保留、使用学位论文的规定，即：学校有权保留和

2、向有关部门、机构或单位送交论文的复印件和电子版，允许论文被查阅和借阅，允许将本学位论文的全部或部分内容编入有关数据库进行检索和传播，允许采用任何方式公布论文内容，并可以采用影印、缩印、扫描或其他手段保存、汇编、出版本学位论文。保密的学位论文在解密后适用本授权。学位论文作者签名：导师签名：年月日年月日致谢在论文完成之际，我要感谢所有帮助过我的人，感谢她们在我工作和学习上给予的支持与关心，使我能够顺利走完研究生的三年之路。首先，我要感谢的当然是我的导师杨立身教授。在硕士学习的这段时间，杨老师从学习、生活的点点滴滴给了我很大的帮

3、助，他的惴惴教诲使我养成了刻苦学习、踏实工作的良好习惯。从最初的选题、找资料，到最终论文结稿，杨老师对我的论文写作都给出了许多十分中肯的意见和指导性方法，并且要求其每一处语句都应做到精细准确。杨老师的知识丰富、思维敏捷、敬业奉献、处处为学生考虑的高尚品质，深深地影响着我，并且在以后的工作与学习中，我也会时刻督促着自己要努力工作、勤奋敬业，这样才不会辜负老师对我的期望。在此，我对杨老师表示崇高的敬意，感谢老师不辞辛苦的指导和帮助，祝愿老师身体安康，工作顺利，阖家幸福！其次，我感谢在硕士阶段和我一起学习与生活的同学们，你们在学

4、习上给予我的鼓励和帮助，让我在这三年的研究生生活中感到温暖幸福。感谢实验室的汤永利副教授、王建芳副教授等，他们给了我学习上的很大帮助，为我解决了许多课题研究方面的困难；感谢指导我们学院研究生工作的王辉老师，以及我们的辅导员张霄宏老师，他们的辛勤工作，为我们建立了一个良好的学习环境，营造了一个轻松、友好、积极向上的学术氛围，感谢你们！回首自己的求学之路，已经是走过了将近二十年，最让我感动的当然是我的父母，他们的无私奉献，悉心照顾是我用一生都无法偿还的，他们不惜牺牲汗水和心血默默地支持我、鼓励我，使我能够不断努力地朝着自己的梦

5、想勇敢前进，他们才是我能顺利完成学业的真正动力，在此，我衷心地感谢你们！我还要感谢我的母校河南理工大学，它提供给我们一个自由的发展空间，以其“好学力行”的学风和“勤勉求实”的校训给我们提供了良好的学习氛围使得我在研究生收获颇多。最后，我还要各位专家、教授，感谢你们能够在百忙之中抽出时间来参加论文的评阅和答辩，我会在将来的工作、学习、生活中继续努力拼搏，取得优异的成绩，来回报所有帮助过我的人，感谢你们！摘要MapReduce是一个编程模型，也是一个算法模型，用于处理和生成的超大数据集的相关实现。Hadoop是MapReduc

6、e的开源实现，它不仅广泛应用于批量大作业，同时也用在处理相对低效率的短作业。然而，现有的Hadoop都是建立在虚拟的同构集群下，并使用假设条件来决定落后队列中的任务何时推测式执行，但是这种虚拟的同构在实践中却是不可行的。目前我们要解决的问题是如何高效地运行推测执行机制使系统性能最大化。本文主要研究了Hadoop默认的调度器和异构环境下LATE调度器和H-LATE调度器推测执行机制的不足。在H-LATE调度算法的基础上提出了一个增强自适应能力的KSAMR调度算法，来提高MapReduce中落后任务的重执行。为了更准确得识别慢

7、任务，该算法记录了每个节点的历史信息，采用机器学习技术K-means聚类算法将记录节点阶段进度值的历史信息划分为K个聚蔟，动态地调节阶段进度值参数，平衡节点上的负载，准确地查找慢任务。并将节点进一步分类，从而能够在快速节点上启动落后任务的备份任务，从而减小响应时间，并尽量避免节点空载，以免浪费系统资源。为了验证该算法的性能，本文搭建了Hadoop集群，并在该集群上实现KSAMR调度算法。通过大量的试验数据，对影响系统性能参数进行合理的配置。最后通过三个指标：任务阶段进度值鉴别能力、剩余时间鉴别能力、慢任务鉴别能力验证增强自

8、适应的MapReduce调度算法的有效性。试验结果表明KSAMR调度算法通过准确估计任务的执行时间并启动备份任务显著地提高了MapReduce调度算法的性能。关键词：MapReduce；推测执行；异构环境；K-means聚类算法IIIAbstractMapReduceisaprogrammingmode