Hadoop平台下的作业调度算法研究及应用.pdf

《Hadoop平台下的作业调度算法研究及应用.pdf》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号：单位代码：安反这工犬學论文题目：平台下的作业调度算法研究及应用作者姓名：康佳专业名称：计算机技术导师姓名：方贤进教授完成时间：二—五年六月中图分类号：论文编号学科分类号：密级：公开安徽理工大学硕士学位论文平台下的作业调度算法研究及应用作者姓名：康佳专业名称：计算机技术研究方向：网络与信息安全导师姓名：方贤进教授导师单位：计筧机科学与工程学院答辩委员会主席：任良勇论文答辩日期：年月日安徽理工大学研究生处年月日ADissertationinComputerTechnologyTheResearc

2、handApplicationsofJobSchedulingAlgorithmonHadoopPlatformCandidate:KangJiaSupervisor:FangXianSchoolofComputerScienceandTechnologyAnHuiUniversityofScienceandTechnologyNo.168,ShungengRoad,Huainan,232001,P.R.CHINA独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据

3、我所知，除了文中特别加以标注和致谢的地方以外论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得安徽理工大学或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。、学位论文作者签名：庫佳日期：年月日学位论文版权使用授权书本学位论文作者完全了解安徽理工大学有保留、使用学位论文的规定，即：研究生在校攻读学位期间论文工作的知识产权单位属于安徽理工大学。学校有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本

4、人授权安徽理工大学可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。（保密的学位论文在解密后适用本授权书）学位论文作者签名：签字日期年丄日导师签名：签字日期年月上日摘要摘要随着信息进程的深入和数字设备市场的繁荣，全球产生的数据量快速增长，云计算已经成为新兴技术领域和服务领域重要的计算模式。作为云计算的开源平台提供了强大的数据处理工具，得到了企业广泛的应用和支持。平台下的作业调度算法负责支配计算集群的资源和决定作业的执行次序，釆用合适的调度算法

5、可以有效地减少作业响应时间，提高整个集群的计算效率。因此研究和优化作业调度算法对提高平台的整体性能意义重大。本文在研究和分析平台现有作业调度算法的基础上，针对调度算法在执行任务备份时没有考虑重新调度备份任务的代价问题以及对任务剩余时间推测的静态局限性，提出了基于重调度代价的算法。新算法的改进主要包括两方面：（依据任务的重调度代价决定是否执行任务备份机制，通过推测任务的重调度代价判断为落后任务执行备份机制是否有意义，确保执行任务备份可以提高作业的运行进度；（基于节点执行任务的历史信息改变计算任务剩余时

6、间的参数，通过记录节点工作的历史信息动态调整任务各阶段的时间比例，提高对任务进度和任务剩余时间估算的准确性。最后搭建实验平台，通过多次实验对比采用新算法和调度算法、算法执行不同作业的平均响应时间，验证了基于重调度代价的算法可以有效地减少作业响应时间，提高作业的执行效率。图表参关键词：云计算；；作业调度算法；重调度代价分类号：AbstractAbstractW^ththedepthoftheinformationprocessanddigitalequipmentmarketboom,theamoun

7、tofdataoftheglobalgeneratedbytherapidgrowth,cloudcomputinghasbecomeanimportantmodeloftheemergingtechnologiesandservicescomputing.ApacheHadoopasanopensourcecloudcomputingplatformprovidespowerfuldataprocessingtools,hasbeenwidelyappliedandsupportinbusines

8、s.JobschedulingalgorithmsundertheplatformofHadoopisresponsiblefordominatingthecomputationalresourceanddeterminingthejobexecutionorder,selectingtheappropriateschedulingalgorithmcanacceleratetheresponsetimeofoperationefectively，，，安徽理工大学硕士