基于mapreduce的late调度器算法的改进研究

《基于mapreduce的late调度器算法的改进研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、代号10701学号1077490427分类号TP393.03密级公开UDC编号题（中、英文）目基于MapReduce的LATE调度器算法的改进研究ResearchontheImprovementofLATESchedulingBasedonMapReduce作者姓名朱昌俊学校指导教师姓名职称王凯东副教授工程领域计算机技术企业指导教师姓名职称党宏波高工论文类型工程设计提交论文日期2013年1月西安电子科技大学学位论文独创性声明秉承学校严谨的学风和优良的科学道德，本人声明所呈交的论文是我个人在导师指

2、导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研究成果；也不包含为获得西安电子科技大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中做了明确的说明并表示了谢意。申请学位论文与资料若有不实之处，本人承担一切法律责任。本人签名：日期：西安电子科技大学关于论文使用授权的说明本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究生在校攻读学位期间论文工作的知识产权

3、单位属西安电子科技大学。学校有权保留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全部或部分内容，可以允许采用影印、缩印或其它复制手段保存论文。同时本人保证，毕业后结合学位论文研究课题再撰写的文章一律署名单位为西安电子科技大学。（保密的论文在解密后遵守此规定）本学位论文属于保密，在年解密后适用本授权书。本人签名：导师签名：日期：日期：摘要随着信息时代的快速发展，数据具有了海量、异构、多样、动态变化等特性。人们迫切需要强有力的数据分析工具从繁杂的海量数据中找到有用知识，发现其中存在的关系

4、和规则，帮助人们进行决策、研究、判定，从而带来巨大的信息价值。Map-Reduce编程模型由Google提出，是当前应用较为广泛的分布式计算框架。它将业务逻辑从复杂的底层实现细节中分离出来，该模型主要是面向海量数据的处理，与传统的并行计算模型相比，它对任务调度、数据分块、容错性等问题进行了封装，极大地简化了程序的设计。Map-ReduceJob的调度机制一直是学术研究的热点，而LATE调度器算法从某种程度上解决了现有调度器的一些问题。本文在分析LATE调度算法的基础上，结合工作集群的工作负载波动

5、性和工作数据局部性等特殊性，对LATE调度算法进行了一些改进。之后，对算法进行了实验及性能分析，验证了算法在提高资源利用率，动态调整资源分配，提高了作业的效率有很大改进。本课题考虑了节点性能波动和数据局部性，所设计的结点分配任务环节，假定了结点的性能在一定的时间内具有一定的稳定性；其对LATE调度算法做出的改进解决了原有算法的不足，增加了Map-Reduce工作效率；其提出的LATE调度算法修正思路，得到的结果具有较好的逻辑性；其提出的具体实现方案，满足了系统中的功能性和个性化需求；以此推荐技术

6、设计实现的Map-Reduce工作系统，提高了运行效率；其可能产生的效益是增加Map-Reduce的工作效能，提高作业效率。关键词：MapReduceLATE性能波动性数据局部性AbstractWiththerapiddevelopmentoftheinformationage,thedataismassive,heterogeneous,diverseanddynamicchange.Theurgentneedforpowerfuldataanalysistoolstofindusefulkn

7、owledgefromthecomplexmassdatafoundthattherelationsandruleswhichexisttohelppeoplemakedecisions,research,determination,andthusbringhugevalue.MapReduceprogrammingmodelproposedbyGoogle,isawidelydistributedcomputingframework.Thelogicofthiscomputingmodelis

8、separatedfromthecomplexitiesoftheunderlyingimplementationdetails.Themodelismainlyformassivedataprocessing.Comparedwiththetraditionalmodelofparallelcomputing,itstaskscheduling,datablock,faulttolerancepackagegreatlysimplifiesthedesignoftheprogram.Inthe