基于mapreduce的分布式计算系统的设计与实现

《基于mapreduce的分布式计算系统的设计与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号：ＴＰ３１１．５单位代码；１０１８３：研究生学号；２０１３５３Ｒ２０２密级公开參吉林大学硕女举位论文—专他学ｔｆｃ（）基于ＭａｐＲｅｄｕｃｅ的分布式计算系统的设计与实现ＴｈｅＤｅｓｉｎＡｎｄＩｍｐｌｅｍｅｎｔａｔｉｏｎＯｆＡＤｉｓｔｒｉｂｕｔｅｄｇＣｏｍｐｕｔｉｎｇＳｙｓｌｉｅｍＢａｓｅｄＯｎＭａｐＲｅｄｕｃｅ作者姓名：都迪类别：工程硕壬领域：（方向）软件工程指导教师；赵阔副教授培养单位：软件学院２０１６年１２月基于MapRed

2、uce的分布式计算系统的设计与实现TheDesignAndImplementationOfADistributedComputingSystemBasedOnMapReduce作者姓名：郗迪领域（方向）：软件工程指导教师：赵阔副教授类别：在职工程硕士答辩日期：2016年月日1119未经本论文作者的书面授权，依法收存和保管本论文书面版本、电子版本的任何单位和个人，均不得对本论文的全部或部分内容进行任何形式的复制、修改、发行、出租、改编等有碍作者著作权的商业性使用（但纯学术性使用不在此限）。否则，应承担侵权的

3、法律责任。吉林大学硕±学位论文原创性声明本人郑重声明：所呈交的硕±学位论文，是本人在指导教师的指导下，独立进行研究工作所取得的成果。除文中已经注明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的作品成果。对本文的研巧做出重要贡献的个人和集体，均己在文中明确方式标明。本人完全意识到本声明的法律结果由本人承担。学位论文作者签名：日期：２０１６年１２月０６日摘要基于MapReduce的分布式计算系统的设计与实现在传统的序列化的计算模型中，一个任务的执行往往要等待该任务之前的任务

4、的完成，这样的计算模型既浪费机器又浪费时间。所以不久之后，计算机科学领域提出了多进程，多线程，多协程协作计算的概念，也即并发计算模型，极大地提高了计算机计算的效率。尤其是在计算机有多个CPU，或者一个CPU有多个核的情况下，并发计算模型可以同时调用多个CPU协作计算完成任务，即使单核单CPU，也可以依赖于线程或者进程间的上下文切换，来调度多个计算任务，分片执行，这样一些只需要很短时间可以完成计算的任务就不需要等待很长时间。但是随着数据量的增长，即使是单机的并发计算模型，也不能满足数据计算性能的要求，所以分布式计算变得异常

5、火热。分布式计算就是多个计算机协作完成，同单机并发计算模型类似，只不过并发的多个进程或者线程分布在多台计算机上，每个计算机即是一个计算节点，协作计算一个，或者多个计算任务。分布式计算，可以把数据分片，然后将数据分散到多个不同的机器上，对数据分段分组进行求解，最后合并求解结果得到最终的解。MapReduce就是这样一个分布式的计算模型，MapReduce常用来并行计算大规模海量数据，它把数据划分到大量的机器上去进行计算，也就是分组和归并计算。本文设计实现了一个基于MapReduce的高性能，易扩展，且负载均衡的分布式计算系

6、统，论文所做的工作包括：1.设计实现了分布式计算系统的整体架构，包括主结点（Master）I模块，计算节点（Agent）模块，和程序驱动节点（Driver）模块。2.设计实现了分布式计算系统的资源管理模块，资源管理模块包括实时更新分布式计算系统的资源分布信息，各个应用的资源利用信息，及对不同应用间资源的负载均衡。3.设计实现了分布式计算系统的任务调度模块，任务调度模块负责具体任务的管理及计算，将逻辑关系紧密的任务串起来。最后本文对分布式计算系统的计算性能进行了简单的测试，并对分布式的计算系统的表现做了一些分析，说明了分布

7、式的计算系统的高效性。关键词：分布式计算，资源管理，流处理，任务调度，负载均衡IIAbstractTheDesignAndImplementationOfADistributedComputingSystemBasedOnMapReduceInthetraditionalsequencecalculationmodels,oneoftenhastowaitthetaskbeforeitsprevioustaskhascompleted,thismodelwouldbeawasteofthemachineandalsoth

8、etime.Soonafter,computersciencemadeanumberofprocessesinthisfield,multiplethreads,coroutineshasemerged.Thesearetheconcurrentcomputationmodel,greatlyimprovesthee