异构环境下mapreduce的算法重建与性能优化

《异构环境下mapreduce的算法重建与性能优化》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、万方数据j匕塞銮适态堂亟±童些堂僮途塞摘要随着个人计算机和互联网革命，云计算被看做第三次IT浪潮，这将改变互联网的技术基础，甚至会颠覆整个行业格局。它会在人们的生活，生产方式和商业模式上带来根本性的变化。作为开放的云计算平台Hadoop的重要组件，M印Reduce是用于处理和生成大量数据集的一种分布式和并行计算模型。MapReduce从实现细节中抽象出业务逻辑，并提供功能强大的接口供程序员使用。它可以屏蔽底层的具体实现过程，有效地降低了分布式和并行计算难度，且具备高可靠性，高扩展性，高效率，高容错性的特点。然而，由于M叩Reduce机制本身的不完美和不成熟，其有必要进一步

2、提高效率。根据对MapReduce的原理和性能指标进行分析，在异构环境中，资源调度存在不合理的问题，数据传输机制有待改进，系统参数可以进一步优化。为了提高异构环境下MapReduce处理大数据集的效率，本文提出了三方面的优化策略：自适应的可移动窗口调度算法，变更数据传输协议(从H1]m到IJl)T)和优化系统配置参数。其中，自适应的可移动窗口调度算法具备以下优点：(1)基于优先级的任务调度，根据优先级分配执行时问和系统资源；(2)考虑到集群的异构性，基于不同节点的性能分配不同的任务；(3)根据每个节点的负载水平，自动调整负载平衡，动态调整在TaskTracker上运行的任

3、务数目：(4)改进了数据本地化调度算法，提出了基于节点等待时间的数据本地化策略；(5)改进了推测执行策略和识别掉队者(s吨91er)，特别是对于慢节点可以区分是M印慢节点还是Reduce慢节点；(6)控制后备队列中的任务数，以防止任务抖动。对于数据传输协议变更，UDT减少了数据传输过程中建立连接的次数，解决了HTTP拥塞控制机制在高带宽长距离环境下的低效率问题。对于系统配置参数的优化，通过对M印任务输出的数据压缩，减少文件传输的数量和降低带宽成本；减少Reduce任务对内存需求，并设置更多的内存空间，可用于存储更多的Map任务的输出；调整的Map瓜educe任务数量比例，

4、使任务分配更加合理和高效：在Shume阶段增加c叩ier线程的数目，提高在shume阶段传输大数据的速度。最后，本文根据实际数据通过不同角度的实验方案进行了大量实验测试，对比了优化前与优化后MapReduce的性能差异。算法经过实验的验证，证明了在重建和优化之后，MapReduce的性能得到了很大地提高。关键词：云计算；Hado叩；MapReduce：调度算法；传输协议；系统参数万方数据j垦立童逼态堂亟±童些堂丝途塞△旦曼I塞△￡!ABSTRACTFoUowingmepellsonalcomp几ltcrrevo枷onandInt锄etrcVol_Inion，cloudco

5、mp埘ngisViewed舔也emirdITwave，whichwiuch趾gethetechnicalb勰isof血eInt锄et，加dcvena厅cctt11ecnHrcindlls缸ypa№m．n丽Ilb血g缸adamentalch姐gcsinlife，modeofprodu嘶on锄dbllSinessmodel．Asacorcc叩1ponentofHadoop血atisacloud叩enplatfb髓，M印Reduceisadis仃ibuted衄dparanelc伽叩utingmodelbaLsedonmappiⅡg劬c60nforprocessiⅡg趿dg衄er

6、atinglargeda：tasets．M印Reduceabs衄ctsb砸inesslo舀c缸皿i皿【pl锄enta石ondetails，柚dprovidespower叫intcm啪sforpr0铲锄mers．Itc卸shieldt11e衄derly：ingspecific抽叩lemen枷onpmcessesandreducesef!ficientlymedis劬utedandp锄llelcomputingdi伍cul哆．Andith签somefeanlres，蚰ch越highreliabili够，highscalabili哆，hi曲e历ciency，highfaultt

7、olemce．However'MapReducemech趾ismitselfisnotper尼ct趾dmatIlre，龃dneedstobeimproved也ee街ciency缸咄er．Accor血gto趾alyzingp血ciples趾dp酬融m趾ceindicatorsofMapReduce，inheterog即e01lsenvi】fo衄ents，Ⅷ睇硒onableresourcesche蛐g，纰tra璐missi阻趾dsyst锄p盯锄etersares衄Ⅲ嘶zed．IⅡordert0呻roVe也eefficiencyof