Hadoop平台计算管理节点可扩展性改进方案

《Hadoop平台计算管理节点可扩展性改进方案》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、中图分类号：UDC：学校代码：10055密级：公开高盐犬淫硕士专业学位论文Hadoop平台计算管理节点可扩展性改进方案AnImprovementSchemeofScalabilityofManagementNodeinHadoopPlatform学科专业盐篁扭堇查答辩委员会主席李庆诚培养单位信息堇盔型堂堂暄研究方向让篁扭筮』生评阅人崔丞圈4奎透南开大学研究生院二O一三年五月南开大学学位论文使用授权书根据《南开大学关于研究生学位论文收藏和利用管理办法》，我校的博士、硕士学位获得者均须向南开大学提交本人的学位论文纸质本及相应电子版。本

2、人完全了解南开大学有关研究生学位论文收藏和利用的管理规定。南开大学拥有在《著作权法》规定范围内的学位论文使用权，即：(1)学位获得者必须按规定提交学位论文(包括纸质印刷本及电子版)，学校可以采用影印、缩印或其他复制手段保存研究生学位论文，并编入《南开大学博硕士学位论文全文数据库》；(2)为教学和科研目的，学校可以将公开的学位论文作为资料在图书馆等场所提供校内师生阅读，在校园网上提供论文目录检索、文摘以及论文全文浏览、下载等免费信息服务；(3)根据教育部有关规定，南开大学向教育部指定单位提交公开的学位论文；(4)学位论文作者授权学校

3、向中国科技信息研究所及其万方数据电子出版社和中国学术期刊(光盘)电子出版社提交规定范围的学位论文及其电子版并收入相应学位论文数据库，通过其相关网站对外进行信息服务。同时本人保留在其他媒体发表论文的权利。非公开学位论文，保密期限内不向外提交和提供服务，解密后提交和服务同公开论文。论文电子版提交至校图书馆网站：http：／／202．113．20．161：8001／index．htm。本人承诺：本人的学位论文是在南开大学学习期间创作完成的作品，并已通过论文答辩；提交的学位论文电子版与纸质本论文的内容一致，如因不同造成不良后果由本人自负。

4、本人同意遵守上述规定。本授权书签署一式两份，由研究生院和图书馆留存。作者暨授权人签字：高压2013年5月11日南开大学研究生学位论文作者信息论文题目Hadoop平台计算管理节点可扩展性改进方案姓名高辰学号2120110434答辩日期2013年5月21日论文类别博士口学历硕士口硕士专!世学位√高校教师口同等学力硕士口院／系／所信息技术科学学院专业计算机技术联系电话13642159747Emancharlvgao(劢urnail．com通信地址(Sg编)：天津市南开区南开大学西南村57号楼2门104室(300071)备注：无是否批准为

5、非公开论文否注：本授权书适用我校授予的所有博士、硕士的学位论文。由作者填写(一式两份)签字后交校图书馆，非公开学位论文须附《南开大学研究生申请非公开学位论文审批表》。南开大学学位论文原创性声明本人郑重声明：所呈交的学位论文，是本人在导师指导下进行研究工作所取得的研究成果。除文中已经注明引用的内容外，本学位论文的研究成果不包含任何他人创作的、已公开发表或者没有公开发表的作品的内容。对本论文所涉及的研究工作做出贡献的其他个人和集体，均已在文中以明确方式标明。本学位论文原创性声明的法律责任由本人承担。学位论文作者签名：高辰2013年5月

6、11日非公开学位论文标注说明(本页表中填写内容须打印)根据南开大学有关规定，非公开学位论文须经指导教师同意、作者本人申请和相关部门批准方能标注。未经批准的均为公开学位论文，公开学位论文本说明为空白。论文题目申请密级口限制(≤2年)口秘密(410年)口机密(≤20年)保密期限20年月日至20年月日审批表编号批准日期20年月日南开大学学位评定委员会办公室盖章(有效)注：限制,l-2年(可少于2年)：秘密★10年(可少于10年)：机密★20年(可少于20年)摘要近年来，使用廉价计算机组成的大规模分布式集群进行高性能计算已经成为了计算机科

7、学界的研究热点。基于MapReduce编程模型的Hadoop分布式计算平台，凭借其高性能和易用性已经在许多场合得到广泛的应用。然而随着越来越多的大型Hadoop集群的建立，研究人员发现Hadoop的主／从体系结构导致的性能瓶颈在大规模集群环境中会对集群的计算能力利用率造成严重的影响。本文对Hadoop平台的工作原理进行了详细研究和实验，指出影响Hadoop集群可扩展性的关键因素在于其计算节点需要以很高的频率与管理节点进行信息交互。而管理节点的唯一性则必然在计算节点数量过多时产生性能瓶颈，影响集群中任务的分发速度，进而降低集群的计算

8、能力利用率。为了解决上述问题，本文提出并实现了一个新的系统架构：管理节点不再是唯一的，多个管理节点共同管理集群，计算节点轮流与这些管理节点进行信息交互。在对改进方案的合理性进行理论证明之后，本文还模拟大规模集群中的环境对改进系统进行了验证实验。实验