基于弹性云计算的开源海量数据处理平台 毕业论文

《基于弹性云计算的开源海量数据处理平台 毕业论文》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、西安邮电大学毕业设计（论文）题目：基于弹性云计算的开源海量数据处理平台院（系）：计算机学院专业：软件工程班级：软件0901学生姓名：导师姓名：职称：教授起止时间：2012年9月17日至2013年5月31日毕业设计（论文）诚信声明书本人声明：本人所提交的毕业论文《基于弹性云计算的开源海量数据处理平台》是本人在指导教师指导下独立研究、写作的成果，论文中所引用他人的文献、数据、图件、资料均已明确标注；对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式注明并表示感谢。本人完全清楚本声明的法律后果，申请学位论文和资料若有不实之处，本人愿承担相应的法律责任。论文作者签名：时间：年月日指导教

2、师签名：时间：年月日西安邮电大学毕业设计(论文)任务书学生姓名指导教师李晓戈职称教授院(系)计算机学院专业软件工程题目基于弹性云计算的开源海量数据处理平台任务与要求1.分析研究亚马逊弹性MapReduce平台构架。2.运用云计算开源技术框架，搭建动态虚拟的云计算环境。3.运用hadoop开源技术；安装制作hadoop虚拟服务器模板。4.运用wordCount算法进行mapreduce海量文本数据测试。开始日期2012年9月17日完成日期2013年5月31日院（系）主任(签字)2012年9月20日西安邮电大学毕业设计(论文)工作计划学生姓名______指导教师_李晓戈___职称___教授

3、院（系）____计算机学院_________专业____软件工程题目基于云计算的开源海量数据处理平台_______________________________________________________工作进程起止时间工作内容2012.9.17——2012.11.1查阅资料文献，完成开题报告2012.11.2——2012.12.1阅读了解hadoop亚马逊弹性MapReduce平台架构。2012.12.2——2013.02.1搭建多节点的hadoop,并研究相关算法，实施方案2013.02.2——2013.03.1提交中期汇报表，编写代码2013.03.2——2013.04.1

4、进行测试，分析结果2013.04.2——2013.05.31编写论文，修改装订主要参考网站1，http://aws.amazon.com/elasticmapreduce/2，http：//www．Cloudera.com/products-services/enterprise/3http://support.citrix.com/servlet/lbservlet/download/18052-102-19049/installation.pdf4，HadoopClusterSetup主要仪器设备及材料服务器4台，PC机论文(设计)过程中教师的指导安排每两周学生提交进度报告，并开会

5、讨论。对计划的说明西安邮电大学毕业设计(论文)开题报告计算机院（系）软件工程专业09级01班课题名称：基于弹性云计算的开源海量数据处理平台学生姓名：学号：04095004指导教师：李晓戈报告日期：2012年11月5日1．本课题所涉及的问题及应用现状综述当今时代，互联网高速发展，上网人群急剧上升，必然会出现信息大爆炸。对提供网络服务的互联网公司来说，这些海量信息的存储，实时处理，数据检索，数据挖掘与智能应用等信息处理能力将面临新的挑战。技术架构也迫切需要以动态可伸展为特点的支持海量数据处理的新的存储计算模式。这种存储计算模式因为弹性可伸缩的特性，现在受到谷歌，亚马逊、IBM等为代表的众多

6、高科技公司的重视，成为各公司应对海量数据处理的利器。比如说，应用在线服务托管领域的亚马逊弹性云，Zoho在线办公，著名的谷歌搜索等。本文的主要目的是构建一个分布式海量数据处理系统来存储和处理这些数据。2．本课题需要重点研究的关键问题、解决的思路及实现预期目标的可行性分析搭建开源EMR系统。利用XenServer/XenCenter搭建开源EMR系统，在XenServer上安装三台虚拟机，一个充当NameNode,两个充当DataNode。然后在该系统上运行wordcount作为测试。分析亚马逊EMR架构。在亚马逊平台上免费注册一个账号，然后先体验下亚马逊的EC2。然后分析和我所搭建的E

7、MR系统做一些异同点的分析。分析EMR计算模式的优势，并用具体的实例数据证明EMR计算模式的优势。在单机上运行某个大数据应用。然后将相同的应用放在hadoop上运行，然后分析一些计算机的性能。3．完成本课题的工作方案2012.9.17——2012.11.1查阅资料文献，完成开题报告2012.11.2——2012.12.1阅读了解hadoop亚马逊弹性MapReduce平台架构。2012.12.2——2013.02.1搭建多节点的hadoop,并