基于hadoop的云平台设计与实现

《基于hadoop的云平台设计与实现》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、为了确保“教学点数字教育资源全覆盖”项目设备正常使用，我校做到安装、教师培训同步进行。设备安装到位后，中心校组织各学点管理人员统一到县教师进修学校进行培训，熟悉系统的使用和维护。基于Hadoop的云平台设计与实现　　摘要：Hadoop是一个免费、可靠、高效、可扩展的开源云平台，允许在分布式集群上处理大数据的软件框架。本文以Hadoop为基础，详细介绍了虚拟机VMware、JDK、CentOS、Hadoop等技术。在伪分布式环境下搭建虚拟云平台，经过测试，本系统能正常运行MapReduce化的分布式程序

2、，本文还针对用户权限、路径配置和使用SSH服务程序等问题进行了详细的阐述，为基于Hadoop的云平台研究和应用程序开发提供了基础。　　关键词：Hadoop；MapReduce；云平台搭建　　中图分类号：TP393文献标识码：A　　Abstract：Hadoopisafree，reliable，efficientandscalableopensourcecloudplatform，whichallowsthesoftwareframeworktodealwithlargedataonadistribut

3、edcluster.BasedonHadoop，thispaperintroducesthetechnologyofCentOS，JDK，HadoopandVMwareinvirtualmachine.Virtualcloudplatformisbuiltinthepseudodistributedenvironment.Aftertesting，thesystemcanruntheMapReduceorienteddistributedprogram.Thispaperalsoprovidesaba

4、sisfortheresearchoftheSSHbasedcloudplatformandapplicationprogrambasedonHadoop.为了充分发挥“教学点数字教育资源全覆盖”项目设备的作用，我们不仅把资源运用于课堂教学，还利用系统的特色栏目开展课外活动，对学生进行安全教育、健康教育、反邪教教育等丰富学生的课余文化生活。为了确保“教学点数字教育资源全覆盖”项目设备正常使用，我校做到安装、教师培训同步进行。设备安装到位后，中心校组织各学点管理人员统一到县教师进修学校进行培训，熟悉系统

5、的使用和维护。　　Keywords：Hadoop；MapReduce；Constructthecloudcomputingplatform　　0引言　　随着互联网时代信息与数据的飞速增长，科学、工程和商业等研究领域均需要处理大规模以及超大规模的数据，对计算能力的需求已远远超出自身系统架构的承载运行限度。云计算是分布式计算、并行处理和网格计算的进一步发展，是基于互联网的计算，能够向各种互联网应用提供基础架构服务、硬件服务、软件服务、平台服务、存储服务，这就意味着计算可以作为一种商品实现流通，不仅使用方便

6、，费用也相对低廉[1]。此外，由于传统并行编程模型应用的设计局限，客观上需要一种容易学习、使用和部署的编程框架，而Hadoop就是一个优秀的大数据处理框架，性能表现高效稳定，非常适合选择作为云计算的基础架构。　　1相关技术介绍　　Hadoop是一个可运行在大量低配硬件设备上的分布式计算框架，并且能为其中的应用程序提供可靠的接口，构建扩展性好、可靠性强、具有良好可移植性的分布式系统[2]。Hadoop云平台主要包括：HDFS分布式文件系统、MapReduce编程模型、HBase数据库和Zookeeper

7、分布式应用程序协调服务。这刚好与Google核心技术GFS、MapReduce和BigTable类似。为了充分发挥“教学点数字教育资源全覆盖”项目设备的作用，我们不仅把资源运用于课堂教学，还利用系统的特色栏目开展课外活动，对学生进行安全教育、健康教育、反邪教教育等丰富学生的课余文化生活。为了确保“教学点数字教育资源全覆盖”项目设备正常使用，我校做到安装、教师培训同步进行。设备安装到位后，中心校组织各学点管理人员统一到县教师进修学校进行培训，熟悉系统的使用和维护。　　分布式文件系统HDFS　　Hadoo

8、p分布式文件系统可以将信息存储在具有不同节点的设备中。具体由2部分组成，分别是：名称节点NameNode和数据节点DataNode，NameNode相当于管理者，全面管理集群内的DataNode，当用户发送请求信息后，NameNode会根据情况指定存储到哪些DataNode上，而并不存储真实的数据。原理工作流程如图1所示。　　HDFS在执行读或写的过程中，NameNode和DataNode通过心跳信息保存通信，确定DataNode不是宕机。如果发现Dat