基于Hadoop建立云计算系统

《基于Hadoop建立云计算系统》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第28卷第3期贵州大学学报(自然科学版)Vol．28No．32011年6月JournalofGuizhouUniversity(NaturalSciences)Jun．2011文章编号1000－5269(2011)03－0091－03基于Hadoop建立云计算系统＊1，2*1陈俊，陈孝威(1．贵州大学计算机科学与信息学院，贵州贵阳550025;2．贵州师范大学教育科学学院，贵州贵阳550001)摘要:云计算是2007年底正式提出的一个新概念，本文分析了云计算的特征和Hadoop的作用地位．针对Hadoop这样一个在

2、集群上运行大型数据库处理应用程序的开放式源代码框架进行了云计算平台的实现，并进行了实验验证。关键词:Hadoop;云计算;MapReduce;HDFS中图分类号:TP393文献标识码:A云计算于2006年由Google提出的，展现规划群节点上执行。了一个美丽的网络应用模式。随后亚马逊、微软、Hadoop的优点在于:惠普、雅虎、英特尔、IBM等公司都宣布了自己的1)可扩展:不论是存储可扩展还是计算可扩“云计划”。云计算一词用来同时描述一个系统平展都是Hadoop的设计根本，Hadoop的扩展非常简台或者一种类型的应用

3、程序。一个云计算的平台单，不需要修改任何已有的结构。按需进行动态地部署、配置、重新配置以及取消服2)经济:其框架可运行在任何廉价PC上，对务等。建立在云计算平台上的服务器可以是物理硬件没有特殊的要求。服务器或虚拟服务器。云计算平台利用虚拟机作3)可靠:分布式文件系统的备份恢复机制及为服务器可进行在线迁移实现虚拟机和物理资源MapReduce的任务监控保证了分布式处理的可靠的重映射，从而动态地实现整个系统的负载均衡避性，Hadoop默认提供1个以上备份。免产生资源热点。在云计算模型的基本结构当中，核心部分是由多台计算

4、机组成的服务器“云”。它4)高效:分布式文件系统高效数据交互实现将资源聚集起来，从而形成一个大的数据存储和处及MapReduce结合LocalData处理的模式，为高效理中心。由服务器中的各种配置工具来支持“云”处理海量信息打下基础。端的软件管理、数据收集和处理。服务器根据用户Hadoop由三个相对独立，而又相辅相成的软客户端提交的数据请求处理数据、返回检索结果。件构造:按照服务的分类，来实现监控和测量，保证服务的(1)HadoopCore，是Hadoop的核心，提供了质量，合理地分配资源，达到资源效益的最大化。一

5、个分布式文件系统(HDFS)，并支持MapReduce最终，实现海量数据的存储和超级计算能力。分布式计算框架。Hadoop是一个在集群上运行大型数据库处理(2)Hbase，构造在HadoopCore之上，提供一应用程序的开放式源代码框架。它支持通过个可扩展、分布式的数据库系统。Google的MapReduce编程范例来创建并执行的应(3)ZooKeeper，是一个高可用、高可靠协同工用程序，在很多大型网站上都已经得到了应用，可作系统，分布式程序可以用ZooKeeper保存且更新以说是目前应用最为广泛的开源云计算软件

6、平台。关键共享状态。1Hadoop框架Hadoop框架用于实现MapReduce算法，能把2安装HadoopTM应用程序分割成许多很小的工作单元，可在任何集Hadoop的安装与运行需要首先安装Java1．*收稿日期:2011－03－20基金项目:贵州大学博士生创新基金(省研理工2010006)作者简介:陈俊(1979－)，男，贵州贵阳人，博士研究生，贵州师范大学讲师，研究方向:网络技术，Email:starcraft－cj@163．com．*通讯作者:陈俊，Email:starcraft－cj@163．com．·9

7、2·贵州大学学报(自然科学版)第28卷5．x或以上版本。其次ssh亦需要安装，且每次系护进程。因此ssh的设置是Hadoop部署中很重要统启动时sshd服务必须设置为自动启动。Ubuntu的一环。为了不需要用户每次在节点之间执行指用户可用下面命令自动下载并安装:令时输入密码，因此我们配置了ssh让之采用无密$sudoapt-getinstallssh码公钥认证的方式来登录并保证所有的机器都安$sudoapt-getinstallrsync装了ssh服务器，且已启动sshd服务。其他Linux版本的用户可以下载ope

8、nssh并按完成ssh服务配置之后，需要修改Hadoop相其说明步骤安装。关配置文件，具体步骤如下:注意如果希望运行在Windows平台上，则必须(1)打开node1节点的/home/mapred/hadoop-安装Cygwin，之后再安装openssh包。install/hadoop-config/hadoop_env．sh，修改其中JA-由于Hadoop