Hadoop云计算平台搭建方案2..doc

《Hadoop云计算平台搭建方案2..doc》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、..Hadoop云计算平台搭建方案一、平台搭建概述1.1总体思路针对于电网企业在营销服务领域展开的大数据分析处理，搭建Hadoop云计算平台进行海量数据存储，并作深层次加工、处理，挖掘出无法简单直观便可得到的新的模式，为电力企业的决策提供指导。平台采用Hadoop-2.2.0作为海量数据存储和分析工具，将其部署在4个物理计算机节点上，搭建Hadoop集群，其中1个节点作为master节点，其余3个作为slave节点。为了获取更好的稳定性，平台搭建在Linux系统（ubuntu-14.04-desktop-i386）环境下。1.2软件列表软件描述版本VMwareWo

2、rkstation虚拟化软件VMwareWorkstation10.0.2.46408UbuntuLinux操作系统ubuntu-14.04-desktop-i386JDKJava的软件开发工具包jdkl.8.0_20Hadoop开源的云计算基础框架Hadoop-2.2.0HBase分布式数据存储系统Hbase-0.96.2ZookeeperHadoop可靠协调系统Zookeeper-3.4.5Sqoop数据迁移工具Sqoop-1.99.31.3平台搭建总流程和节点信息一览表.w..在平台搭建前，给出实现的总流程图和节点信息一览表，从而对平台搭建过程和各节点信息有

3、一个全局的认识，平台搭建总流程如下图所示。创建虚拟机master，完成JDK、Hadoop等应用的安装和配置对虚拟机master进行克隆，得到的虚拟机分别作为slave1、slave2和slave3完成Zookeeper、HBase等其它分布式服务的部署，搭建Hadoop集群运行并测试Hadoop集群系统各节点信息如下表所示：机器名IP地址用户名充当角色master172.19.17.102hadoopJobTracker、Namenodeslave1172.19.17.104hadoopTaskTracker、Datanodeslave2172.19.17.10

4、5hadoopTaskTracker、Datanodeslave3172.19.17.106hadoopTaskTracker、Datanode二、基础平台的搭建步骤.w..此次大数据存储和处理平台的搭建，需要4台物理节点来部署Hadoop平台环境。我们使用虚拟机软件VMwareWorkstation创建4台虚拟机，承载平台搭建工作。另外，由于对4台虚拟机的配置大部分是相同的，所以利用VMwareWorkstation的克隆功能，可以减少部署的工作量。2.1安装虚拟机软件VMwareWorkstation首先在4台PC机器上均安装虚拟化软件VMwareWorkst

5、ation，并输入相应的序列号。2.2在master节点上安装Linux系统Ubuntu在设定为masterPC节点上首先安装Linux系统（版本为ubuntu-11.04-desktop-i386），在安装过程中为提高后期安装软件的兼容性和稳定性，在系统语言上选择英语。创建用户名为“hadoop”的普通用户，设置统一的密码。安装完成后将系统的terminal命令窗口调出来，以便使用。同时，为实现虚拟机的Ubuntu系统与本机的Windows系统之间方便快捷的文字复制粘贴以及物理主机系统与虚拟机系统相互拖放文件进行共享，需要安装VMareTools工具，具体操作如

6、下：启动虚拟机，进入Ubuntu系统，在VM菜单栏“虚拟机(M)”的下拉菜单点击“安装VMareTools(T)”后，会弹出一个“VMareTools”文件夹，里面包含VMareTools的安装包VMwareTools-9.6.2-1688356.tar.gz，将该安装包拷贝到/home/hadoop目录下，输入命令进行解压安装：tarxzvfVMwareTools-9.6.2-1688356.tar.gz此时在/home/hadoop/目录下产生vmware-tools-distrib文件夹，进入该目录，通过在terminal终端输入相应命令，运行vmware-

7、install.pl脚本：cd/home/hadoop/vmware-tools-distrib//进入目录sudo./vmware-install.pl//执行vmware-install.pl脚本按提示多次“回车”直至显示安装成功的信息，再重启系统即可。.w..在完成上述操作后，为保障Hadoop集群各节点之间的无障碍通信，需关闭系统防火墙。在重启系统后，在terminal终端输入命令：sudoufwdisable当显示“Firewallstoppedanddisableonsystemstartup”时表示防火墙已关闭，若后续服务部署过程中机器重启无法实现节

8、点之间的相