cdh510hadoop-23(23)0完全分布式集群配置及ha配置

《cdh510hadoop-23(23)0完全分布式集群配置及ha配置》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、Hadoop-2.3.0-cdh5・1.0完全分布式集群配置及HA配置(冰峰)方式:2个master+3个slavehadoop-2.3.0-cdh5.1.0完全分布式集群配置HA配置重点说明：为了部署HA集群，应该准备以下事情：*NameNode服务器：运行NameNode的服务器应该有相同的硬件配置。*JournalNode服务器：运行的JournalNode进程非常轻量，可以部署在其他的服务器上。注意：必须允许至少3个节点。当然可以运行更多，但是必须是奇数个，如3、5、7、9个等等。当运行N个节点时，系统可以容忍至少(N-1)/2个节点失败而不影响正常运行。一、安装前准备：

2、操作系统：CentOS6.564位操作系统环境：jdkl.7.0_45以上，本次采用jdk-7u72-linux-x64.tar.gzmaster1192.168.100.151namenode节点master2192.16&100.152namenode节点slave1192.168.100.153datanode节点slave2192.168.100.154datanode节点slave3:192.168.100.155datanode节点注：Hadoop2.0以上采用的是jdk环境是1.7,Linux自带的jdk卸载掉，重新安装下载地址：http://www.oracle.

3、com/technetwork/java/javase/downloads/index.html软件版本：hadoop-2.3.0-cdh5.1.0.tar.gz,zookeeper-3.4.5-cdh5.1.0.tar.gz下载地址：http://archive.cloudera.eom/cdh5/cdh/5/开始安装：二、jdk安装1、检查是否自带jdkrpm-qa

4、grepjdkjava-1.6.0-openjdk-1.6.0.0-1.45.1.11.1.el6.i6862^卸载自带jdkyum-yremovejava-1.6.0-openjdk-1.6.0.0-1.45.

5、1.11.1.el6.i686安装jdk-7u72-linux-x64.tar.gz在usr/目录下创建文件夹java,在java文件夹下运行tar-zxvfjdk-7u72-linux-x64.taigz解压到java目录下[root@masterOIjava]#Isjdkl.7.0_72三、配置环境变量远行vi/etc/profile#/etc/profile#Systemwideenvironmentandstartupprograms,forloginsetup#Functionsandaliasesgoin/etc/bashrcexportJAVA_HOME=/usr

6、/local/java/jdk1,7.0_65exportJRE_HOME=/usr/local/java/jdkl.7.0_65/jreexportCLASSPATH=/usr/local/java/jdk1.7.0_65/libexportPATH=$JAVA_HOME/bin:SPATH保存修改，运行source/etc/profile重新加载环境变量运行java・versionfroot@master()ljava]#java-versionjavaversion”1.7.0_72”Java(TM)SERuntimeEnvironment(build1.7.0_72-bl

7、3)JavaHotSpot(TM)64-BitServerVM(build24.55-b03,mixedmode)Jdk配置成功四、系统配置预先准备5台机器，并配置IP,以下是我对这5台机器的角色分配。ip地址主机名NameNodeJoumalNodeDataNodeZKHMsterHRegionServer192.168.100.151Master!是［主］是是是192.16&100」52Master2是［从］是192.168.100.153Slave1是是是是192.16&100」54Slave?是是是是192.16&100.155Slave3是是是journalnode共享

8、文件集群，这个配置要注意,保证是奇数个子节点，具体在哪儿台无关ZooKeeper保证是奇数个子节点，具体在哪儿台无关关闭防火墙chkconfigiptablesoff(永久性关闭)配置主机名和hosts文件[root@master01java]#vi/etc/hosts127.0.0.1localhostlocalhost.localdomainlocalhost4localhost4.localdomain4::1localhostlocalhost.localdomainlo