hadoop+hbase安装手册

《hadoop+hbase安装手册》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、Hadoop+HBase安装手册1环境准备1.1准备安装介质Hadoop官网下载地址：http://www.apache.org/dyn/closer.cgi/hadoop/common/Hive官网下载地址：http://www.apache.org/dyn/closer.cgi/hive/HBase官网下载地址：http://www.apache.org/dyn/closer.cgi/hbase/1.2卸载open-java查看系统自带的已经安装的java$rpm-qa

2、grepjavajava-1.4.2-gcj-compat-1.4.2.0-40jpp.115j

3、ava-1.6.0-openjdk-1.6.0.0-1.7.b09.el5卸载自带java$rpm-e--nodepsjava-1.4.2-gcj-compat-1.4.2.0-40jpp.115$rpm-e--nodepsjava-1.6.0-openjdk-1.6.0.0-1.7.b09.el51.3安装Sun-jdk$cd/usrunzipSun-JDK$vim/etc/profileexportJAVA_HOME=/usr/jdk1.6exportPATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/binexportCLASSPAT

4、H=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASSPATH$source/etc/profile1.1编辑hosts文件将集群中所有服务器的hostname添加到hosts文件中$vi/etc/hosts1.2关闭selinux安全验证和iptables1.2.1关闭selinux安全验证$vi/etc/sysconfig/selinux修改SELINUX变量为disabledSELINUX=disabled使设置生效，不用重启机器$setenforce01.2.2关闭iptables停止服务$serviceiptablesstop

5、关闭开机启动$chkconfigiptablesoff1.3创建新用户1.3.1创建用户修改密码$useraddhd$passwdhd1.3.2集群间设置ssh无密码访问$mkdir~/.ssh$chmod700~/.ssh/在集群中所有服务器上生成密钥文件$cd~/.ssh$ssh-keygen-tdsa$cat~/.ssh/id_dsa.pub>>~/.ssh/authorized_keys$chmod600~/.ssh/authorized_keys合并所有的authorized_keys文件，并同步到所有服务器节点上。1安装Hadoop1.1解压Hadoopta

6、r包$tar-xzfhadoop-1.1.0.tar.gz1.2设置Hadoop环境变量$vi/etc/profile增加以下环境变量exportHADOOP_HOME=/home/hd/hadoop/hadoop-1.1.0exportPATH=$PATH:$HADOOP_HOME/bin生效修改$source/etc/profile1.1修改Hadoop的配置文件1.1.1配置conf/core-site.xml文件a)fs.default.name是NameNode的URI。hdfs://主机名:端口/b)hadoop.tmp.dir：Hadoop的默认临时路径，

7、这个最好配置，如果在新增节点或者其他情况下莫名其妙的DataNode启动不了，就删除此文件中的tmp目录即可。不过如果删除了NameNode机器的此目录，那么就需要重新执行NameNode格式化的命令。1.1.2配置conf/mapred-site.xml文件1.1.1配置conf/hdfs-site.xml文件a)dfs.name.dir是NameNode持久存储名字空间及事务日志的本地文件系统路径。当这个值是一个逗号分割的目录列表时，nametable数据将会被复制到所有目录中做冗余备份。b)dfs.data.dir是DataNode存放块数据的本地文件系统路径，逗

8、号分割的列表。当这个值是逗号分割的目录列表时，数据将被存储在所有目录下，不用于Namenode的冗余机制，Datanode将轮询地存储数据，所以讲Datanode的不同路径分布在不同的物理硬盘上将提升性能。c)dfs.replication是数据需要备份的数量，默认是3，如果此数大于集群的机器数会出错。d)name1、name2、data1、data2目录不能预先创建，hadoop格式化时会自动创建。1.1.2配置conf/hadoop-env.sh文件增加JAVA_HOME环境变量1.1.3配置masters文件配置SecondaryN