hadoop集群配置范例及问题总结

《hadoop集群配置范例及问题总结》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、HADOOP-0.20.203.003.0分布式集群配置硬件环境1.虚拟机VMWareWorkstation2.两台机器均安装ubuntull,采用桥接模式，需要两个物理ip地址，下血用192.168.1.100和192.168.1.101代替，NAT模式无法实现ubuntu内ping通主机3.javajdkl.6.0_314.namenode：192.168.1.100namenodedatanode：192.168.1.101datanode注意：三台机器dns和默认网关必须一致。登陆密码一致

2、最好。而且务必三台机器互相ping通主机，即主机名和ip解析正确。若ping不通，修改/etc/hosts文件，使用sudovi/etc/hosts命令，设置如下(namenode)：192.168.1.100namenode192.168.1.101datanodeDatanode(datanode)的设置为:192.168.1.100namenode192.168.1.101datanode木集群将namenode和jobtracker设置成一台机器即namenode。在Hadoop屮，主机名

3、不要包含下划线但可以有横线否则启动hadoop吋报错:ERRORorg.apache.hadoop.hdfs.server,namenode.NameNode:java.io」OExcep廿on:IncompleteHDFSURI,nohost:hdfs://namenode:9000IncompleteHDFSURI使用hostname命令查看主机名，修改主机名：主机名存放在/etc/hostname文件中，编辑hostname文件，在文件中输入新的主机名并保存该文件即可。注销重新登录。本集群在

4、Root用户下安装配置ssh安装ssh：sudoapt-getinstallopenssh-serveropenssh-client,若以安装，继续以下步骤开启命令：servicesshrestarto必须配置SSH使用无密码公钥来进行免密码登陆各个节点。本集群设置如下：在namenode节点上根冃录下执行：[root@namenoderoot]$ssh-keygen-trsa一路回车，遇到y/n选择y。即在默认目录下/root/.ssh/生成id_rsa和id_rsa.pub2个文件,第一个为私

5、钥,第二个为公钥。[root@namenoderoot]$cd.ssh进入.ssh目录下,将id_rsa.pub复制给authorized_keys文件,并给予权限。[root@namenoderoot]$cpid_rsa.pubauthorized_keys[root@namenoderoot]$chmod644authorized_keys测试sshlocalhost和sshnamenode,若成功,则可免密码登陆，退出命令exit。注意务必要exit,否则多层嵌套，会晕。在datanode±

6、根目录下建立.ssh文件夹并给予权限[root@datanoderoot]$mkdir.ssh[root@datanoderoot]$chmod755.ssh[root@datanoderoot]$cd.ssh然后将namenode中的公钥远程复制给datanode,需要密码（yes,密码）[root@namenode.ssh]$scpauthorized_keysroot@namenode:/root/.ssh并且进入datanode给予权限：[root@datanode.ssh]$chmod6

7、44authorized_keys下而可以通过SSH命令试试是否可以无密码登陆。最好先重新启动下命令：[root@namenoderoot]$servicesshdrestart[root@namenoderoot]$sshdatanode如果可以无密码登陆，即成功！各datanode免密码登陆namenode将各个datanode上的id_rsa.pub追加到namenode的authorized_keys在所有datanode上依次执行如下命令：scpid_rsa.pubnamenode:/r

8、oot/.ssh/datanodeip地址.id_rsa.pubsshnamenode如果可以无密码登陆，即成功！exit退出。Ssh主机名时,错误:Agentadmittedfailuretosignusingthekey.解決办法:应用ssh-add指令將私钥加进來ssh-add.ssh/id_rsa出现sshlocalhost死活都无法免密码登陆，检查各级目录文件的权限，注意root目录权限chmod755.（或者更严格）chmod755・sshchmod644.ssh/au