分布式系统Hadoop作业.doc

《分布式系统Hadoop作业.doc》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、分布式系统Hadoop实践报告实践分工：1.Hadoop简介Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，HadoopDistributedFilesystem）和MapReduce（GoogleMapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。2.Hadoop环境搭建Hadoop的三种模式:l本地模式：本地模拟实现，不使用分布式文件系统；l伪分布式模式：5个进程在一台主机上启动，一般开发人员调试hadoop程序使用；l完全分布式模式：至少3个结点，JobTracker和NameNode在

2、同一台主机上，secondaryNameNode一台主机，DataNode和Tasktracker一台主机。由于条件有限，本实验采用伪分布式模式。windows7（64bit，memory8G）环境下利用vmware创建一个Linux虚拟机做主节点，然后复制两个Linux虚拟机做从节点。Hadoop实验环境:共3台测试机，1台namenode ,2台datanode lOS版本：CentOS6.5（64bit）lHadoop：2.2.0lJdk：jdk1.7.0 2.1JDK环境变量设置1.cdetc进入此目录1.viprofile编辑配置文件2.加入如下配置exportJAVA_HOME=/

3、usr/lib/jvm/java-7-openjdk-i386exportJRE_HOME=/usr/lib/jvm/java-7-openjdk-i386/jreexportCLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATHexportPATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH3.保存保存后，执行sourceprofile刷新配置文件。4.如果已安装JDK，查看JDK路径再配置。查看JDK的安装路径及版本。whereisjavawhichjava2.2修改主机名，IP地址映射1.主机、IP地址映射IP主机

4、名用户名密码192.168.60.136masterroot123456192.168.60.137slave1root123456192.168.60.138slave2root1234561.2.查看IP地址1.3.修改主机名1.2.1.2.3.4.Ip，主机地址映射2.3准备3个节点Jdk，SSH，IP地址映射完成后，可以进行节点复制。这样可节省工作量。将主机master复制两份，分别命名为slave1,slave2。一个主节点，二个子节点1、复制的节点，要修改主机名，其它的不用改。1.4配置免登录2.4.1配置master免登录1.配置1)使用命令ssh-keygen一路回车，密码也输

5、入空的就行了。2)查看生成的文件id_rsa.pub为公钥，id_rsa为私钥，紧接着将公钥文件复制成authorized_keys文件，这个步骤是必须的，过程如下：执行命令cat/root/.ssh/id_rsa.pub>>/root/.ssh/authorized_keys生成文件authorized_keys2.测试master自身免登录1)执行命令sshmaster无需输入密码，可直接进入。2.4.2配置slave1免登录1.配置cat/root/.ssh/id_rsa.pub>>/root/.ssh/authorized_keys2.测试slave1自身免登录2.4.3配置slave

6、2免登录1.配置cat/root/.ssh/id_rsa.pub>>/root/.ssh/authorized_keys2.测试slave2自身免登录2.4.4配置master免登录slave1slave2为了实现这个功能，两个slave结点的公钥文件中必须要包含主结点的公钥信息，这样当master就可以顺利安全地访问这两个slave结点了。操作过程如下：1.配置slave11.配置slave21.关闭3台机器的防火墙2.5配置Hadoop环境1.找到配置文件在目录/root/hadoop-2.2.0/etc/hadoop2.配置hadoop-env.sh修改此文件找到exportJAVA_H

7、OME这一列，后面改成自己的jdk安装目录3.配置yarn-env.sh5.配置slaves6.配置core-site.xmlfs.defaultFShdfs://master:9000io.file.buffer.size<