hdfsmapreducehive十分钟快速入门

《hdfsmapreducehive十分钟快速入门》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、HDFS+MapReduce+Hive十分钟快速入门HDFS+MapReduce+Hive十分钟快速入门一见2009-8-191.前言本文的目的是让一个从未接触Hadoop的人，在很短的时间内快速上手，掌握编译、安装和简单的使用。2.Hadoop家族截止2009-8-19日，整个Hadoop家族由以下几个子项目组成：成员名用途备注HadoopCommonHadoop体系最底层的一个模块，为Hadoop各子项目提供各种工具，如：配置文件和日志操作等。AvroChukwaHBaseBigtable的实现HDFS分布式文件系统Hive定位于数据仓库，提供类SQL接口

2、HQLMapReduce实现了MapReduce编程框架PigZooKeeper3.演练环境3.1.操作系统SuSE10，Linux2.6.16，32位版本。3.2.HadoopHive通过SVN直接从网上下载原代码，其它采用hadoop-0.20.0.tar.gz二进制安装包，所以只需要编译Hive。另外，请注意要下载2008-8-19号之前的Hive，2008-8-19提交的Hive版本在hadoop-0.20.0.tar.gz上编译通不过，原因是：Hive源代码根目录qlsrcjavaorgapachehadoophiveqlexec

3、FileSinkOperator.java文件中多了一行：8HDFS+MapReduce+Hive十分钟快速入门importorg.apache.hadoop.io.compress.LzoCodec;1.1.Hive在0.20.0版本的Hadoop二进制安装包中，并没有集成Hive，所以Hive需要自己编译，编译时需要使用到ant和ivy两个工具，而且依赖于Hadoop。1.2.Java运行Hadoop和编译Hive，都需要使用到Java，所以需要第一个安装的是Java。1.3.机器演练时，在3台机器上搭建Hadoop集群，假设这3台机器如下表所示：机器名机

4、器IP用途Hadoop-A192.168.0.1用作MasterHadoop-B192.168.0.2用作SlaveHadoop-C192.168.0.3用作Slave注意事项：机器名中不能包括下划线“_”，但可以包括横线，可以使用不带参数的hostname来查看机器名，修改机器名方法为：hostname机器名，如：hostnameHadoop-A。1.4.安装列表安装说明Java1.6A、B和C三台机器都需要安装Hadoop0.20.0A、B和C三台机器都需要安装Hive只需要在B和C两台机器上安装，也就是Slave机器不需要安装ant只需要在B和C两台机器

5、上安装，也就是Slave机器不需要安装ivy只需要在B和C两台机器上安装，也就是Slave机器不需要安装注意事项：为求简单所有操作均以root用户完成，实际上可以使用非root用户，但环境变量就不能直接在/etc/profile文件中添加了。1.5.安装路线8HDFS+MapReduce+Hive十分钟快速入门1.配置ssh2和修改/etc/hosts需要在所有机器上配置ssh2和修改/etc/hosts。1.1.配置ssh21)mkdir~/.ssh22)cd~/.ssh23)ssh-keygen2-trsa4)echo"IdKeyid_rsa_2048_a

6、">identification5)echo"keyid_rsa_2048_a.pub">authorization1.2.修改/etc/hosts1)在/etc/hosts文件中增加如下三行：192.168.0.1Hadoop-A192.168.0.2Hadoop-B192.168.0.3Hadoop-C并根据上述关系，使用hostname命令修改三台机器的机器名。2.安装Java1)从http://www.java.com/zh_CN/download/manual.jsp下载jre，请注意是Java1.6版本，原因是Hadoop和Hive使用到了模板等特

7、性2)下载“Linux（自解压文件）”这个版本的jre，如下图所示3)将下载的Java二进制安装包jre-6u15-linux-i586.bin上传到/usr/local目录4)为jre-6u15-linux-i586.bin文件增加可执行权限：chmod+xjre-6u15-linux-i586.bin5)运行jre-6u15-linux-i586.bin：./jre-6u15-linux-i586.bin6)用户协议接受，选择yes7)安装成功后，在/etc/profile增加如下一行：exportPATH=/usr/local/jdk/bin:$PATH

8、8HDFS+MapReduce+Hiv