sharkhivesparktachyonhadoop安装配置(网络版)

《sharkhivesparktachyonhadoop安装配置(网络版)》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、Shark,Hive,Spark,Tachyon^Hadoop安装配置（版本V1.0）2014-02-28文档修改历史版本号修改日期编写email修改内容V1.02014-02-28再哲youxin57@gmail.ocm目录（版本Vl.O）11前言31.1编写目的31.2读者对象32环境32.1环境32.2软件信息33网络和主机设置43」设置主机和网络43.2SSH无密码验证配置64安装jdk75安装hadoop85.1下载软件85.2配置hadoop85.3格式化，启动集群126安装hive136」解压hive-0.9.0.tar.gz146.2配置hive

2、141、酉己置/ctc/profile142、安装mysql146.3添加驱动156.4启动hive156.5Hive基本命令157安装Scala167.1下载Scala2.9.3167.2设置环境变量167.3拷贝到各个节点上168安装tachyon179安装Spark189.1下载Spark189.2Spark安装配置199.3拷贝到节点209.4验证Spark2010安装Shark2110.1下载Shark2110.2安装配置2110.3拷贝到节点2110.4验证Shark221常见安装问题222其他221前言1・1编写目的编制本文档的目的在于方便开发人员

3、快速搭建大数据的运行环境。1.2读者对象/hadoop开发人员；/测试人员；/维护人员；/项目经理。虚机名称操作系统规格NameNodeCentOS6.4_x64IP:192.168.1.200CPU:2*4core内存:64GBDataNodelCentOS6.4_x64IP:192.168.1.200CPU:2*4core内存:64GBDataNode2CentOS6.4_x64IP:192.168.1.200CPU:2*4core内存:64GBDataNode3CentOS6.4_x64IP:192.168.1.200CPU:2*4core内存:64GBD

4、ataNode4CentOS6.4_x64IP:192.168.1.200CPU:2*4core内存:64GB2.2软件信息软件名称版本说明Jdk1.7.0_45http://www.oracle.com/technetwork/java/javase/downloads/jdk7-doJava语言编写的程序运行必须依赖的坏境工具wnloads-1880260.htmlShark0.8.1https://github.eom/amplab/shark/releases/tag/vO.8.1一个开源的为hadoop数据构建SQL查询的引擎Spark0.8.1htt

5、p://spark.incubator.apache.org/downloads.html一个开源的基于内存的大数据迭代统计运算项目Tachyon0.3.0https://github.com/amplab/tachyon/releasesTachyon是一个高容错的分布式文件系统，允许文件以内存的速度在集群框架中进行可靠的共享,类似Spark和MapReduceHive0.9.0https://github.eom/amplab/shark/releases/tag/vO.8.1hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据

6、库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行Hadoop1.0.4http://hadoop.apache.org/releases•html#Download一款支持数据密集型分布式应用Scala2.9.3http://www.scala-lang.org/downloads/distrib/files/scala-2.9.3.tgz一种编程语言，spark则由它编写，spark运行的时候必须依赖它的存在VMware10.0http://www.vmware.eom/cnVMwareWorkstation是VMware

7、公司推出的一款桌面虚拟计算软件。此软件可以提供虚拟机功能，使计算机可以同时运行多个不同操作系统。网络和主机设.JIlHi3.1设置主机和网络所有节点均是Centos6.464位系统，防火墙均禁用，sshd服务均开启并设置为开机启动。a）打开每个服务器，查看ip地址ifconfigb）每个服务器，永久关闭防火墙（非常重要，一定要确认），并关闭SELINUX[root@DataNode1local]#chkconfigiptablesoff[root@DataNodellocal]#serviceiptablesstop[root@DataNodellocal]#v

8、i/etc/selinu