基于某hadoop地大数据分析报告

《基于某hadoop地大数据分析报告》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、实用标准文案实验报告（2014/2015学年第二学期）课程名称云计算实验名称基于Hadoop的数据分析实验时间2015年5月20日指导单位指导教师学生姓名班级学号学院(系)专业精彩文档实用标准文案精彩文档实用标准文案实验报告实验名称指导教师实验类型上机实验学时2实验时间2015.5.20一、实验目的和要求【实验要求】掌握基于Hadoop单机版的数据分析【实验目的】学会利用Hadoop对不同数据集的分析与挖掘；二、实验环境虚拟机Ubuntu14.04，hadoop-1.2.1，eclipse-SDK-4

2、.3.1三、实验原理及内容(1)在第一次实验的基础上安装eclipse1.将eclipse解压到usr/local目录下：sudotarxzvfeclipse-SDK-4.3.1-linux-gtk-x86_64.tar.gz-C/usr/local2.授权：sudochmod-R777/usr/local/eclipse3.将hadoop插件拷贝到/usr/local/eclipse/plugins下精彩文档实用标准文案4.设置eclipse的Java环境：在eclipse下创建一个jre文件夹su

3、domkdirjre，进入该文件夹：cdjre，加入一条连接指令ln-s/usr/lib/jvm/java-7-sun/binbin(2)在eclipse中添加Map/Reduce：点击上方window选项，依次选择openperspective，other，Map、Reduce，如下图所示：(3)设置Map/Reducelocation，选择Map/Reducelocations，newhadooplocation，将其中的内容设置成下图所示的内容：设置Advancedparameters中的tmp

4、文件夹位置为/usr/local/hadoop/tmp，如下图所示：精彩文档实用标准文案(4)设置hadoop的安装路径：依次点击window，preferences，HadoopMap/Reduce，设置hadoop安装路径为/usr/local/hadoop(5)在桌面新建三个文件，如图所示：(6)新建一个Map/ReduceProject：右击左侧空白处，选择新建一个如下图所示的Map/ReduceProject：点击Next，输入工程名为average，再点击finish。(7)新建一个Jav

5、aclass：右击左侧的average，依次选择New，class，设置内容如下图所示：精彩文档实用标准文案点击finish完成。(8)加入Java代码：package com.hebut.mr;import java.io.IOException;import java.util.Iterator;import java.util.StringTokenizer;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.

6、fs.Path;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.LongWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Job;import org.apache.hadoop.mapreduce.Mapper;import org.apache.hadoop.mapreduce.Reducer;import 

7、org.apache.hadoop.mapreduce.lib.input.FileInputFormat;import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;import org.a

8、pache.hadoop.util.GenericOptionsParser; public class Score{ public static class Map extends Mapper{ // 实现map函数 public void map(LongWritable key,Textvalue,Contextcontext) throws IOException,Inte