使用MapReduce分析报告大数据.doc

《使用MapReduce分析报告大数据.doc》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、《云计算及应用》实验报告项目名称使用MapReduce分析数据专业班级学号姓名实验成绩：批阅教师：2016年6月3日实验3《使用MapReduce分析数据》实验学时：2实验地点：实验日期：一、实验目的1.掌握MapReduce的使用方法2.学会使用MapReduce分析数据二、实验容1.运行MapReduce的wordcount实例2.使用MapReduce完成二度朋友的实验三、实验方法包括实验方法、原理、技术、方案等。四、实验步骤1.打开hadoop的各个节点2.运行hadoop中的wordcount实例3.编写并编译二度朋友实验的代码4.将要处理的数据传送到hadoop中5.运

2、行代码处理数据。五、实验结果记录实验输出数据和结果。六、实验结论1.创建wordcount_in文件夹2.创建text.txt文件用来保存要处理的数据3.将要处理的文件text.txt上传到hadoop4.运行hadoop-example实例5查看运行的结果6.编写二度朋友实验的代码importjava.io.IOException;importjava.util.Random;importjava.util.Vector;importorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.FileSystem

3、;importorg.apache.hadoop.fs.Path;importorg.apache.hadoop.io.Text;importorg.apache.hadoop.mapreduce.Job;importorg.apache.hadoop.mapreduce.Mapper;importorg.apache.hadoop.mapreduce.Reducer;importorg.apache.hadoop.mapreduce.lib.input.FileInputFormat;importorg.apache.hadoop.mapreduce.lib.output.Fil

4、eOutputFormat;importorg.apache.hadoop.util.GenericOptionsParser;publicclassdeg2friend{publicstaticclassjob1MapperextendsMapper{privateTextjob1map_key=newText();privateTextjob1map_value=newText();publicvoidmap(Objectkey,Textvalue,Contextcontext)throwsIOException,Interrupt

5、edException{Stringeachterm[]=value.toString().split(",

6、t");for(inti=1;i0){job1map_value.set(eachterm[i]+"t"+eachterm[0]);}job1map_key.set(

7、eachterm[0]);context.write(job1map_key,job1map_value);job1map_key.set(eachterm[i]);context.write(job1map_key,job1map_value);}}}publicstaticclassjob1ReducerextendsReducer{privateTextjob1reduce_key=newText();privateTextjob1reduce_value=newText();publicvoidreduce(Textkey,Iter

8、ablevalues,Contextcontext)throwsIOException,InterruptedException{Stringsomeperson=key.toString();Vectorhisfriends=newVector();for(Textval:values){Stringeachterm[]=val.toString().split("t");if(eachterm[0].equals(so