hadoop面精彩试题

《hadoop面精彩试题》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、实用标准文案Hadoop就业面试宝典1.0简要描述如何安装配置apache的一个开源hadoop，只描述即可，无需列出具体步骤，列出具体步骤更好。答：第一题：1使用root账户登录2修改IP3修改host主机名4配置SSH免密码登录5关闭防火墙6安装JDK6解压hadoop安装包7配置hadoop的核心文件hadoop-env.sh，core-site.xml,mapred-site.xml，hdfs-site.xml8配置hadoop环境变量9格式化hadoopnamenode-format10启动节点start-all.sh2.0请；列出正常的h

2、adoop集群中hadoop都分别需要启动哪些进程，他们的作用分别都是什么，请尽量列的详细一些。答：namenode：管理集群，存储数据的原信息，并管理记录datanode中的文件信息。Secondname:可以做冷备，对一定范围内数据做快照性备份。Datanode:存储数据Jobtracker:管理任务，并将任务分配给tasktracker。Tasktracker:执行JobTracker分配的任务。3.0请写出以下的shell命令（1）杀死一个job（2）删除hdfs上的/tmp/aaa目录（3）加入一个新的存储节点和删除一个节点需要执行的命令答

3、：（1）hadoopjob–list得到job的id，然后执行hadoopjob-killjobId就可以杀死一个指定jobId的job工作了。（2）hadoopfs-rmr/tmp/aaa(3)增加一个新的节点在新的几点上执行Hadoopdaemon.shstartdatanodeHadooopdaemon.shstarttasktracker然后在主节点中执行hadoopdfsadmin-refreshnodes删除一个节点的时候，只需要在主节点执行hadoopmradmin-refreshnodes4.0请列出你所知道的hadoop调度器，并简

4、要说明其工作方法答：Fifoschedular:默认，先进先出的原则Capacityschedular:计算能力调度器，选择占用最小、优先级高的先执行，依此类推。文档大全实用标准文案Fairschedular:公平调度，所有的job具有相同的资源。4.0请列出你在工作中使用过的开发mapreduce的语言答：java，hive5.0当前日志采样格式为a,b,c,db,b,f,ea,a,c,f请你用最熟悉的语言编写mapreduce，计算第四列每个元素出现的个数StaticfinalString答：publicclassWordCount1{publi

5、cstaticfinalStringINPUT_PATH="hdfs://hadoop0:9000/in";publicstaticfinalStringOUT_PATH="hdfs://hadoop0:9000/out";publicstaticvoidmain(String[]args)throwsException{Configurationconf=newConfiguration();FileSystemfileSystem=FileSystem.get(conf);if(fileSystem.exists(newPath(OUT_PATH

6、))){}fileSystem.delete(newPath(OUT_PATH),true);Jobjob=newJob(conf,WordCount1.class.getSimpleName());//1.0读取文件，解析成key,value对FileInputFormat.setInputPaths(job,newPath(INPUT_PATH));//2.0写上自己的逻辑，对输入的可以，value进行处理，转换成新的key,value对进行输出job.setMapperClass(MyMapper.class);job.setMapOutput

7、KeyClass(Text.class);job.setMapOutputValueClass(LongWritable.class);//3.0对输出后的数据进行分区//4.0对分区后的数据进行排序，分组，相同key的value放到一个集合中//5.0对分组后的数据进行规约//6.0对通过网络将map输出的数据拷贝到reduce节点//7.0写上自己的reduce函数逻辑，对map输出的数据进行处理job.setReducerClass(MyReducer.class);job.setOutputKeyClass(Text.class);job.s

8、etOutputValueClass(LongWritable.class);FileOutputForma