《hadoop培训》ppt课件

《《hadoop培训》ppt课件》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、Hadoop原理与Streaming下编程数据中心-研究院提纲hadoop的组成部分和安装方法hadoop的web接口hadoop的命令行接口dfsjobjardfsadmin...hadoop的编程接口mapreduce任务编程hdfs编程Streaming编程框架任务的调试和查错hadoop的软件结构和安装方法软件结构（我们目前主要使用的）DFS模块，包含了Namenode,SecondaryNamenode,Datanode等模块，这些模块分别会运行在主节点和从节点上，通过http协议进行交互mapr

2、ed模块，包含了JobTracker和TaskTracker模块，这些模块运行在主节点和从节点上，也通过http协议进行交互hadoop的软件结构和安装方法软件安装方法下载程序包解压后配置相关参数,所有的配置文件在主文件夹下的conf文件夹内。分发程序目录到集群中所有机器命令行启动集群"start-mapred.sh"hadoop的接口通过接口了解hadoop内部的情况web接口部分命令行接口通过接口控制hadoop的运行和态web接口（需开启配置中web控制选项）命令行接口通过接口提交任务命令行接口结合编

3、程接口hadoop的web接口hdfs，默认用浏览器访问namenode节点的50070端口即可hdfs接口中可以访问mapred，默认用浏览器访问jobtracker节点的50030端口即可，一般将同一台机器作为jobtracker和namenode节点hadoop的命令行接口dfs-mv-cp(宜使用distCp工具替代)-ls...job-list-kill-history...jar:读取配置运行java程序Streaming.jarmyjob.jarwordcount.jar...???admin

4、：管理和查看hadoop上的详细状态......hadoop任务运行原理hadoop任务（Job）由多个子任务（Task）组成，tasks由以下两部分多个mapper，其中mapper的个数由输入文件格式规定的文件分块数确定，mapper的运行和数据分块所在的机器有很大的关系多个/0个reducer，reducer的个数由用户提交任务时指定集群中JobTracker负责调度Job和Job之下的tasks，而每个tasktracker负责接收task任务并运行之提交任务过程：用户与JobTracker交互，提

5、交任务资源和配置运行任务过程：JobTracker将队列中的tasks按调度算法分配给各tasktracker的空闲槽，tasktracker随后就运行之并监视汇报tasks的运行情况。hadoop任务运行原理--通过hadoop编程接口提交任务以一个任务的提交为例：WordCount.jar其代码结构如下：这个程序其实和普通的java程序没有区别，其实现了mapper，reducer接口，并通过main函数加载配置和参数，上传jar，提交任务并监控运行情况publicclassWordCount{publ

6、icstaticclassTokenizerMapperextendsMapper{}publicstaticclassIntSumReducerextendsReducer{}publicstaticvoidmain(String[]args){}}hadoop编程接口，hadoop任务运行原理以一个任务的提交为例：WordCount.jar其main函数如下，其中就包含了提交

7、任务的流程：publicstaticvoidmain(String[]args)throwsException{Configurationconf=newConfiguration();//读取默认的配置文件String[]otherArgs=newGenericOptionsParser(conf,args).getRemainingArgs();//通用参数解析if(otherArgs.length!=2){System.err.println("Usage:wordcount");S

8、ystem.exit(2);}Jobjob=newJob(conf,"wordcount");//新建任务对象job.setJarByClass(WordCount.class);//主类job.setMapperClass(TokenizerMapper.class);//mapperjob.setCombinerClass(IntSumReducer.class);//作业合成类job.setReducerC