分布式计算平台hadoop环境下的组网方案

《分布式计算平台hadoop环境下的组网方案》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、分布式计算平台——Hadoop环境下的组网方案Hadoop起源MapReduce和HDFS介绍Hadoop的流量模型组网设计Hadoop介绍DougCutting说：这个名字是我的孩子给一头吃饱了的棕黄色大象取的。我的命名标准是简短、容易发音和拼写，没有太多的含义，并且不会被用于别处。小孩是这方面的高手。Google就是小孩子起的名字。2002年，Hadoop起源于ApacheNutch，一个开源的网络搜索引擎。后来，开发者认为该引擎的架构可扩展度不够，不能解决数十亿网页的搜索问题。怎么办呢？2003-04年，G

2、oogle发表了举世闻名的三大论文：BigTable——一个分布式的结构化数据存储系统GFS——TheGoogleFileSystemMapReduce——个处理和生成超大数据集的算法模型的相关实现Hadoop起源http://hadoop.apache.org/5Hadoop核心分布式文件系统HDFSMapReduce框架并行数据分析语言Pig列存储NoSQL数据库Hbase分布式协调器Zookeeper数据仓库Hive(使用SQL)Hadoop日志分析工具Chukwa以Google的论文为基础，Hadoop也有

3、了自己的生态系统MapReduce和HDFS的工作流Laoddataintothecluster(HDFSWrite)。Analyzethedata(MapReduce)Storetheresultsinthecluster(HDFSWrite)Readtheresultsfromthecluster(HDFSRead)MapReduce介绍MapReduce的逻辑数据流从一堆数据中找出每年的最高温度值MapReduce运行原理Map阶段：InputSplitMap运算缓存（内存中）SpilltoDisk/Part

4、ition排序Sort/MergeonDiskShuffle阶段（Inmanyways,theshuffleistheheartofMapReduceandiswherethe“magic”happens）Reduce阶段排序Sort/Merge（内存到磁盘）Reduce运算Output（输出到HDFS)MapReduce图解Buffer默认为100MB超出Buffer的部分为，被Spill到磁盘。可以设置Buffer阀值为80%默认可将10个Spill文件并行写入Merge文件Spill、Merge都可以压缩。用

5、CPU换IO默认情况，Reduce最多只能同时下载5个Map的数据，mapred.reduce.parallel.copiesJobTracker和TaskTrackerJobTracker：协调作业（job）的运行。客户端：提交MapReduce作业。TaskTracker：运行作业划分后的任务（task）。一个Job可以被划分成多个Task，每个Maper负责运行一个Task。MapReduce运行流程HadoopDistributedFileSystem介绍HDFS——Hadoop分布式文件系统以集群的方式存

6、储海量数据：PB级对HDFS来说，一次写入，多次读取是最高效的访问模式。商用硬件：使用普通的PCServer构建集群。HDFS被设计成，如果某些Server遇到故障，集群应不受到影响，继续运行且不让用户察觉到明显的中断。低时间延迟的访问：要求时延低的的应用，例如几十毫秒，HDFS不适合。HDFS是为高数据吞吐量应用优化的，这可能会以高时延为代价。目前，对于低延迟的应用，Hbase是更好的选择。Namenode和DatanodeNamenode：管理者，管理文件系统。记录着每个文件中各个块所在的Datanode信息。

7、客户端：代表用户与Namenode与Datanode交互来访问整个文件系统。Datanode：工作节点，根据需要存储并检索数据块，并且定期向Namenode发送它们所存储的块的列表。HDFS——数据写入剖析HDFS——副本的布局相同节点中的进程。同一Rack上的不同Node。同一DC中的不同Rack上的Node。不同DC中的Node。HDFS——数据读取剖析某电商Hadoop集群案例某电商Hadoop集群规模总容量50PB数据每天增长超过100T总共2800多台机器约150000道作业/天每日扫描数据总量约5PB，

8、产生数据总量约500TBSalve：6CoresCPU*2、48GMem、2T×12HDSlave：8Map、8Reduce从0:10-24:00都有任务在运行，但其中80%的任务在0:10-9:00之间完成，这段时间是最重要的生产时段Hadoop流量特征MapReduce图解流量特征MapReduce的Shuffle阶段，会造成流量多打一。产生MicroB