大规模分布式计算课件.ppt

《大规模分布式计算课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、大规模分布式计算MapReduce和HadoopAgenda分布式计算需求：大规模数据为什么使用分布式？分布式计算需求：成本？为什么使用分布式？分布式计算并行化的尝试在硬件工艺/技术不变的前提下，提升计算能力更强大的硬件对称多处理器SMP分布式共享内存DSM分布式系统SharediskSharenothingAbriefhistory分布式计算互联网应用的特殊性I/O操作强于计算操作复杂异构的机器环境变化的业务逻辑新需求分布式计算MapReduce分布式编程模型互联网应用的大规模数据计算解决方案MapReduce分布式计算MapR

2、educe的优势简单一致性模型本地I/O优化扩展性WhyMapReducewins?分布式计算应用现状数据分析、报表索引商业智能服务规模淘宝现状分布式计算总结总结分布式计算BREAKMapReduce编程模型游戏什么是MapReduce？分布式编程模型WhatisMapReduce?MapReduce编程模型MapReduce语义Map：映射，空间变换Reduce：汇总，规约MapReducemethodologyMapReduce编程模型MapReduce数据结构map(in_key,in_value)->

3、list(out_key,intermediate_value)reduce(out_key,list(intermediate_value))->list(out_value)分布式算法的核心内容MapReducemethodologyMapReduce编程模型系统视图系统考量容灾扩展性并行能力…Master-slave结构AsystematicviewMapReduce编程模型系统视图计算消耗网络I/O磁盘I/O排序Map/Reduce计算AsystematicviewMapReduce编程模型系统视图并行能力子任务间并行M/

4、R任务间并行作业间并行AsystematicviewMapReduce编程模型范例web点击日志统计：PV/UV词频统计海量数据排序表JoinDiscussMapReduce编程模型MapReduce能做？日志分析商业智能分析客户营销大规模索引…MapReduce不能：在线应用复杂依赖逻辑（循环、递归？）MapReduce的数据倾斜问题WhatMapReducecando&can’tdoMapReduce编程模型总结总结MapReduce编程模型BreakHadoop开源分布式系统实现系统栈Whatis?系统Hadoop组件Mim

5、icof？文件系统（DFS）HDFSGFSMapReduce计算框架MapReduceMapReduce锁服务ZooKeeperChubbyRPCAvroProtocolBuffer*高级语言/工作流支持Hive/Pig/CascadingSawzaw*实时（KV）存储HBase/HyperTableBigTableHadoopHadoop的历史2003Google发表有关MapReduce论文2005Nutch迁移到MapReduce实现2006.1DougCutting加入Yahoo！2006.2Yahoo从Nutch中剥离出

6、MapReduce并开始使用Hadoop2007.1Yahoo组建1000+节点的Hadoop集群2008.1Hadoop成为ApacheTLPHadoop:abriefhistoryHadoopHDFS:分布式文件系统设计原则硬件错误是常态而不是异常流式数据访问大规模数据集简单的一致性模型“移动计算比移动数据更划算”异构软硬件平台间的可移植性HDFSHadoopHDFS特性大容量高容错性高吞吐量HDFS数据模型包块文件HDFSHadoopMapReduce:分布式计算框架语言支持JavaC++(throughpipes)scri

7、ptlanguages(throughstreaming)调度模型tasksjobsgroupsMapReduceHadoop编写MapReduce逻辑Javamapper/reducer/combinerpartitionerinputformat/outputformatStreaming高级语言实现HivePigMapReduceHive基于Hadoop的ETL采用SQL-like的查询语言将用户写的”SQL”翻译成MapReduce程序总结