云计算与数据挖掘

《云计算与数据挖掘》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、云计算与数据挖掘内容提纲云计算的起源云计算发展的驱动因素云计算的定义云计算是一种商业计算模型。它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务。云计算技术体系结构Google云计算关键技术Google文件系统GFS(GoogleFileSystem)并行数据处理MapReduce结构化数据表BigTable分布式锁管理ChubbyMapReduceBigTableGFSChubby分布式文件系统GFSGoogleFileSystem8Google需要一个支持海量存储的文件系统购置昂贵的分布

2、式文件系统与硬件？是否可以在一堆廉价且不可靠的硬件上构建可靠的分布式文件系统？9为什么不使用当时现存的文件系统？Google所面临的问题与众不同不同的工作负载，不同的设计优先级（廉价、不可靠的硬件）需要设计与Google应用和负载相符的文件系统10硬件出错是正常而非异常系统应当由大量廉价、易损的硬件组成必须保持文件系统整体的可靠性主要负载是流数据读写主要用于程序处理批量数据，而非与用户的交互或随机读写数据写主要是“追加写”，“插入写”非常少需要存储大尺寸的文件存储的文件尺寸可能是GB或TB量级，而且应当能支持存储成千上万的大尺寸文件11将文

3、件划分为若干块（Chunk）存储每个块固定大小（64M）通过冗余来提高可靠性每个数据块至少在3个数据块服务器上冗余数据块损坏概率？通过单个master来协调数据访问、元数据存储结构简单，容易保持元数据一致性无缓存Why?12单一Master,若干ChunkServerGFS的架构有什么问题吗？1314分布式系统设计告诉我们：这是单点故障这是性能瓶颈GFS的解决办法单点故障问题采用多个（如3个）影子Master节点进行热备，一旦主节点损坏，立刻选举一个新的主节点服务15GFS的解决办法性能瓶颈问题尽可能减少数据存取中Master的参与程度不使

4、用Master读取数据，仅用于保存元数据客户端缓存元数据采用大尺寸的数据块（64M）数据修改顺序交由PrimaryChunkServer完成Simple,andgoodenough!16存储元数据文件系统目录管理与加锁与ChunkServer进行周期性通信发送指令，搜集状态，跟踪数据块的完好性数据块创建、复制及负载均衡对ChunkServer的空间使用和访问速度进行负载均衡，平滑数据存储和访问请求的负载对数据块进行复制、分散到ChunkServer上一旦数据块冗余数小于最低数，就发起复制操作17垃圾回收在日志中记录删除操作，并将文件改名隐藏

5、缓慢地回收隐藏文件与传统文件删除相比更简单、更安全陈旧数据块删除探测陈旧的数据块，并删除18采用中心服务器模式可以方便地增加ChunkServerMaster掌握系统内所有ChunkServer的情况，方便进行负载均衡不存在元数据的一致性问题19不缓存数据GFS的文件操作大部分是流式读写，不存在大量的重复读写，使用Cache对性能提高不大ChunkServer上的数据存取使用本地文件系统，如果某个Chunk读取频繁，文件系统具有Cache从可行性看，Cache与实际数据的一致性维护也极其复杂?20在用户态下实现直接利用ChunkServer

6、的文件系统存取Chunk，实现简单用户态应用调试较为简单，利于开发用户态的GFS不会影响ChunkServer的稳定性提供专用的访问接口未提供标准的POSIX访问接口降低GFS的实现复杂度21GFS的容错机制ChunkServer容错每个Chunk有多个存储副本（通常是3个），分别存储于不通的服务器上每个Chunk又划分为若干Block（64KB），每个Block对应一个32bit的校验码，保证数据正确（若某个Block错误，则转移至其他Chunk副本）2223并行数据处理模型MapReduce摩尔定律集成电路芯片上所集成的电路的数目，每隔

7、18个月就翻一番，同时性能也提升一倍GordonMoore“免费的性能大餐”？Andygiven,andBilltakenaway软件算法、数据结构似乎不再重要，因为处理器性能不断提升免费的午餐已经结束！！IntelMicrosoft摩尔定律正在走向终结…单芯片容纳晶体管的增加，对制造工艺提出要求CPU制造18nm技术，电子泄漏问题CPU主频已达3GHz时代，难以继续提高散热问题（发热太大，且难以驱散）功耗太高未来的发展：多核在多核时代生存，必须考虑并发问题不存在解决多核编程问题的银弹，不存在可以简单地将并发编程问题化解掉的工具，开发高性能

8、的并行程序必须要求开发者从根本上改变其编程方法从某种意义上来说，这不仅仅是要改变50年来顺序程序设计的工艺传统，而且是要改变数百万年来人类顺序化思考问题的习惯HerbSutter