《云计算(第三版)》第3章_Amazon_云计算_AWS(一)资料.ppt

《《云计算(第三版)》第3章_Amazon_云计算_AWS(一)资料.ppt》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、第3章Amazon云计算AWS(一)3.1基础存储架构Dynamo3.2弹性计算云EC23.3简单存储服务S33.4非关系型数据库服务SimpleDB和DynamoDB3.5关系数据库服务RDS3.6简单队列服务SQS3.7内容推送服务CloudFront3.8其他Amazon云计算服务3.9AWS应用实例3.10小结在电子商务中积累的大量基础性设施和各类先进技术，很早地进入了云计算领域，并在提供计算、存储等服务方面处于领先地位。Amazon开发并提供了一系列云计算服务这些云计算服务共同构成了AmazonWebService（AWS）亚马逊Amazo

2、n弹性计算云EC2简单存储服务S3简单数据库服务SimpleDB简单队列服务SQS弹性MapReduce服务内容推送服务CloudFront电子商务服务DevPayFPS提供的服务主要包括3.1基础存储架构Dynamo3.1.1Dynamo概况3.1.2Dynamo架构的主要技术6Dynamo概况3.1基础存储架构Dynamo面向服务的Amazon平台基本架构为了保证其稳定性，Amazon的系统采用完全的分布式、去中心化的架构作为底层存储架构的Dynamo也同样采用了无中心的模式Dynamo只支持简单的键/值（key/value）方式的数据存储，不支

3、持复杂的查询Dynamo中存储的是数据值的原始形式，即按位存储，并不解析数据的具体内容3.1基础存储架构Dynamo3.1.1Dynamo概况3.1.2Dynamo架构的主要技术8Dynamo需要解决的主要问题及解决方案3.1基础存储架构DynamoDynamo在设计时被定位为一个基于分布式存储架构的，高可靠、高可用且具有良好容错性的系统。下图列举了Dynamo设计时面临的主要问题及所采取的解决方案。问题采取的相关技术数据均衡分布改进的一致性哈希算法数据备份参数可调的弱quorum机制数据冲突处理向量时钟（VectorClock）成员资格及错误检测基

4、于Gossip协议的成员资格和错误检测临时故障处理Hintedhandoff（数据回传机制），永久故障处理Merkle哈希树9Dynamo的存储节点3.1基础存储架构DynamoDynamo中的存储节点呈无中心的环状分布。preferencelistcoordinator存储与某个特定键值相对应的数据的节点列表执行一次读或写操作的节点通常，coordinator是preferencelist上的第一个节点两个基本概念10Dynamo采用了分布式的数据存储架构，均衡的数据分布可以保证负载平衡和系统良好的扩展性。因此，如何在各个节点上数据的均衡性是影响D

5、ynamo性能的关键问题。Dynamo中使用改进后的一致性哈希算法，并在此基础上进行数据备份，以提高系统的可用性。3.1基础存储架构Dynamo数据均衡分布的问题数据113.1基础存储架构Dynamo数据均衡分布的问题一致性哈希算法是目前主流的分布式哈希表（DistributedHashTable，DHT）协议之一，于1997年由麻省理工学院提出。一致性哈希算法通过修正简单哈希算法，解决了网络中的热点问题，使得DHT可以真正地应用于P2P环境中。一致性哈希算法数据均衡分布的问题一致性哈希算法平衡性单调性分散性负载两步进行：求出设备节点的哈希

6、值，并配置到环上的一个点；接着计算数据的哈希值，按顺时针方向将其存放到环上第一个大于或等于数据哈希值的节点上；添加新节点时，按照上述规则，调整相关数据到新的节点上。删除节点和添加节点过程相反133.1基础存储架构Dynamo一致性哈希算法除了能够保证哈希运算结果充分分散到整个环上外，还能保证在添加或删除设备节点时只会影响到其在哈希环中的前驱设备节点，而不会对其他设备节点产生影响。一致性哈希算法可以大大降低在添加或删除节点时引起的节点间的数据传输开销数据均衡分布的问题143.1基础存储架构Dynamo数据均衡分布的问题改进的一致性哈希算法Dynamo中

7、引入了虚拟节点的概念每个虚拟节点都隶属于某一个实际的物理节点，一个物理节点根据其性能的差异被分为一个或多个虚拟节点。各个虚拟节点的能力基本相当，并随机分布在哈希环上。153.1基础存储架构Dynamo数据均衡分布的问题Dynamo将整个哈希环划分成Q等份，每个等份称为一个数据分区（Partition）在存储数据时，每个数据会被先分配到某个数据分区，再根据负责该数据分区的虚拟节点，最终确定其所存储的物理节点。减小数据分布不均衡的可能性添加或删除设备节点时引起较小的数据传输数据分区的好处12163.1基础存储架构Dynamo数据备份在Dynamo中，每个

8、数据的副本备份存储在哈希环顺时针方向上该数据所在虚拟节点的后继节点中。数据备份在存储数据的同时进行，会使每次