海量分布式存储的概念与技术

《海量分布式存储的概念与技术》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、海量分布式存储的概念与技术主讲：XXXPPT：XXXPage2目录海量分布式存储的概念01存储模式选择02网络存储技术直连式存储技术对象存储技术数据库策略03Page3一、概念如今的互联网正处于一个信息爆炸的时代。面对信息爆炸的互联网，对信息的存储和处理也就产生了海量的数据。Page4概念海量数据是指数据量极大，往往是Terabyte(10^12bytes)、Petabyte(10^15bytes)甚至Exabyte(10^18bytes)级的数据集合。存储这些海量信息不但要求存储设备有很大的储

2、存容量，且还需要大规模数据库来存储和处理这些数据，在满足通用关系数据库技术要求的同时，更需要对海量存储的模式、数据库策略及应用体系架构有更高的设计考虑。Page5二、存储模式的选择存储系统的存储模式影响着整个海量数据存储系统的性能，为了提供高性能的海量数据存储系统，应该考虑选择良好的海量存储模式对于海量数据而言，实现单一设备上的存储显然是不合适的，甚至是不可能的。分布式是解决这种问题的一个很好的解决方案。存储分类（根据服务器类型）Page62.1直连式存储（DAS）其存储设备通过电缆（通常是SCS

3、I接口电缆）或者光纤直接连到服务器，I/O请求直接发送到存储设备，它依赖于服务器，本身不带有任何存储操作系统。典型DAS结构Page72.1直连式存储（DAS）主要问题和不足：直连式存储依赖服务器主机操作系统进行数据的IO读写和存储维护管理，数据备份和恢复要求占用服务器主机资源（包括CPU、系统IO等），数据备份通常占用服务器主机资源20-30%，因此许多企业用户的日常数据备份常常在深夜或业务系统不繁忙时进行，以免影响正常业务系统的运行。直连式存储的数据量越大，备份和恢复的时间就越长，对服务器硬件的

4、依赖性和影响就越大。无论直连式存储还是服务器主机的扩展，从一台服务器扩展为多台服务器组成的群集，或存储阵列容量的扩展，都会造成业务系统的停机，从而给企业带来经济损失Page82.1直连式存储（DAS）由于DAC本身弊端与网络技术的崛起，直连式存储(DAS)已显得非常力不从心，存储模式从以服务器为中心转向以数据为中心的网络存储模式，网络存储也成为目前典型存储技术Page92.2网络存储方式存储区域网络(SAN)网络附加存储(NAS)单击此处添加文字单击此处添加文字单击此处添加文字单击此处添加文字网络

5、存储方式Page102.2.1网络附加存储(NAS)或称网络接入存储，采用网络技术，通过网络交换机连接存储系统和服务器主机，建立专用于数据存储的存储私网。它拥有自己的文件系统，通过NFS或CIFS这两种网络文件系统对外提供文件访问服务。NAS将存储设备通过标准的网络拓扑结构连接到现有的网络上来提供数据和文件服务。Page112.2.1网络附加存储(NAS)优缺点：NAS管理简单、扩容方便，统一的文件系统使数据共享变得非常简单，所以其最大的优点是跨平台性很好，但NAS服务器在网络存储中处于数据通路上

6、，当服务请求激增时存在I/O瓶颈，性能是NAS的最大问题Page12它是存储设备与服务器经由高速网络设备连接而形成的存储专用网络。SAN一般基于光纤通道FC(FibreChannel)或iSCSI(internetSCSI)构建，它是块级的存储2.2.2存储区域网络(SAN)Page132.2.2存储区域网络(SAN)优缺点：SAN的优点是高容量、高可靠性、低延迟缺点是SAN没有一个统一的存储系统接口，对存储设备的共享访问存在数据的完整性与安全性问题，设备的跨平台性较差Page142.3对象存储

7、技术对象存储（Object-BasedStorage,OBS)综合了NAS和SAN的优点，同时具有SAN的高速直接访问和NAS的数据共享等优势，提供了具有高性能、高可靠性、跨平台以及安全的数据共享的存储体系结构。Page152.3对象存储技术对象(Object)包含了文件数据以及相关的属性信息，可以进行自我管理OSD（Object-basedStorageDevice)一个智能设备，OSD为存储对象数据的设备，它是一个智能设备，包括处理器、RAM内存、网络接口、存储介质等以及运行在其中的控制软件MD

8、S元数据服务器(MetadataServer)系统提供元数据、Cache一致性等服务网络连接文件系统文件系统运行在客户端上，将应用程序的文件系统请求传输到MDS和OSD上对象存储系统组成Page162.3对象存储技术传统块存储与对象存储对象存储结构Page172.3对象存储技术对象存储模式用于海量数据存储的优势：高性能数据存储：访问节点有独立的数据通路和元数据访问通路，可以对多个OSD进行并行访问跨平台数据共享：由于在对象存储系统上部署基于对象的分布