分布式文件存储系统调研

《分布式文件存储系统调研》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、.分布式文件存储系统调研北京无线天利移动信息技术股份有限公司2013年5月北京...文档变更记录：版本序号更新时间版本号变更类型更新内容变更人12013-5-201.0.0创建...1.需求分析41.1.大数据时代41.2.调研范围41.3.名词解释52.GoogleGFS62.1.系统架构72.2.相关技术82.2.1.租赁机制82.2.2.一致性模型82.2.3.追加流程92.2.4.容错机制102.2.5.Master内存占用112.2.6.负载均衡112.2.7.垃圾回收122.2.8.

2、快照122.2.9.ChunkServer122.3.GFS学习总结133.开源的分布式文件存储系统133.1.前言133.2.HadoopHDFS143.2.1.介绍143.2.2.特点143.2.3.性能143.3.KFS143.4.流行的开源文件存储系统比较153.5.开源分布式文件存储学习总结184.参考资料18...1.需求分析1.1.大数据时代我们早已处在数字时代。而今，我们迎来了数据爆炸的时代，这就是所谓的大数据时代。2013年，大数据元年。大数据的四个特征：Ø数据量大第一个特征是

3、数据量大。大数据的起始计量单位至少是P（1000个T）、E（100万个T）或Z（10亿个T）。Ø类型繁多第二个特征是数据类型繁多。包括网络日志、音频、视频、图片、地理位置信息等等，多类型的数据对数据的处理能力提出了更高的要求。Ø价值密度低第三个特征是数据价值密度相对较低。如随着物联网的广泛应用，信息感知无处不在，信息海量，但价值密度较低，如何通过强大的机器算法更迅速地完成数据的价值“提纯”，是大数据时代亟待解决的难题。Ø速度快时效高第四个特征是处理速度快，时效性要求高。这是大数据区分于传统数据挖

4、掘最显著的特征。既有的技术架构和路线，已经无法高效处理如此海量的数据，而对于相关组织来说，如果投入巨大采集的信息无法通过及时处理反馈有效信息，那将是得不偿失的。可以说，大数据时代对人类的数据驾驭能力提出了新的挑战，也为人们获得更为深刻、全面的洞察能力提供了前所未有的空间与潜力。当前，分布式文件存储系统是解决大数据时代的利器。1.2.调研范围为了应对大数据的到来，不同背景的企业有不同的解决方案。传统的关系型数据库（OldSQL）、新型的列存储-关系型数据库（NewSQL）和基于NoSQL的云存储，

5、都针对云存储提出了相应的解决方案。这是一个多元化的时代，三个解决方案各有优缺点，互为补充更加适合大数据的需要。...相比之下，OldSQL已经比较成熟，NewSQL技术比较封闭比较商业化，都不是此次的研究对象。此次技术调研，主要涉及基于NoSQL的分布式文件存储系统。NoSQL领域技术繁多，各种概念层出不穷，虽涉足不深但已经常感觉头晕目眩。为了便于调研，我将NoSQL涉及的各个组件、产品分为三部分：Ø分布式文件存储系统ØNoSQL数据库Ø云计算应用分布式文件存储是另外两个部分的基础，此篇文章将聚

6、焦于分布式文件存储系统。1.1.名词解释Ø大数据：指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。简单的说，至少要达到TB级别的数据。Ø云存储：云存储是与云计算同时兴起的一个概念。云存储一般包含两个含义：n云存储是云计算的存储部分，即虚拟化的、易于扩展的存储资源池。用户通过云计算使用存储资源池，但不是所有的云计算的存储部分都是可以分离的。n云存储意味着存储可以作为一种服务，通过网络提供给用户。用户可以通过若干种

7、方式来使用存储，并按使用（时间、空间或两者结合）付费。ØNoSQL：NotOnlySQL，泛指这样一类数据库和数据存储，它们不遵循经典关系型数据库原理，且常与Web规模的大型数据集有关。ØNewSQL：新型的关系型数据库；不同于传统的关系型数据库，NewSQL阵营普遍采用了列存储技术，是介于传统关系型数据库和NoSQL之间的产品。这类产品有可能代表未来的发展方向，但是目前尚不普及。ØDFS：分布式文件系统（DistributedFileSystem），指文件系统管理的物理存储资源不一定直接连接在

8、本地节点上，而是通过计算机网络与节点相连。ØHDFS：Hadoop分布式文件系统（HadoopDistributedFileSystem），是一个高度容错性的系统，适合部署在廉价的机器上。ØKFS：Kosmosdistributedfilesystem，是一个专门为数据密集型应用（搜索引擎，数据挖掘等）而设计的存储系统，类似于Google的GFS和Hadoop的HDFS分布式文件系统。KFS使用C++实现，支持的客户端包括C++，Java和Python。KFS系统由三部分组成，分别是metase