支持容错QoS的高效分布式文件存储算法.pdf

《支持容错QoS的高效分布式文件存储算法.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、学术探讨基金项目2014年第6期支持容错QoS的高效分布式文件存储算法12,3辛刚罗香玉（1．中航工业西安航空计算技术研究所,陕西西安710119；2．西安科技大学计算机学院,陕西西安710054；3．西安交通大学电信学院,陕西西安710049）[摘要]针对现有存储算法无法兼顾文件定制化可靠性保证和系统良好可扩展性这一问题，提出一种全分布式的支持容错QoS(QualityofService)的文件存储算法。算法允许文件被存储副本数量与其可靠性需求相匹配，无单一故障点与瓶颈点。此外，实验结果表明算法可

2、保持节点间负载均衡，实现系统资源的高效利用。[关键词]分布式存储；容错QoS；副本放置；负载均衡；可扩展性；可靠性定时，系统容错QoS可由用户容错QoS唯一确定。1．引言本文的用户容错QoS层选择文件可访问概率指标，容错随着云计算的兴起，分布式文件存储迈入云存储时代。方式选择副本策略，因此系统容错QoS层采用副本数量这一云存储向用户提供可定制化和按需付费的服务，用户可根据指标。自身实际需求购买对应服务质量（QoS）的存储服务。QoS是2．2分布式存储模型目前云存储领域的热点问题[1]。本文侧重分布式

3、文件存储系统中用户可靠性需求的满现有分布式文件存储算法（如Kinesis[2]和CDRM[3]）侧重足问题，忽略访问特征的讨论，所建立分布式存储模型如下：系统整体的性能指标，较少关注不同用户的定制化需求。虽资源模型：分布式存储系统M由n个节点构成，即M=有研究工作（如文献[4]和[5]）讨论分布式文件存储QoS满足问{N1，…，Nn}；节点Ni用二元组表征（i=1，…，n），其中，ci题，但主要针对请求响应延迟和访问带宽的定制化满足，忽和pi分别表示节点Ni的存储容量和可靠度。略了不同

4、文件在可靠性需求方面的差异。此外，即使一些系需求模型：待存储文件集合F包含m个文件，即F=统（如GFS[6]和HDFS[7]）允许文件存储时设定不同的可靠性{f1，…，fm}；文件fj用二元组表征（j=1，…，m），其中，sj指标，但依赖中央服务节点记录各文件（包括副本）的存储位和qj分别表示文件fj的大小和容错QoS需求（这里的qj是用置，存在单一故障点和性能瓶颈。户容错QoS，表示文件fj的可访问概率）。本文研究新的分布式文件存储算法，以满足用户在可靠存储方案模型：在副本方式的容错

5、策略下，存储方案可性方面的定制化需求，同时保证系统的良好可扩展性和整体通过矩阵Dn×m表示。该矩阵的元素dij只有0和1两种取值。资源利用的高效性。主要贡献如下：(1)提出容错QoS的概念若dij=0，则表示节点Ni不存有文件fj的副本；否则，表示节点表示用户对文件存储可靠性的定制化需求；(2)提出支持容错Ni存有文件fj的副本。QoS的分布式文件存储算法FTQoS_Oriented；(3)通过实验验令rj表示文件fj的副本数量，则证了算法的可扩展性和负载均衡特性。n2．系统模型rj=∑diji=1

6、2．1容错QoSrj由文件fj的容错QoS需求qj以及节点的可靠度指标pi容错QoS可以通过两层模型表示：用户容错QoS层和系确定。统容错QoS层。其中，用户容错QoS层采用用户直接可理解此外，在为文件各副本确定具体存储节点时，需要满足的可靠性指标，比如文件的丢失概率和可访问概率等；系统节点的存储容量约束，令Si表示节点Ni所存储数据的总量，容错QoS层采用容错策略参数指标，比如副本策略下的副本则：[8]m数量、纠删码策略下的编码参数等。Si=∑dijsjci用户容错QoS直接反映用户的可靠性需求

7、，与系统的具j=1体实现无关。系统容错QoS取决于如下三个方面：用户容错最后，在满足各文件容错QoS需求及各节点容量约束的同时，各节点存储空间的占用量应大致均衡，即方差S2尽可QoS、系统容错方式（比如副本策略或纠删码策略）和存储节点自身的可靠性指标。当系统容错方式和存储节点属性确能小，其中：——————————————作者简介：辛刚，男，陕西扶风人，硕士，工程师。研究方向：分布式存储、系统可靠性设计。基金项目：陕西省自然科学基础研究计划资助项目，项目编号：2012JQ8030；高等学校博士学科点专

8、项科研基金，项目编号：20120201110013。-32-基金项目学术探讨2014年第6期n2begin2∑i=1(Si－So)S=(1)ndij←0；nS0=∑Si/nendi=1end3．存储方案forj=1tom3．1方案框架begin本文所提出方案包括两部分：容错QoS映射模块和fork=1togFTQoS_Oriented算法模块。begin容错QoS映射模块完成由用户容错QoS到系统容错Candidate(k)←Hk(IDj)；QoS的映射（由于本文采用