云存储中数据的分发与迁移机制的研究

《云存储中数据的分发与迁移机制的研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号：TP399单位代码：10190研究生学号：201307016密级：无硕士学位论文云存储中数据的分发与迁移机制的研究Studyonthedistributionandmigrationmechanismofdataincloudstorage研究生姓名：武奇.专业：计算机科学与技术.指导教师姓名：刘钢.指导教师职称：副教授.2016年4月硕士学位论文长春工业大学硕士学位论文原创性声明本人郑重声明：所呈交的硕士学位论文，《云存储中数据的分发与迁移机制的研究》是本人在指导教师的指导下，独立进行研究工作所取得的成

2、果。除文中已经注明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的作品成果。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的法律结果由本人承担。作者签名：年月日长春工业大学硕士学位论文版权使用授权书本学位论文作者及指导教师完全了解“长春工业大学硕士学位论文版权使用规定”，同意长春工业大学保留并向国家有关部门或机构送交学位论文的复印件和电子版，允许论文被查阅和借阅。本人授权长春工业大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，也可采用影印、缩印或扫描

3、等复制手段保存和汇编学位论文。作者签名：年月日校内指导教师签名：年月日硕士学位论文摘要随着云时代的来临,大数据(Bigdata)也吸引了越来越多行业以及学术界的关注。近些年中，数据以指数级的速度增长，为了保证数据中心的对外提供服务的质量，实现更好的分布式文件存储，大多数企业在云计算（或云模型）使用特定形式的和服务来访问或存储各种资源来对外服务，动态数据迁移技术能够把访问量高的数据迁移到其他服务器中，从而有效的缓解了I/O瓶颈的问题，并且减少他们的运营成本。动态迁移技术把分散在各个物理主机中的数据进行迁移，并以各种

4、不同的方式存储在服务器中，使得数据的存储位置具有很大的灵活性。因此，“云提供商”提供的服务，通过使用动态数据迁移技术，以实现多重目标，包括收入最大化，运营成本降低，以及绿色IT，或者保证不同地理位置的用户的服务需求。因此，最近的一些研究更侧重于如何设计或者改进动态数据迁移的算法。在大数据分析以及非结构化数据蔓延的背景下，Hadoop受到了前所未有的关注，分布式文件系统HDFS（HadoopDistributedFileSystem）作为其中的一个项目，作为一个分布式文件存储系统，它可以进行文件的操作，例如，创建、

5、删除、移动或重命名等。但是HDFS的架构是基于一组特定的节点构建的，这是由它自身的特点决定的。这些节点包括NameNode（仅一个），它在HDFS内部提供元数据服务；DataNode为HDFS提供存储块。虽然DataNode会周期性地将所有存在的Block信息发送给NameNode，但是NameNode之间并不知道其他NameNode内部所存储的数据信息情况。因此，本文进一步研究的HDFS的系统架构和节点之间的关系，设计出一种高效，动态的数据迁移算法进而优化迁移性能。在本文中，研究了多个NameNode节点之间信

6、息副本同步性和数据的动态游走的问题。首先本文提出了多个NameNode之间创建mapping-table表，把数据迁移的具体信息写入到该表中，使得数据在节点之间的一致性和动态迁移，实现了高效实时的分布式的数据迁移机制。然后，基于贝叶斯算法对“冷”数据进行合理的删除。在传统的贝叶斯定理的应用中是基于一个事件，随后计算其概率，但是在本算法中，通过对数据分析，最后基于数据访问的数量和周围主机中存在的数据数量作为数据删除的两项条件，因此，通过应用贝叶斯公式的扩展，计算出的删除概率更加的合理、科学、准确。同时通过使用得出的

7、概率，对此进行概率从高到低的排列，对“冷”数据进行删除。关键词：数据迁移大数据分布式文件存储贝叶斯公式的推广I硕士学位论文AbstractWiththeadventofthecloudera,bigdata(dataBig)hasalsoattractedmoreandmoreattentionoftheindustryaswellasacademic.Inrecentyears,datawithexponentialrateofgrowth,inordertoensurethedatacenterofforei

8、gnservicequality,betterdistributedfilestorage,themajorityofenterprisesinthecloudcomputing(orcloudmodel)usingaparticularformandservicetoaccessorstorageresourcestoforeignservice,dynamicdata