云存储与云存储平台搭建技术研究

《云存储与云存储平台搭建技术研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号：TP315学校代号：10150UDC：密级：公开学号：20153180全日制专业硕士学位论文云存储与云存储平台搭建技术研究TheTechnologyResearchofCloudStorageandCloudStoragePlatformBuilding学生姓名：史策校内导师及职称：邱占芝教授企业导师及职称：姜涛高级工程师工程领域：计算机技术研究方向：云计算论文类型：应用研究申请学位：工程硕士专业学位论文答辩日期：2017年6月18日学位授予单位：大连交通大学大连交通大学学位论文独创性声明本人

2、声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢及参考文献的地方外，论文中不包含他人或集体已经发表或撰写过的研究成果，也不包含为获得大连交通大学或其他教育机构的学位或证书而吏用过的材料一。与我同工作的同志对本研究所做的任何贡献均已在沦文中作了明确的说明并表示谢意。本人完全意识到本声明的法律效力，申请学位论文与资料若有不一实之处切相关责任。，由本人承担学位论文作者签名：免ｔ曰期：年Ｚ月曰，方大连交通大学学位论

3、文版权使用授权书水学位论Ｘ作者完全了解大连交通大学有关保护知识产权及保留、使用学位论文的规定，即：研究生在校攻读学位期间论文工作的知识产权单位属大连交通大学，本人保证毕业离校后，发表或使用決文工作成杲时署名单位仍然为大连交通大学。学校有权保留并向Ｓ家有关部门或机构送交论文的复印件及其电子文档，允许论文被查Ｓ和借阅。本人授权大连交通大学可以将本学位论文的全部或部分内容编＾学校有关数据库和收录到《中国博士学位论文全文数据库》、《中国Ｔ秀硕士学位论文全文数据库》进行信息服务，

4、也可以采用影印、缩厂或扫描等复制手段保存或汇编本学位论文。手（保密的学位论文在解密后应遵守此规定）立亡论文作者签名：导师签名：三：年＜５月／ｇ＂日日期：年＜５月／ｆ日摘要摘要随着互联网在各行各业的不断延伸，产生的数据量级呈现爆发式增长，传统的存储方式正面临前所未有的挑战，云存储服务便应运而生。云存储凭借其成本低廉、部署方便、集群伸缩性灵活等优势，可以高效存储和处理海量数据。云存储平台是基于云存储的个人应用，用户通过该平台可以更快速的对集群资源进行管理，实时监控集群的状态。学位论文深入

5、研究了分布式云存储技术，分析了HDFS体系结构和数据读写机制。通过平台应用项目进行需求分析，完成云储存平台系统设计，给出了较为全面的集群环境与开发环境的搭建过程。通过Hadoop自带的API接口，利用JAVA跨平台性特点、Web技术和MVC设计模式，实现了平台的前端搭建。在详细阐述HDFS负载均衡原理基础上，分析现有负载均衡算法，并根据现实情况结合集群中机器性能的不同，得出CPU利用率、内存使用率、网络带宽使用率等负载影响因素，提出基于复合因子改进的加权最小连接算法。主节点服务器根据存储节点服务器的负载动

6、态变化调整负载权值，从而合理分配资源得到更加理想的负载均衡效果。通过对可扩展性、容错性及故障处理、负载压力等级等方面进行测试，结果分析表明：所搭建的云存储平台能够完成预期设计功能。所提出的改进算法，在负载均衡效果上具有一定高效性，进而证明此平台具有可用性。关键词：云存储；平台搭建；负载均衡；HDFS；加权最小连接I大连交通大学全日制专业硕士学位论文AbstractWiththecontinuousextensionoftheinternet,thedatalevelthatisproducedincrea

7、sesexplosively.Traditionalstoragemethodarefacingunprecedentedchallenge.Cloudstorageserviceisbornrightmoment.Cloudstoragecanstoreanddealwithalargemountofdataefficientlybyvirtueofitslowcost,convenientdeployment,flexibleclusterscalabilityandotheradvantages.C

8、loudstorageplatformisapersonalapplicationbaseoncloudstorage,usercanmanageandmoniterclustermorerapidlyandtimely.ThethesisresearchesdistributedcloudstoragetechnologyandanalysesarchitectureofHDFSandmechanismofdatareadi