基于linux的分布式文件系统的设计与实现

《基于linux的分布式文件系统的设计与实现》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、南阳理工学院本科生毕业设计(论文)学院(系)：软件学院专业：网络工程学生：徐其民指导教师：林玉香完成日期2014年04月南阳理工学院本科生毕业设计（论文）基于linux的分布式文件系统的设计实现DesignandImplementationoftheDFSDistributedFileSystem总计：毕业设计(论文)37页表格：0个插图：18幅基于linux的分布式文件系统的设计实现南阳理工学院本科毕业设计(论文)基于linux的分布式文件系统的设计实现DesignandImplementationoftheDFSDistribute

2、dFileSystem学院(系)：软件学院专业：网络工程学生姓名：徐其民学号：105151140019指导教师(职称)：林玉香讲师评阅教师：张鑫完成日期：2014年04月15日南阳理工学院NanyangInstituteofTechnology基于linux的分布式文件系统的设计实现基于linux的分布式文件系统的设计实现网络工程徐其民基于linux的分布式文件系统的设计实现[摘要]随着公司规模的不断增大，业务数据也随之成倍的增长，海量数据的存储和读取成了整个系统的瓶颈。除此之外,还要努力保证服务器不能宕机,否则所有依赖共享提供数据的应

3、用就不再可用。考虑到传统存储方式存在的性能瓶颈和单点故障,有必要构建一个高可用集群分布式文件系统来保障服务和数据的高可用性，因而，本文总结和分析了现有高可用集群系统的现状和实现技术，提出了一种利用开源软件搭建高可用集群，并结合分布式文件系统存取数据的方案，该方案通过三个storage节点保存数据，三个tracker节点结合MariaDB存取和管理数据。保证业务的不中断和数据的安全可靠性，从而将因软硬件故障和人为的错误带来的损失降到最低。[关键词]单点故障；分布式；集群基于linux的分布式文件系统的设计实现基于linux的分布式文件系统

4、的设计实现DesignandImplementationoftheDFSDistributedFileSystemSoftwareEngineeringMajorXuQiMin基于linux的分布式文件系统的设计实现Abstract:Keywords:基于linux的分布式文件系统的设计实现目录1引言11.1课题研究背景11.2国内外研究现状11.2.1分布式存储研究现状11.2.2分布式文件系统在高可用中的研究21.3课题研究目的和意义31.4论文主要内容和结构结构42相关知识概述42.1集群的理论基础42.1.1集群的概念及分类42

5、.1.2采用集群扩展计算性能较通过硬件来扩展性能的优点42.2高可用集群常用的存储模式52.2.1基于硬件的高可用性存储设备62.2.2基于软件的高可用性存储方案62.2.3分布式存储存在的问题分析62.3Mogilefs72.4Haproxy82.5Keepalive93系统设计93.1系统总体架构设计图.93.2分布式存储的架构设计103.3HAproxy+keepalive构建高可用反向代理123.3.1系统前端代理Haproxy实现对后端访问的动静分离123.3.2Keepalived实现代理的高可用133.4数据库的主从复制1

6、33.5数据库的读写分离144系统实现154.1DNS实现第一次负载均衡154.2安装ntp服务器，保证集群中各节点时间同步154.3HAproxy代理实现后端服务负载均衡和动静分离164.4Keepalive实现HAproxy高可用174.5设定后端nginx服务器分别提供动态和静态资源。19基于linux的分布式文件系统的设计实现4.6MariaDB的主从复制204.6.1Master服务器器的配置204.6.2Slave服务器的配置214.6.3启动slave并连接主服务器214.7使用Mysql-proxy实现数据库读写分离22

7、4.7.1二进制安装mysql-proxy并提供启动脚本224.7.2为mysql-proxy提供读写分离的lua脚本。234.8后端数据的存储mogilefs的实现244.8.1图片存储架构图244.8.2Mogilefs的tracker节点安装配置244.8.3Storage节点安装配置254.8.4添加存储节点和域到tracker264.9分布式监控系统的搭建274.9.1Zabbix服务器端安装274.9.2Agent端安装。284.9.3添加agent节点到监控服务器，并定义监控资源对象。285测试与维护285.1DNS解析测

8、试285.2HAproxy负载均衡和动静分离测试295.3HAproxy高可用测试305.4使用webbench对HA并发能力测试315.4.1测试环境：315.4.2测试方法：315.4.3测试结果：31