mfs学习总结_jluzc

《mfs学习总结_jluzc》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、MFS学习总结jluzc2012.11.13·MFS概述、特性和新版改进·MFS工作原理和设计架构·MFS的安装、部署、配置·MFS的高级特性·MFS的性能测试·MFS集群的维护·MFS的常见问题和建议对策 一、MFS概述、特性和新版改进MooseFS是一个分布式存储的框架，其具有如下特性：1.Free(GPL)2.通用文件系统，不需要修改上层应用就可以使用（那些需要专门api的dfs很麻烦！）。3.可以在线扩容，体系架构可伸缩性极强。（官方的case可以扩到70台了！）4.部署简单。（sa们特别高兴，领导们特别happy！）5.高可用，可设置任意的文件冗余程度（

2、提供比raid1+0更高的冗余级别，而绝对不会影响读或者写的性能，只会加速！）6.可回收在指定时间内删除的文件（“回收站”提供的是系统级别的服务，不怕误操作了，提供类似oralce的闪回等高级dbms的即时回滚特性！）7.提供netapp，emc，ibm等商业存储的snapshot特性。（可以对整个文件甚至在正在写入的文件创建文件的快照）8.googlefilesystem的一个c实现。9.提供webgui监控接口。10.提高随机读或写的效率（有待进一步证明）。11.提高海量小文件的读写效率（有待进一步证明）。 MooseFS1.6版本改进：·修复1.5.x中在大

3、批量操作时打开文件过多的bug。报的错误说是打开的文件过多，造成chunkerserver的链接错误。在1.6.x中解决此问题，就解决了很大的问题。·新增加了masterlogger服务器。这是在1.5.x中所没有的，就是做了master服务器的冗余，进一步的加强的master服务器的稳定性。在mfs体系中master是要求最稳定以及性能要求最高的，因此务必保证master的稳定。·修改1.5.x中存在的对于坏块的修复功能。在mfs1.5.x中遇到chunker坏块校验，错误比较多的时候导致master将出现坏块的chunker自动的剔除出去的情况，此次增加了对坏

4、块的修复功能，很方便的进行修复，简化对坏块的处理功能。·对metadata和changelog的新认识。之前认为changelog记录的是文件的操作，定期的像数据库的日志一样归档到metadata中。发现上面的理解存在误区，真正的是changelog中记录了对文件的操作，metadata记录文件的大小和位置。因此metadata是比较重要的，在进行修复的过程中是采用metadata和最后一次的changelog进行修复的。·MFS文档中明确指出对于内存和磁盘大小的要求。·指出了在测试的过程中多个chunker并不影响写的速度，但是能加快读的速度。在原来的基础上增加

5、一个chunker时，数据会自动同步到新增的chunker上以达到数据的平衡和均衡。 二、MFS工作原理和设计架构角色角色作用管理服务器managingserver(master)负责各个数据存储服务器的管理,文件读写调度,文件空间回收以及恢复.多节点拷贝元数据日志服务器Metaloggerserver（Metalogger）负责备份master服务器的变化日志文件，文件类型为changelog_ml.*.mfs，以便于在masterserver出问题的时候接替其进行工作数据存储服务器dataservers(chunkservers)负责连接管理服务器,听从管理服

6、务器调度,提供存储空间，并为客户提供数据传输.客户机挂载使用clientcomputers通过fuse内核接口挂接远程管理服务器上所管理的数据存储服务器,.看起来共享的文件系统和本地unix文件系统使用一样的效果.              官方的网络示意图是这样的：读写原理：MFS的读数据过程1.client当需要一个数据时，首先向masterserver发起查询请求；2.管理服务器检索自己的数据，获取到数据所在的可用数据服务器位置ip

7、port

8、chunkid；3.管理服务器将数据服务器的地址发送给客户端；4.客户端向具体的数据服务器发起数据获取请求；5.数据

9、服务器将数据发送给客户端；MFS的写数据过程1.当客户端有数据写需求时，首先向管理服务器提供文件元数据信息请求存储地址（元数据信息如：文件名

10、大小

11、份数等）；2.管理服务器根据写文件的元数据信息，到数据服务器创建新的数据块；3.数据服务器返回创建成功的消息；4.管理服务器将数据服务器的地址返回给客户端(chunkIP

12、port

13、chunkid)；5.客户端向数据服务器写数据；6.数据服务器返回给客户端写成功的消息；7.客户端将此次写完成结束信号和一些信息发送到管理服务器来更新文件的长度和最后修改时间MFS的删除文件过程1.客户端有删除操作时，首先向Master发送

14、删除信息；