基于zookeeper的消息发送机制的设计与实现

《基于zookeeper的消息发送机制的设计与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、基于zookeeper的消息发送机制的设计与实现摘要关键词目录基于zookeeper的消息发送机制的设计与实现1第一章绪论41.1研究背景与意义41.2国内外研究现状41.3课题研究内容与特色5第二章分布式应用相关技术62.1分布式锁服务62.1.1chubby锁服务62.1.2VMS锁服务62.2消息队列服务72.2.1redis队列72.2.2RabbitMQ82.2.3ZeroMQ82.3zookeeper82.3.1zookeeper定义及其交互模式82.3.1zookeeper设计原理92.3.

2、2zookeeper数据模型92.3.3锁服务112.3.4分布式队列112.3.5fastpaxos算法13第三章消息发送机制的设计143.1消息定义143.1.1client端信息143.1.2Sever端信息143.2消息队列的设计143.2.1队列的创建153.2.2队列的类型153.2.3队列的消息存储153.3消息发送进程设计153.3.1Master进程163.3.2sliver进程163.3.3消息分发过程设计163.4半抢占式文件锁设计163.4.1写进程163.4.2读进程163.4.

3、3半抢占式文件锁设计17第四章消息发送机制的实现184.1消息队列的实现184.2消息发送进程的实现184.3半抢占式文件锁的实现18第五章实验185.1实验环境185.2性能对比测试185.2.1消息队列性能比较185.2.2分发进程性能185.2.3半抢占式锁性能18第六章总结与展望18参考文献18致谢18第一章绪论1.1研究背景与意义经济社会的不断发展对计算机的处理能力提出了越来越高的要求，虽然单台计算机的处理能力不断提高，但是仍然不能满足一些大型系统的需求。高速互联网技术的飞速发展，使得将多台计算

4、机通过高速互联网技术组成一个大型的系统完成某一个任务成为可能，而且变得十分容易。这样的由通过网络连接起来的自治的计算机构成，互相之间协调行动，共享资源，但是对外界用户来说是一个单一的集中式的系统叫做分布式系统⑴。分布式系统中的计算机也可以称为节点。比如分布式文件系统使用多台节点实现文件系统，不同节点上的客户端能够通过网络访问分布式文件系统。分布式系统从根本上来说就是不同节点上的进程并发执行，并且相互之间对进程的行为进行协调处理的过程。不同节点上的进程互相协调行为的过程叫做分布式同步。大规模分布式系统需要解

5、决各种各样的同步问题。系统配置可以看做是最简单的同步问题，不同进程运行时需要获取系统的参数，有些更复杂的系统需要对系统参数进行动态配置。不同节点上的进程并发执行，当这些进程访问共享资源时，为了避免并发访问导致数据丢失或者数据不一致情况的出现，需要分布式互斥限制只有一个进程访问共享资源。许多分布式系统需要一个进程作为任务的协调者，执行一些其他进程并不执行的特殊的操作，一般情况下哪个进程担当任务的协调者都无所谓，但是必须有一个进程作为协调者，自动选举出一个协调者的过程就是分布式选举。在分布式系统当中，由于节点

6、故障和网络故障的存在，要实现分布式同步是十分困难的事情，每个分布式系统都必须花费大量的时间和精力单独开发分布式同步功能。这个过程不但费时费力而且很容易出错。一种简化分布式同步的方法是针对每种分布式同步问题构建专门的分布式同步服务。1.2国内外研究现状分布式的系统之中不同的节点上进程相互协调的行为过程就是分布式的同步服务。大规模的分布式软件系统要求能解决各式分布式的同步问题。例如，不同的节点上并发执行的进程，在这些进程对共享资源进行访问的时候，为避免并发的访问导致有数据的丢失或数据不统一的情况出现，就需要用

7、分布式的互斥限制只能有其中的一个进程对共享资源进行访问。在分布式的系统之中，由于网络故障和节点故障，分布式的同步问题的解决比单机的同步问题的解决要更加的复杂。例如，分布式的互斥问题的解决的互斥算法需要满足活越性、公平性以及安全性。安全性是保证仅有其中一个进程能进入临界区中，活越性是保证每一个请求在有限的步骤内进入临界区中，公平性是保证进程依照请求先后的顺序按次进到临界区中。在学术界有各种能将分布式的互斥解决的算法提出，例如AganvalAbbadi算法、LodhaKshemakaLyani算法等。在算法的

8、性能和系统模型的假设上这些算法都是各不相同的，分布式的系统的开发和设计者选择适合的算法且完美的实行是件十分困难且很易出错的事一种简化分布式同步的方法是针对分布式同步问题构建专门的分布式同步服务。分布式同步服务提供了各种分布式同步算法的封装,开发者可以方便的使用分布式同步服务来解决分布式同步问题,而不用自己去实现分布式同步算法。现有的分布式的同步服务分成这两类:其一是专用的分布式的同步服务,另一类是通用的分布式的同步服务。专用的