基于强化学习和群集智能方法的多机器人协作协调分析

《基于强化学习和群集智能方法的多机器人协作协调分析》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、基于强化学习和群集智能方法的多机器人协作协调研究摘要随着多机器人系统的迅速发展，21世纪伊始就对其提出了分布、智能和协同化的要求。合理体系结构和高效协作协调算法的研究重要性日益突出，本文对这两方面进行了全面深入地研究，内容分为三部分：多机器人系统体系结构研究：多机器人系统强化学习算法研究和多机器人系统群集智能算法研究，以满足多机器人系统的低通讯量，变化性，分布性，分散性和动态性的要求。体系结构是多机器人系统的研究基础，直接决定了机器人间的相互关系和功能的分配。本文面向多机器人系统强化学习算法，设计了多机器人分层体系结构。给出了势场栅格算法，研究了模糊控制

2、算法和黑板式通讯。这种结构的并发性好，实时功能强，能够加强机器人对变化环境的应变能力。面向多机器人系统群集智能算法，提出了多机器人意图一行为结构，对这种结构，对各机器人的行为能力和群体交互方式进行了研究。探讨了基于对策论的无通讯协调，给出了愿望竞争算法、抑制疲劳算法，研究了机器人行为设定机制和基于信息素的通讯机制，得出该结构具有分布式控制和分散的数据量的特点的结论，这适合于相似的分布式控制系统。强化学习理论由于其自学习性和自适应性的优点而得到了广泛地关注。但此理论在应用中还存在着状态空问压缩，结构信度分配等问题。本文面对状态空间压缩问题，提出自组织动态压

3、缩空间算法：关于结构信度分配问题，提出兼顾系统整体利益和个体利益的内外强化信号算法，对传统强化学习算法进行了重大改进。这种状态空间压缩方法加快了算法对空间的遍历，提高了算法的学习速度：合理分配信哈尔滨工程大学博士学位论文度后，使状态对行为的映射构造变得更为合理，避免了学习效果摇摆的产生，从而提高智能系统的自适应性和鲁棒性。群集智能理论指出：智能的精髓在于整体的智能性而不是个体的智能程度，个体智能性的低下将不影响整体智能性的提高。这在没有集中控制且不提供全局模型的前提下，为寻找复杂分布式问题的解决方案提供了基础。但是算法存在着移植性差和缺乏理论支持等问题。

4、文中针对多机器人编队任务，设计了基于群集智能的协作协调算法。其中包括制定机器人的基本交互规则，通过简单规则完成复杂任务；提出基于信息素传播算法的外部间接通讯，降低系统中的通讯量，增强系统的稳定性。进而应用社会势场思想对文中提出算法的稳定性进行了分析，得出了当机器人间的作用函数选择恰当时，编队系统的动态稳定性是可以保证的结论。算法在提高编队的稳定性、鲁棒性、自组织性方面做出了有意义的探索。作者对改进的强化学习算法和群集智能算法进行了比较，分析了两算法性能的不同方面，并对群集智能中的信息素传播算法与强化学习中的Q学习算法相似性做了讨论，指出了两种算法的一致性

5、。结论对不同环境下的相应算法的应用具有指导意义。本文以多机器人动态编队为任务模型，探讨了两种算法在多机器人系统中的具体应用模式。仿真试验进一步验证了所有方法的可行性和有效性。实验表明两种算法都可以很好地完成编队任务。并且两种算法具有很强的延展性，可广泛地应用于类似的系统。关键词：体系结构；强化学习算法：群集智能算法：多机器人系统：编队基于强化学习和群集智能方法的多机器人协作协调研究AbstractInthe21“Century，thedistribution，intelligenceandthecoordinationrequestsarebrought

6、forwardforthemultirobotsystem．Reasonablearchitectureandeffectivecooperationalgorithmarepaidmoreandmoreattention．Thesetwofieldsarestudiedinthreepartsinthedissertation，whicharethestudyofmultirobotarchitecture，theReinfocementLearningalgorithmofmultirobotsystemandtheSwarmIntelligence

7、algorithmofmultirobotsystem．Alltheseresearchescansatisfythelowcommunication，variety，distributionanddecentralizationneedsofthesystem．ThearchitecturewhichdeterminestherelationshipoftherobotsandthetaskassignedisthebasisofthemultJrobotstudy．FacingtheReinforcementLearningalgorithm，the

8、levelarchitectureofthemultirobotsystemis