多智能体增强式学习及其在多机器人协调中的应用研究

《多智能体增强式学习及其在多机器人协调中的应用研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、上海交通大学博士学位论文多智能体增强式学习及其在多机器人协调中的应用研究姓名：杨玉君申请学位级别：博士专业：控制理论与控制工程指导教师：程君实20030501多智能体增强式学习及其在多机器人协调中的应用研究摘要目前的工业控制系统正向大型复杂动态和开放的方向转变传统的多机器人系统在许多关键问题上遇到了困难分布式人工智能DAIDistributedArtificialIntelligence及其分支多智能体系统MASMulti-AgentSystem理论为解决这些问题提供了一种契机将MAS充分应用于多机器人系统的结果便产生了一门新兴的机

2、器人技术领域多智能体机器人系统(MARSMulti-AgentRobotSystem)MARS技术正在蓬勃发展之中在工业管道传输中有许多细小管道使用过程中将受到腐蚀或机械损伤而积垢存污若不定期维护和清理可能会使管道破裂或堵塞而酿成事故例如核电站的热交换器长年累月形成的积垢会腐蚀管壁是核泄漏的潜在隐患本博士论文得到了国家自然科学基金面向管道检测的多微机器人移动控制协调及集成技术No.69889050项目的资助研究管道间的多微小型移动机器人动作协调和故障检测由于管道之间的距离大约在1520mm所以这微小型移动机器人本体的体积设计也在毫米

3、级上由于体积的微型化单个微机器人的工作能力很弱需要多个微机器人协调合作来共同完成复杂的任务所以在提高单个机器人性能的基础上要求对多个微小型移动机器人进行协调控制这构成了本博士论文研究的动因在多智能体系统(MAS)中最集中和关键的问题表现在多智能体的学习及相应的协调合作机制上我们根据国际上多智能体系统的研究情况,并针对面向管道检测多微小型移动机器人实际特点提出了我们的研究课题本博士论文的主要内容及创新点如下1)采用Multi-agentSystemMAS理论来研究多机器人协调问题2)将博弈论思想引入到多智能体的增强式学习中提出一种特殊

4、联合奖赏函数结构形式3)提出一种基于传导径迹的多智能体Q学习智能体不需要知道其他智能体的Q函数结构只需维持其他智能体动作行为的传导径迹4)采用MLPs多层感知器来泛化多智能体的状态空间结合Q学习在线地更新MLPs的连接权值解决了MLPs的过拟合缺陷同时还可以节约存储空间5)采用国家自然科学基金课题组研制的毫米级微小型移动机器人SJTU-MR和SJTU-MR搭建了模拟面向管道检测的多微小型移动机器人环境系统建立了多微小型移动机器人系统实验平台由于当前国内微器件的加工水平我们研制的微小型移动机器人还只能用于特定的工作环境中我们建立了一个

5、面向管道检测的毫米级多微小型移动机器人实验平台虽然该平台还不完善但它为面向管道检测的多微小型移动机器人协调研究提供了一个良好的开端随着我国微器件加工工艺的不断提高和科研人员的努力相信一定可以研制出实用的面向管道检测的多微小型移动机器人系统关键词多智能体系统多智能体机器人系统多智能体增强式学习博弈微小型移动机器人多层感知器MLPs泛化StudyonMulti-agentLearningandItsApplicationtoMultipleRobotswithCoordinationAbstractTheindustrycontrols

6、ystemisacomplex,dynamicandopensystem,andthetraditionalindustrysystemandmultiplerobotssystemfacedifficultiesonsomekeyproblems.DistributedArtificialIntelligence(DAI)anditsembranchment,Multi-AgentSystem(MAS)theorysupportsachancetosettletheseproblems.TheresultsusingtheMASt

7、heorytothemultiplerobotssystem,givebirthtothenewrobottechniquefieldMulti-AgentRobotSystem(MARS),whichisdevelopedfullofvitality.Intheindustrypipelinetransmission,wherethepipelinesusuallyareexiguous,thepipelineshavemuchbegrimeforbeingcankeredorscathed.Thepipelineshouldbe

8、cleanedup,otherwisewhichwouldmakeforaccident,oncethepipelinesburstorwallup.Theheatexchangerinthenuclearpowerplant,for