基于强化学习的认知无线电动态频谱分配研究

《基于强化学习的认知无线电动态频谱分配研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号TP929．5密级重庆邮电大学硕士学位论文论文题目基于强化学习的认知无线电动态频谱分配研究英文题目ResearchBasedonReinforcementLearningforDynamicSpectrumAllocationinCognitiveRadio硕士研究生刘毅指导教师学科专业杜江教授通信与信息系统论文提交日期2013．6．6论文答辩日期2013．5．25答辩委员会主席张天琪教授重庆邮电大学2013年6月6日独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发

2、表或撰写过的研究成果，也不包含为获得重麽由＆电太堂或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。学位论文作者签名：签字日期：2p侈年‘月矿日学位论文版权使用授权书本学位论文作者完全了解重废由＆电丕堂有关保留、使用学位论文的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权重庆邮电太堂可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。(保密的学位论文在解密后适用本授权书)导师签名：签字日期：厶，¨月杪年象跆，

3、1I-l-IIl】j烈年轹仍猫归糍≥作：文期沦日位字学签摘要强化学习技术从控制理论、统计学、心理学等相关学科发展而来，被认为是设计智能系统的核心技术之一。它对环境知识要求较少，对动态变化环境适应性强，应用于无线网络时兼容性较好，这些特点都使得强化学习与生俱来地成为认知无线电的备选技术，并且具有广泛的应用前景。本文将强化学习中一个典型的模型，部分感知马尔可夫决策过程(PartiallyObservableMarkovDecisionProcess，POMDP)应用到AdHoc机会式频谱接入(OpportunisticSpectrumAccess，0SA)网络中研究认知用户频谱感

4、知与接入算法，使其具有较强的学习能力，从而通过认知循环(CognitiveCycle，CC)高效机会式地接入授权频谱。然而OSA网络面临的诸多挑战，给我们的研究提出了以下具体的问题，首先在实际情况中，由于硬件的限制及能量的消耗，尤其是伴随突发性业务的认知用户不可能完全感知所有信道的信息，因此我们需要解决部分感知问题；第二，频谱感知接入策略应当同时具备机会识别和探索的能力；第三，如何在面临感知错误时，将对授权用户的干扰限制在一个指定的水平并最大化认知用户吞吐量；第四，频谱机会需要收发端联合识别，当有感知错误时，收发器能够同时跳频。针对上述研究问题，本文利用强化学习中一个典型模型

5、POMDP，设计了减少状态量的基于信念向量的贪心策略算法，将感知与接入联合考虑，并将其应用于完美感知和不完美感知接入两种场景，详细地分类验证了其策略算法的性能；在最后提出了减少状态量的POMDP分布式协作感知接入策略算法；仿真结果表明，本论文的工作达到了预期的研究目标，这些算法能够最大化认知用户吞吐量及系统频谱利用率。关键词：认知无线电、强化学习、部分感知马尔可夫决策过程、机会式频谱接入、多用户协作重庆邮电大学硕士论文IIAbstractRein如rcementLearning(RE)technologyisdevelopedfromtherelativesubjectsof

6、contr01theory、statistics、psychologyandSOforth．RLisconsideredasoneofthecoretechnologiesthatdesignintelligentsystem．Itdoesn’tneedmuchenviromentalknowledgeandadaptstothechangingandtrueenvironmentbetter．WhenitisappliedtowirelessIletwork，itscompatibilityisbetter．Thesecharacteristicsenableittobec

7、omenaturallvoneofalternativetechnologies．AndRLhasabroadprospectforapplication·ThisthesishasexertedarepresentativemodelofRLthatisPartiallyObservableM酞ovDecisionProcess(POMDP)toapplytotheAdHocOSANetwork，researchsensiIlgandaccessstrategiesofspectrumofcognit