资源描述：
《无线网络中基于强化学习的拥塞控制算法改进.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。
1、无线网络中基于强化学习的拥塞控制算法改进罗颖,等无线网络中基于强化学习的拥塞控制算法改进lmprovementoftheCongestionControlAlgorithmBasedonReinforcementLearninginWirelessNetwork罗颖林茂松江虹(西南科技大学信息工程学院,四川绵阳621010)摘要:针对现有协议在无线网络中出现的吞吐量小、传播延迟大等问题,对TCP-NewReno协议进行研究,提出了一种改进的拥塞控制协议(NewReno-RF)。考虑无线网络拓扑变化快、带宽不对称的特性,在拥塞控
2、制协议的慢启动和拥塞避免阶段,提出了基于往返时延量化和强化学习的拥塞窗口自适应动态变化算法,以对拥塞窗口进行速率控制。NewReno-RF算法在NS2中建立的无线拓扑网络仿真结果表明,其较TCP-NewReno明显改善了无线网络的通信质量。关键词:TCPAIMD拥塞控制NewReno-RF量化强化学习Q学习中图分类号:TP393文献标志码:AAbstract:Theexistingprotocolsfeaturesdisadvantagesinwirelessnetworks,e.g.,lessthroughputandlar
3、getimedelayinpropagation,aimingatthissituation,theTCP-NewRenoprotocolhasbeenresearched,andtheimprovedcongestioncontrolprotocolNewReno-RFisproposed.Consideringtherapidchangesofthetopologyandasymmetricbandwidthofthewirelessnetwork,thecongestionwindow(cwnd)adaptivedyna
4、micvariationalgorithmbasedonbackandforthdelayquantizationandreinforcementlearningisproposedtocontrolchangingrateofcongestionwindowinslowstartandcongestionavoidancestagesofthecongestioncontrolprotocol.WirelesstopologicalnetworkisestablishedwithNewReno-RFinNS2,theresu
5、ltofsimulationshowsthatcomparingwithTCP-NewReno,NewReno-RFobviouslyimprovesthecommunicationqualityofwirelessnetwork.Keywords:TCPAIMDcongestioncontrolNewReno-RFQuantizationReinforcementlearningQ-learning0引言1算法描述TCP协议以其可靠性、端到端、定向的传输服务被广针对TCP拥塞控制,文献[2]对往返时延进行压泛应用于各种网络。
6、它主要包括慢启动、拥塞避免、快速扩,动态改变加性因子大小。文献[3]根据前向链路[1]的转发跳数对TCP拥塞窗口增长速率进行控制。文恢复和拥塞处理4个阶段。TCP采用拥塞窗口(cwnd)来解决网络中的拥塞,以上4个阶段根据不同的环境状态献[4]采用一种类似学习的TCP思想,对网络状态进改变cwnd值,以适应网络。虽然现有TCP协议应用广行学习,反馈动作作用后结果,智能选择加性因子大泛,但对于链路带宽不对称、节点运动不规则的无线网络小。文献[2]~[4]都忽略了拥塞控制协议中乘性因而言,其在拥塞判断和决策处理上容易使网络出现拥塞
7、、子对网络拥塞产生的影响。文献[5]对近年来多种传播延迟过大等情况。主要原因是拥塞判断方式单一以AIMD拥塞控制算法进行对比和分析,结果表明,针对及不合理的cwnd变化方式。拥塞判断方式单一指TCP无线网络而言,99%的丢包来自于拥塞。文献[6]在高速网络应用下给出了一种学习拥塞控制算法,有效在拥塞避免和快速恢复阶段分别采用往返时延(round-提升了TCP协议在快速网络下的性能,但该算法须对triptime,RTT)和重复确认(acknowledgement,ACK)决定接收端、发送端以及路由进行改进,实施性不强。cwnd值
8、增长和判断拥塞状态,这种方式在无线网络下易到目前为止,解决现有TCP拥塞控制协议在无线出现不能正确判断丢包或拥塞的现象。因cwnd值表征网络中出现的性能问题受到业界的广泛关注。为使此时网络节点可以传输的数据包大小,不合理的cwnd变TCP在无线网络下拥有更好的性能,本文提出一
