基于误差反向传播神经网络算法的分析与研究

《基于误差反向传播神经网络算法的分析与研究》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第#$卷第!期濮阳职业技术学院学报1’,:#$;’:!#%!%年#月&’()*+,’-.(/+*01’2+34’*+,+*56728*42+,9’,,707<7=:#%!%基于误差反向传播神经网络算法的分析与研究李德启，王化吉吉（商丘职业技术学院计算机系，河南商丘DFH%%%）摘要：I.网络是目前应用最广泛的神经网络模型之一，本文针对I.算法做了深入的数学描述，提出了传统算法存在的不足和缺陷，并在试验效果的基础上阐述了改良I.算法的具体方法。关键词：I.网络算法；数学分析；收敛速度；改进方法中图分类号：6.$B$文献

2、标识码：J文章编号：!HF#CB!H!（#%!%）%!C%!"!C%#>!?!引言到第!层节点@的输入GS@A表示第!层节点@的输误差反向传播神经网络>I.网络?作为一种按出GT>!C!?为第,C!层的节点4连接第,层节点@的@误差逆向传播算法训练的多层前馈网络，是目前应权值G*>,C!?为第,C!层节点数G-为节点神经元用最广泛的神经网络模型之一，分为输入层、隐含层的传递函数GI.网络的神经元传递函数一般使用可和输出层，这三层之间多采用全互连方式，但同层单微的U40P’45型函数K#L。由I.网络神经元的输入关元之

3、间不存在相互连接关系，当对一学习样本提供系G则：网络后G神经元的激活值从输入层经各中间层向输（!）出层传播G在输出层的各层神经元获得网络的输入响应后G按照减少目标输出与实际输出误差的方向G（#）从输出层经过各中间层逐层修正各连接权值G最后回到输入层G这种算法称为“误差逆传播算法”，即实例A对节点@的期望输出V%"!?与节点@对实>@A?>!?I.算法。例A的网络计算输出V@A的误差定义为W#I.神经网络算法的数学分析>$?I.算法适合于多层神经元网络G是建立在梯度K!L。设有;个学习实例>M下降法的基础上的AGNA?

4、G若第,层是I.网络的输出层G即节点@是输出其中AO!，#G⋯G;G对实例>M%"!?%"!?"!?AGNA?在正向传播过节点，则VO/GVO/4A实例A的输出误差@A@A@A程中G实例A的输入向量MAO>M!AGM#AG⋯GM*A?从输为：入层的*个节点输入G经隐层逐层处理G由输出层的（D）P个节点输出G得到输出量NAO>N!AGN#AG⋯GNPA?G若;个学习实例的计算输出都达到期望的结果G则若对;个学习实例的任一实例AG都有输出层学习过程结束Q否则G进入误差反向传播过程G把NA的P个输出节点的计算输出G且分别满

5、足实例A的>!?与NA的误差由网络输出层向输入层反向传播G在反P个期望输出G即X@A’!>@O!G#G$⋯⋯⋯⋯GP?G向传播过程中G修改各层神经元的连接权值。则学习过程结束G!为指定的允许误差。否则G由误>!?设R@A表示实例A的输入向量MAG输入后传播差反向传播过程修改权值分布T。收稿日期：#%%BC%DC#%基金项目：河南省自然科学研究基金项目（#%%E9"#%%%F）作者简介：李德启（!BFDC），男，河南商丘人，商丘职业技术学院计算机系讲师，主要研究方向为网络安全通信技术；王化吉吉>!BE#C?，男G河南商

6、丘人，商丘职业技术学院计算机系教师，研究方向为计算机网络技术。—!"!—按误差的负梯度来修改权值&即’修改量%:，从而对权值进行修改。*34算法中存在的缺陷和改进方法$"%学习的时间、泛化能力、收敛速度、算法的学习其中!为学习率$()!)!%参数在很大范围变化后算法是否仍能较好地学习可由$!%、$#%、$*%式可得以作为衡量一个神经网络学习算法的优劣的标准。然而从本质上讲，34网络是一种静态的学习网络，$+%属于非线性优化组合问题，它不具有动态信息处理其中’能力，采用梯度下降搜索算法，不可避免地存在局部极小状态，该方

7、法具有对网络权值和阀值的赋值随$,%机性和对初始值的敏感性;*<。对于较大的搜索空间，$!%为了得出计算"-.的表达式&进行以下讨论’34算法对于多峰值和不可微函数不可能有效地搜$#%若第/层是输出层&则由$0%式可知’索到全局极小值，因而不能保证网络学习过程总是趋于全局稳定状态。尤其是标准的反向传播算法应$1%用于实际问题时，训练要花费较长的时间，因而提高由$,%式和$1%式可得收敛速度的问题是加以改进的关键。针对上述问题，专家学者们已提出不少改进方$2%法，其中附加动量项法和可变的学习速度是其中两由$"%、$+%

8、、$2%式可得种较常用的方法。（!）附加动量项法$!(%基于34算法的神经网络在学习过程中权值的$$%若第/层不是输出层&则根据34网络的误改变与权值的误差成正比，但真正的梯度下降方法$!%差反向传播定义&第!层节点-的误差56.对节点-要求所取的空间无限小，是导致其收敛速度慢的原$!%因之一;0<。输出7-.的变化率为第/8!层的9$/8!%