BP神经网络收敛性问题的改进措施.pdf

《BP神经网络收敛性问题的改进措施.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第24卷第l期重庆交通学院学报2005年2月Vol.24No.lJOURNALOFCHONGOINGJIAOTONGUNIVERSITYFeb.，2005!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!BP神经网络收敛性问题的改进措施"贺清碧，周建丽（重庆交通学院计算机及信息工程学院，重庆400074）摘要：BP算法现在已成为目前应用最广泛的神经网络学习算法，它在函数逼近、模式识别、分类、数据压缩等领域有着更加广泛的应用，但存在收敛较慢问题.笔者在文中简述了BP算

2、法原理，针对BP算法的收敛性问题，提出了几点改进措施.关键词：BP神经网络；BP算法；收敛性中图分类号：TPl83文献标识码：A文章编号：l00l-7l6X（2005）0l-0l43-03人工神经网络是由众多的神经元经可调的连接权值连接而成.它具有大规模并行处理、分布式信息存储、良好的自组织自适应性，并具有很强的学习能力.在人工神经网络的实际应用中，BP算法是神经网络众多算法中应用最为广泛的一种，它在函数逼近、模式识别、分类、数据压缩等领域有着更加广泛的应用.其结构简单，可操作性强，能模拟任意的非线性输入输出关系.据统计有近90%的神经网络

3、应图l典型的三层前馈网络模型用是基于BP算法的.但它存在学习收敛速度慢、容lI-lpp2Epl=!（tll-yll）易陷入局部极小点而无法得到全局最优解、且对初2l=0始权值的选取很敏感等缺点.基本的BP算法应用对于p个样本学习，其总误差为：于大多数实际问题时都显示太慢，训练将花去数天lpI-lpp2E总=!!（tll-yll）2p=ll=0甚至数星期的机时.所以收敛性问题成为BP算法l采用梯度法，通过每次调整的增量"W、"W'的实出问题.针对此问题，目前国内外已有不少人对ijikBP网络进行了大量的研究［l~5］.本文在众人研究使总的误差

4、向减小的方向变化，直到满足一定的条上，针对BP算法的收敛性问题提出了几点改进措件.通过解算，第I0+l次与第I0次的关系为：p施.pplW'i（kI0+l）=W'（jkI0）+#!$jklx'j，p=llBP算法l{pppBP网络的学习算法称为反向传输算法（Back-W（ijI0+l）=W（ijI0）+#!$jklxjl，p=llProgagation），即BP算法，是一种有教师的学习算法.ppppp$jkl=（tll-yll）yl（ll-yll）图l是一典型的三层前馈网络.I-lpppp若输入学习样本为p个，xl，x2，⋯，xp已知与$j

5、kl=!$jklW'jkx'j（ll-x'jl）k=0l2ppp其对应的教师为t，t，⋯，t，学习算法是用实际的式中，$l，$l称为等效误差分量；为学习速率.由jkjk#l2pl2p输出y，y，⋯，y与t，t，⋯，t的误差来修改其连上式显示，误差逆向传播，故有BP（Backii接权和阈值，使y与要求的t尽可能地接近.第plpropagation）名称.权值的修改过程是一个迭代过pl个样本输入到图l的网络中，得到yl，l=0，l，⋯，I程，即-l，其误差为各输出单元误差之和："收稿日期：2004-03-08作者简介：贺清碧（l970-），女，

6、重庆涪陵人，讲师，主要方向：神经网络，数据挖掘，算法与应用.I44重庆交通学院学报第24卷p权和的结果使AW（I）减小，因而起到了稳定作W,（I+I）=W,（I）+plx,plij0jk0jk0jkjp=Il用.{pW（I+I）=W（I）+plxpl2.3变步长法jk0jk0jkjp=Il变步长法的基本思想为：先设一初始步长，若一pBP算法特点就是在反向传播等效误差量ll次迭代后误差函数增大，则将步长乘以小于I的pp时，l地位相似于正向传播中的输出yl，因此给计ll常数，沿原来方向重新计算下一个迭代点；若一次迭算带来了很大方便.BP算法如下

7、进行：代后误差函数减少，则将步长乘以小于I的常数.（I）正向传播，计算输出和总误差E；假设传统的BP算法权值修正公式为p（2）反向传播误差l，计算AW；lijG（I0）AW=W（ijI0+I）=W（ijI0）+（3）修改权值W，然后回到（I）循环往复，直到GW（ijI0）ij达到E的最小值点，实际计算中，常常给E规定一（I）个界限，当E达到这一界限时，计算便终止.该公式中学习步长是一个固定值，若在0-I内取值，算法将导致不收敛，若步长过小，收敛速度2BP网络存在的收敛性问题及几点太慢，而步长过大，又会使误差函数值不下降，导致改进措施算法不收

8、敛.针对这一固定学习步长存在的弊端，在BP算法是一种有效的学习算法，很实用，在工利用误差变化率的变步长算法中，学习步长是一个业控制如DC-DC变换器的智能控制、语音识别、图变化量