基于网络复杂性的BP算法

《基于网络复杂性的BP算法》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、维普资讯http://www.cqvip.com第29卷第l5期计算机工程与设计2008年8月VO1．29No．15ComputerEngineeringandDesignAug．2008基于网络复杂性的BP算法夏战国，王珂，王志晓(中国矿业大学计算机科学与技术学院，江苏徐州2211l6)摘要：BP算法(误差反向传播算法)是前馈神经网络中最常用的算法之一。在对前馈神经网络和传统的BP算法研究的基础上，发现了传统算法中存在的问题。通过引入网络复杂性的量，提出了一种新的改进算法，命名为基于网络复杂性的BP算法。该算法能够删除掉冗余的连接甚

2、至节点，通过对网络学习步长的动态调整，避免了算法收敛速度过慢和反复震荡的问题。最后通过实验说明该算法在一定程度上比传统BP算法有一些优越性。关键词：前馈神经网络；BP学习算法；网络复杂性；收敛速度；学习步长中图法分类号：TP398．1文献标识码：A文章编号：1000—7024(2008)15—3867—03BPalgorithmbasedonnetworkcomplexityXIAZhan—guo．WANGKe．Ⅵ，ANGZhi—xiao(SchoolofComputerScienceandTechnology,ChinaUniver

3、sityofMiningandTechnology,Xuzhou22l116，China)Abstract：TheBPalgorithmisoneofthemostcommonlyusedalgorithmsinthefeed-forwardneuralnetwork．Onthebasisofresearchingthefeed—forwardneuralnetworkandthetraditionalBPalgorithmfoundsomeproblemsthatexist．Byintroducingafactorofthenetw

4、orkcomplexity,anewmodifiedalgorithmisproposed，namedforanalgorithmofBPbasedonnetworkcomplexitY．Thealgorithmcanremoveredundantlinkevennodesonthenetwork，throughthenetworklearningstepdynamicadjustmenttoavoidconvergencespeedofthealgorithmtooslowandrepeatedswayproblems．Finall

5、y,theexperimentalresultshowsthatthealgorithm，toacertainextent，issuperiortothetraditionalBPalgorithm．Keywords：feed-forwardneuralnetworks；BPlearningalgorithm；networkcomplexity；convergencespeed；learningstep0引言Rumelhart，Hinton和Williams发明的一般Delta法则，为XY多层BP前馈神经网络的学习奠定了基础。。BP学

6、习算法的学习过程目的是使误差能量函数降低到给定的精度，但是XmY由于算法中计算函数的缺陷，使算法存在着难以克服的缺点，XMYN如网络中存在多余的连接、学习过程易陷入局部极小、学习算法的收敛速度很慢、学习过程易出现震荡现象等。图1典型前馈神经网络结构本文针对所提出的缺陷给出了一个基于网络复杂性的BP算法，并通过实验模拟说明此算法能有效地克服传统算法该网络具有M个输入节点，N个输出节点及一个有H个中收敛速度慢和学习过程震荡的现象。神经元的隐含层，隐含层的激活函数为1As)11前馈神经网络前馈神经网络在再现复杂非线性映射方面已表现出极大输出

7、层的激活函数为的潜力。cybenko已经证明了仅有一个隐含层以及隐含层的As)=S激活函数为Sigmoid函数的前馈神经网络能以任何精度逼近为了方便对输出层和隐含层的值进行计算，而将其表示任意连续函数。成权重的形式。在输入层增加节点=1，在隐含层增加节点典型的前馈神经网络其结构如图1所示。Oo=1。={}是输入层与隐含层之间的Hx(M+I)维权重矩收稿日期：2007—12—26E-marl：xiazg2006@126．com基金项目：国家自然科学基金项目(50674086)；中国矿业大学青年科研基金项目(2005A044)。作者简介：

8、夏战国(1974一)，男，河北保定人，硕士，讲师，研究方向为智能信息处理；王珂，博士研究生，讲师，研究方向为计算机网络王志晓，博士研究生，研究方向为神经网络。·——3867·——维普资讯http://www.cqvip.