《前向多层神经网络》ppt课件

《前向多层神经网络》ppt课件

ID:40098360

大小:520.05 KB

页数:32页

时间:2019-07-21

《前向多层神经网络》ppt课件_第1页
《前向多层神经网络》ppt课件_第2页
《前向多层神经网络》ppt课件_第3页
《前向多层神经网络》ppt课件_第4页
《前向多层神经网络》ppt课件_第5页
资源描述:

《《前向多层神经网络》ppt课件》由会员上传分享,免费在线阅读,更多相关内容在教育资源-天天文库

1、第2章前向多层神经网络、BP算法及计算机实现综述推导前向多层神经网络的学习算法BP学习算法中几个值得注意的问题设计网络学习过程的步骤网络学习过程程序流程图对本课程的基本要求基于前面介绍的神经元结构,人们又提出了很多种神经网络结构模型,如Hopfield网络、Boltzmann机、ART网络和BAM网络等。在各领域中用法最多也最有成效的是前向多层神经网络,由于该网络在学习(训练)过程中采用了BP(ErrorBack-propagation)算法,故又称为BP网络。标准的BP网络由三层神经元组成,其结构如图2-1所示。最下面为输入层,中间为隐含层,最上

2、面为输出层,网络中相邻层采取全互连方式连接,同层各神经元之间没有任何连接,输出层与输入层之间也没有直接的联系。为方便讨论,在此设输入层、隐含层及输出层神经元的个数分别为L,M,N。可以证明:在隐含层节点可以根据需要自由设置的情况下,用三层前向神经网络可以实现以任意精度逼近任意连续函数。输出模式输入模式输出层隐含层输入层输出层神经元(L=2)隐含层神经元(L=1)输入层神经元(L=0)图2-1前向多层神经网络(BP网络)模型BP神经网络中的动力学过程有两点:一类是学习过程,在这类过程中,神经元之间的连接权将得到调整,使之与环境信息相符合,连接权的调整

3、方法称为学习算法。另一类过程是指神经网络的计算过程,在该过程中将实现神经网络的活跃状态的模式变换,与学习过程相比,计算过程的速度要快得多,因而,计算过程又称为快过程,学习过程称为慢过程。如图2-2示,设从第L层神经元j到第L-1层神经元i的连接权值为Wji,P为当前学习样本,Opi为在P样本下第L层第i个神经元的输出,变换函数f(x)取为Sigmoid函数,即图2-2BP神经网络的通用结构………………………………对于第P个样本,网络的输出误差EP用下式表示(2-1)式中tpj为输入第P个样本时第j个神经元的理想输出,Opj是它的实际输出,假设第L层

4、有J个神经元,第L-1有I个神经元。为了使网络的实际输出与理想输出相接近(使EP下降),根据梯度算法,可以对L层按下式进行调整:L=1,2(2-2)对于非输入层的神经元具有下面的操作特性:任一神经元的净输入(2-3)任一神经元的输出(2-4)在式(2-3)中,如果将代入,则(2-3)式可改写为(2-5)又(2-6)(2-7)定义:为输出误差系数综合式(2-2)﹑(2-3)﹑(2-5)﹑(2-7)得出(2-8)i=0,1,2…,I,j=0,1,2…,J-1,L=1,2由上式可见,为求出调整值,必须先求出。(2-9)由式(2-4)得到:现在分两种情况来

5、讨论:(1)如果所讨论的神经元为输出层神经元,则由式(2-1)可得:(从输出层开始)代入(2-9)式得到(2.10)L=2,j=0,1,2,…,N-1(2)如果所讨论的神经元为隐层神经元,则有:(向输出层反向传播,参见(2-5)式)===将此结果代入式(2-9)得到(2-11)L=1,j=0,1,2,…,M-1从上式可以看出,为求出隐含层的输出误差系数,必须用到输出层的,所以这个过程被称为误差反向传播过程(EBP,errorback-propagation)。现在来讨论项中的,由于f[·]采用Sigmoid函数。由此可以得到(2-12)将式(2-1

6、2)代入式(2-10)和式(2-11)得到(2-13)L=2,j=0,1,2,…,N-1(对输出层)(2-14)L=1,i=0,1,2,…,M-1(对隐层)将式(2-13)和式(2-14)代入式(2-8)得到当L=2(输出层)时(2-15)I=0,1,2…,N-1;j=0,1,2…,M当L=1(隐含层)时(2-16),I=0,1,2…,M-1,j=0,1,2…,L至此,推导完了BP学习算法,式(2-15)与式(2-16)为推导的最后结果。(1)神经网络输入层,输出层的神经元个数可以根据研究对象的输入,输出信息来确定,如何合适选取隐含层神经元的数目无

7、规律可循,然而隐含神经元的数目是否合适对整个网络能否正常工作具有重要意义,一般情况下可按下式给出:(2-17)nH为隐含层神经元数目nI为输入层神经元数目nO为输出层神经元数目L为1~10之间的整数(2)学习算法中的η表示学习速率,或称为步幅,η较大时,数值的修改量就较大,学习速率比较快,但有时会导致振荡,η值较小时,学习速率慢,然而学习过程平稳,η值的具体选取方案有很多种,但没有一种是令人信服的,在一些简单的问题中,η可取为一常数,满足0∠η∠1,如η取0.5。在权值的修改公式中,往往还加入一个惯性项(或称为动量项)即(2-18)式中表示第L层第

8、i个神经元与上一层第j个神经元之间的连接权的当前修改值,表示上一个学习周期对同一个学习样本的权值修改值。惯性项修正系数α应

当前文档最多预览五页,下载文档查看全文

此文档下载收益归作者所有

当前文档最多预览五页,下载文档查看全文
温馨提示:
1. 部分包含数学公式或PPT动画的文件,查看预览时可能会显示错乱或异常,文件下载后无此问题,请放心下载。
2. 本文档由用户上传,版权归属用户,天天文库负责整理代发布。如果您对本文档版权有争议请及时联系客服。
3. 下载前请仔细阅读文档内容,确认文档内容符合您的需求后进行下载,若出现内容与标题不符可向本站投诉处理。
4. 下载文档时可能由于网络波动等原因无法下载或下载错误,付费完成后未能成功下载的用户请联系客服处理。