最新BP神经网络教学课件教学讲义PPT.ppt

《最新BP神经网络教学课件教学讲义PPT.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、BP神经网络教学课件内容神经网络概述BP神经网络神经网络概述神经网络研究的发展1957年,F.Rosenblatt提出“感知器”(Perceptron)模型，第一次把神经网络的研究从纯理论的探讨付诸工程实践，掀起了人工神经网络研究的第一次高潮。20世纪60年代以后，数字计算机的发展达到全盛时期，人们误以为数字计算机可以解决人工智能、专家系统、模式识别问题，而放松了对“感知器”的研究。于是，从20世纪60年代末期起，人工神经网络的研究进入了低潮神经网络研究的发展1982年，美国加州工学院物理学家Hopfiel

2、d提出了离散的神经网络模型，标志着神经网络的研究又进入了一个新高潮。1984年，Hopfield又提出连续神经网络模型，开拓了计算机应用神经网络的新途径。1986年，Rumelhart和Meclelland提出多层网络的误差反向传播(BackPropagation)学习算法，简称BP算法。BP算法是目前最为重要、应用最广的人工神经网络算法之一。自20世纪80年代中期以来，世界上许多国家掀起了神经网络的研究热潮，可以说神经网络已成为国际上的一个研究热点。生物神经元模型树突轴突神经末梢细胞体树突：细胞的输入端，

3、接受外界的神经冲动轴突：细胞的输出端，传出神经冲动细胞体:处理神经冲动，有两种工作状态：当传入神经冲动使细胞膜电位升高到阈值(约40mV）时，进入兴奋状态产生神经冲动，由轴突输出。否则进入抑制状态，不产生输出神经元工作原理（视频)神经元模型输入信号连接权重加总函数激活函数输出ox1x2xnw2wnw1w0x0典型的激活函数阶跃函数：xf(x)线性函数：xf(x)Log-Sigmoid函数：xf(x)注意该函数的导数：神经网络拓扑结构输出层隐藏层输入层o1o2om…x1x2xn………………神经网络由大量神经元

4、互连而成，按其拓扑结构可分成:层次网络模型神经元分成若干层顺序连接，在输入层上加上输入信息，通过中间各层，加权后传递到输出层后输出，其中有的在同一层中的各神经元相互之间有连接，有的从输出层到输入层有反馈；互连网络模型任意两个神经元之间都有相互连接的关系，在连接中，有的神经元之间是双向的，有的是单向的，按实际情况决定。什么是学习？学习就是通过向有限个例子（训练样本）的学习来找到隐藏在例子背后（即产生这些例子）的规律（如函数形式）。当样本数据改变系统参数时，系统会对这些改变进行自适应或自组织的学习，在神经网络中

5、表现为突触的改变。按突触修正假说，神经网络在拓扑结构固定时，其学习归结为连接权的变化。什么是监督？监督就是对每一个输入Xi,都假定我们已经知道它的期望输出Yi,这个Yi可以理解为监督信号，也叫“教师信号”。每一个输入Xi及其期望输出Yi，就构成了一个训练实例。监督学习与非监督学习的区别在监督学习中，假定我们知道每一输入对应的期望输出，并利用学习系统的误差，不断校正系统的行为；在非监督学习中，我们不知道学习系统的期望输出。神经网络的分类按网络结构分为：前馈网络和反馈网络；按学习方式分为：监督学习和非监督学习,

6、也叫有导师学习和无导师学习。本讲主要论述前馈网络的监督学习法。神经网络的分类有多种方法，常用如下分类：BP神经网络简介BP（BackPropagation）网络1985年由Rumelhart和McCelland提出是目前应用最广泛的神经网络模型之一网络结构BP神经网络模型拓扑结构包括输入层（input）、隐层(hidelayer)和输出层(outputlayer)其它一些特点层间无反馈有监督学习其激活函数为：第p个样本的误差计算模型Ep=1/2×∑(tpi-Opi)2tpi第i个节点的期望输出值；Opii节

7、点计算输出值BP学习算法思想在外界输入样本的刺激下不断改变网络的连接权值,以使网络的输出不断地接近期望的输出。两环节组成:信息的正向传递与误差的反向传播正向传播过程中，输入信息从输入层经隐含层逐层计算传向输出层，每一层神经元的状态只影响下一层神经元的状态计算输出层的误差变化值，然后转向反向传播，通过网络将误差信号沿原来的连接通路反传回来修改各层神经元的权值直至达到期望目标男25岁本科...3000元女30岁硕士...5000元如何改变网络连接权值？E=1/2×∑(ti-Oi)2tii节点的期望输出值Oii节

8、点实际输出值要误差降低，就是要改变Oi,也就要改变wij和θi算法原理：误差修正的公式推导xj输入结点的输入输出量yi隐结点的输出Ol输出结点的输出其中,其中,权重wij权重Tli输出结点的误差：对Tli的偏导数：注意到E是多个Ol的函数，但只有一个Ol与Tli有关，因此记于是也即，根据每个输出结点的值以及隐含结点的输出值，就可轻松算出误差对输出层和隐含层各结点间的权重的偏导数对wij的偏导数：因注意到E是多个O