BP人工神经网络及matlab实现.ppt

《BP人工神经网络及matlab实现.ppt》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、1BP人工神经网络2006-12-6北京科技大学自动化系付冬梅2本章的基本内容BP网络结构与模型BP网络的学习算法BP神经网络的重要函数和基本功能一个简单的例子BP网络的几个问题改进的BP网络的学习算法BP网络的应用示例2006-12-6北京科技大学自动化系付冬梅3Rumelhart，McClelland于1985年提出了BP网络的误差反向后传BP(BackPropagation)学习算法BP算法基本原理利用输出后的误差来估计输出层的直接前导层的误差，再用这个误差估计更前一层的误差，如此一层一层

2、的反传下去，就获得了所有其他各层的误差估计。J.McClellandDavidRumelhart概述2006-12-6北京科技大学自动化系付冬梅4BP网络是一种前向映射网络。网络的结构见下一页的图形。其中：u是网络的输入向量，y是网络的输出向量。神经元用节点表示，网络由输入层、隐层和输出层节点组成，隐层可一层，也可多层(图中是单隐层)。前层节点至后层节点通过权联接。由于这种网络常常用BP学习算法后的网络权值，所以常称BP人工神经网络。5-1网络结构和模型2006-12-6北京科技大学自动化系付冬

3、梅55-1网络结构和模型2006-12-6北京科技大学自动化系付冬梅65-1网络结构与模型2006-12-6北京科技大学自动化系付冬梅75-1网络结构和模型BP网络的神经元模型是改进了感知器神经元模型得到的。输入层：隐层：输出层：fxex()=+-11fxeexx()=-+--11fxeexx()=-+--11fxex()=+-112006-12-6北京科技大学自动化系付冬梅85-2BP网络的学习算法多层前馈网络的反向传播（BP）学习算法，简称BP学习算法，这是一种有导师的学习算法，是梯度下降法

4、在多层前馈网中的应用。BP学习算法可以看成是线性自适应神经元学习算法的进一步推广。BP学习算法=前向计算过程+误差反向传播过程前向计算过程：也是网络应用时的实现过程。误差反向传播过程：是BP网络权值的学习和训练过程。5-2-1BP学习算法概述2006-12-6北京科技大学自动化系付冬梅9学习的类型：有导师学习核心思想：将输出误差以某种形式通过隐层向输入层逐层反传学习的过程：信号的正向传播误差的反向传播将误差分摊给各层的所有单元－－－各层单元的误差信号修正各单元权值5-2BP网络的学习算法5-2-

5、1BP学习算法概述2006-12-6北京科技大学自动化系付冬梅10正向传播：输入样本－－－输入层－－－各隐层－－－输出层判断是否转入反向传播阶段：若输出层的实际输出与期望的输出（教师信号）不符误差反传误差以某种形式在各层表示－－－－修正各层单元的权值网络输出的误差减少到可接受的程度或者进行到预先设定的学习次数为止5-2BP网络的学习算法5-2-1BP学习算法概述2006-12-6北京科技大学自动化系付冬梅11网络结构输入层有n个神经元，隐含层有p个神经元，输出层有q个神经元。变量定义输入向量;隐

6、含层输入向量；隐含层输出向量;输出层输入向量;输出层输出向量;期望输出向量;5-2BP网络的学习算法5-2-2BP学习算法的描述2006-12-6北京科技大学自动化系付冬梅12输入层与中间层的连接权值:隐含层与输出层的连接权值:隐含层各神经元的阈值:输出层各神经元的阈值:样本数据个数:激活函数:误差函数：5-2BP网络的学习算法5-2-2BP学习算法的描述2006-12-6北京科技大学自动化系付冬梅13第一步，网络初始化给各连接权值分别赋一个区间（-1，1）内的随机数，设定误差函数e，给定计算精

7、度值和最大学习次数M。第二步,随机选取第个输入样本及对应期望输出5-2BP网络的学习算法5-2-2BP学习算法的描述2006-12-6北京科技大学自动化系付冬梅14第三步，计算隐含层各神经元的输入和输出5-2BP网络的学习算法5-2-2BP学习算法的描述2006-12-6北京科技大学自动化系付冬梅15第四步，利用网络期望输出和实际输出，计算误差函数对输出层的各神经元的偏导数。5-2BP网络的学习算法5-2-2BP学习算法的描述2006-12-6北京科技大学自动化系付冬梅16第五步，利用隐含层到输

8、出层的连接权值、输出层的和隐含层的输出计算误差函数对隐含层各神经元的偏导数。5-2BP网络的学习算法5-2-2BP学习算法的描述2006-12-6北京科技大学自动化系付冬梅175-2BP网络的学习算法5-2-2BP学习算法的描述2006-12-6北京科技大学自动化系付冬梅18第六步，利用输出层各神经元的和隐含层各神经元的输出来修正连接权值。第七步，利用隐含层各神经元的和输入层各神经元的输入修正连接权。5-2BP网络的学习算法5-2-2BP学习算法的描述2006-12-6北京科技大学自动化系付冬梅