神经网络概述与BP神经网络(学生).pdf

《神经网络概述与BP神经网络(学生).pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、制作人：中国民航飞行学院曾艳神经网络概述与BP神经网络一、神经网络概述人工神经网络（ArtificialNeuralNetworks，简写为ANN），简称神经网络（NeuralNetworks，简写为NN），是一个高度非线性动力学系统。它由若干神经元连接成网络，其中每个神经元可以接受多个输入信号，按照一定的规则转换为输出信号。由于神经元间复杂的连接关系和各神经元传递信号的非线性方式，输入和输出信号间可以构建出各种各样的关系，因此可以用来作为黑箱模型，表达那些用机理模型还无法精确描述、但输入和输出之间确实有客观的、确定性的或模糊性的规律。虽然

2、每个神经元的结构和功能都不复杂，但是神经网络的动态行为则是十分复杂的。因此，用神经网络可以表达实际物理世界的各种现象。一个神经网络的特性及能力主要由神经元的特征、网络连接的拓扑结构、学习规则等决定。（一）人工神经元（ArtificialNeuron）模型人工神经元是人工神经网络操作的基本信息处理单位，是神经网络设计的基础。神经元是一个多输入、单输出的单元。若记输入为(XX,,,X)，输出为Yˆ，则常用的人工神经元12P模型可用图1-1模拟。1X1w1w2f()YˆX2wPXP图1-1人工神经元示意图图1-1显示，人工神经元模型可以

3、看成是由三种基本元素组成：•一组连接权值(,ww,,w)与阈值权值与阈值可取正值也可取负值。12P•一个加法器()用于求神经元输入信号的加权之和。•一个激活函数f()用于限制神经元输出振幅。1、激活函数的几种主要形式：1,x0（1）阶梯函数fx()0,x01,x1（2）分段线性函数fx()x,1x11,x1（3）线性函数（purelin函数）fx()x（1-1）（4）非线性函数1制作人：中国民航飞行学院曾艳单极S型函数（logsig函数）1fx()(0fx()1)（1-2）x1e双

4、极S型函数（tansig函数）2fx()1(1fx()1)（1-3）2x1e图1-2S型函数图2、神经元输入输出的函数关系：当第j个神经元有多个输入(XX,,,X)和单个输出Yˆ时，此时神经元j的示意图如图1-3：12Pj1jXw1j1w2jf()YˆXj2wPjjXP图1-3人工神经元j的示意图输入和输出的关系可表示为:PujwXijiji1Yˆfu()jj（二）常见神经网络结构图神经网络是由大量的神经元互联而构成的网络。根据网络中神经元的互联方式，常见网络结构主要分为下面3类：1、前馈神经网

5、络（FeedforwardNeuralNetworks）前馈网络也称前向网络。网络中各个神经元接受前一级的输入，并输出到下一级，网络中没有反馈。这种网络实现信号从输入空间到输出空间的变换，它的信息处理能力来自于简单非线性函数的多次复合。感知机（perceptron）与BP神经网络就属于前馈网络。图1-4是一个3层的前馈神经网络，第一层是输入层，第二层称为隐含层，第三层称为输出层。·输入层接收外部环境的输入信号，并由它传递给相连隐含层上的各个神经元。2制作人：中国民航飞行学院曾艳·隐含层是神经网络的内部处理层，神经网络所具有的模式变换能力主要

6、体现在隐含层的神经元上。·输出层用于产生神经网络的输出模式。图1-4前馈网络结构注意：输入层中的单元不是神经元，因此图1-4中只有隐含层与输出层共两层神经元。★对前馈神经网络，若网络中每个神经元的激活函数都选用线性函数，则神经网络的输出将是输入变量的线性函数。因此，若要做高次函数的逼近就应该选用适当的非线性函数作为激活函数。2、反馈神经网络（FeedbackNeuralNetworks）反馈型神经网络是一种从输出到输入具有反馈连接的神经网络。典型的反馈型神经网络有：Elman网络、Hopfield网络、波耳兹曼机。图1-5有反馈的前馈网络结

7、构3、自组织神经网络（SOM，Self-OrganizingNeuralNetworks）自组织神经网络是一种无导师学习网络。它通过自动寻找样本中的内在规律和本质属性，自组织、自适应地改变网络参数与结构。图1-6自组织网络（三）学习规则在神经网络中，学习规则就是修正权值的一种算法，其目的是为了使得网络输出更符合实际。3制作人：中国民航飞行学院曾艳1、学习规则分为两大类：（1）有导师学习（有监督学习）在有导师学习中，需要为学习规则提供一系列正确的网络输入/期望输出对（即训练样本），将网络输出与相应的期望输出进行比较，然后应用学习规则调整权值和

8、阈值，使网络输出接近于期望输出。注意：网络输出──输入数据（样本数据中自变量值）经神经网络加工后，得到的输出Yˆ；期望输出──样本数据中本身的因变量取值Y。BP算法就是一种出色的