多层前馈神经网络算法资料课件.ppt

《多层前馈神经网络算法资料课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、多层前馈神经网络算法王玉良神经网络算法基础知识多层前馈神经网络神经网络例题123目录神经网络实例演示4多层前馈神经网络结构图隐藏层和输出层的节点被称作神经节点，神经网络的层数为隐藏层数+输出层数。神经网络是全链接的，即每一个节点和它下一层的每一个节点都有链接。神经网络输入和结构的确定神经网络可以接受离散型和连续型的数据。若将输入规范化，使得他们落入0到1这个区间内，会有较佳的结果。一般对于分类数据，用0和1分别表示一种状态，若状态多于两种，可以增加输入节点。关于隐藏层的层数和每一层的数量，没有“最好的”方案，需要反复调整，从而得到较优解。神经网络

2、节点结构权重和偏倚的初始值为（-1,1）随机值。输入节点将输入值输出。隐藏层节点和输出层节点结构如下图所示：关于挤压函数（激活函数）挤压函数是将一个较大的数（净输入）映射到0到1区间，常用的挤压函数主要为logistic函数。对于不同的神经网络应用，还有其他的挤压函数。该函数的自变量是净输入。神经网络的误差因为权重和偏倚的初始值是随机得到的，所以初始状态的神经网络是无法满足我们的要求的。这时候我们就需要比较计算结果和训练数据的“正确答案”，得到误差，从而调整神经网络内的权重和偏倚，来得到较满意的神经网络。神经网络误差的计算输出层节点误差的计算：其

3、中是输出节点的输出，是训练数据的“答案”。隐藏层节点误差的计算：其中是隐藏层节点的输出，是下一层节点误差与权重积的和。多层前馈神经网络结构图可见误差计算是从后往前计算的的神经网络权重与偏倚的更新操作是节点的误差，l是学习率，取值范围为（0,1）（相当于梯度下降法的步长）偏倚的更新与权重的更新非常类似。权重与偏倚的更新操作都使用的是梯度下降法。权重的更新：偏倚的更新：梯度下降法梯度下降法又叫最速下降法（steepestdescendmethod），用来求解函数的最大或者最小值的，属于无约束优化问题。梯度向量为函数值f对每个变量的导数，该向量的方向就

4、是梯度的方向，向量的大小也就是梯度的大小。梯度下降法梯度下降法的基本原理：现假设我们要求函数f的最大（小）值，首先任取一个初始点，然后下一个点的产生时是沿着梯度直线方向（反方向）进行迭代，迭代公式如下：为步长，为梯度方向神经网络算法总结到这里神经网络算法的计算部分就结束了，我们进行一下总结：输入节点将值输入到隐藏层，隐藏层和输出层的每一个节点进行计算，并输出。计算过程为加权和+偏倚得到净输入，净输入作为挤压函数的参数进行计算，得到的结果就是每一个节点的输出值。这样从前到后按层计算就会得到神经网络的结果。更新操作的方向与计算方向相反。通过输出节点的

5、输出和训练数据的“正确答案”求出误差，使用梯度下降法对权重和偏倚进行更新。这样后向前按层更新，从而实现对整个神经网络的更新操作。神经网络算法总结神经网络算法的停止条件：1、小于某一个阈值，代表已经非常接近于最优值，从而停止迭代。2、与所有训练数据的平均误差小于一个阈值，代表我们得到了满意解，从而停止迭代。3、达到一定的迭代次数，从而停止迭代。例题如图是一个多层前馈神经网络，学习率为0.9。设一组训练数据为输入值为（1,0,1），结果为1例题输入、权重和偏倚的初始值如下：例题为了计算每一个节点的输出，我们首先计算净输入（以节点4为例）：这样我们就可

6、以求得节点4和节点5的净输入：例题下面将净输入作为参数输入挤压函数就可以求出节点的输出：例题此时我们求出了隐藏层的输出，再根据隐藏层的输出计算输出层节点6：同理，首先求净输出L6：从而求得节点6的输出：例题到此我们就完成了神经网络算法的一次计算，下面对该网络进行更新操作。例题因为更新操作的顺序是从后往前的，首先对输出节点进行更新。先求输出节点的误差Err6：因为训练数据的“正确答案”为1，所以T6等于1。权重进行更新操作：偏倚进行更新操作：例题同理，可以对节点4、5进行更新操作，其误差计算方法与节点6不同：权重和偏倚的更新操作与节点6相同，在这里

7、就不详细计算：神经网络算法难点神经网络的计算过程和更新过程还是比较简单的。但神经网络也存在难点，主要包括两方面：1、神经网络结构的确定。2、因为权重和偏移的初始值是随机的，有可能有限次内不能得到满意解。3、神经网络算法学习出来的规则难以让人理解。例题回顾一下，更新操作是从后往前的，更新节点6更新了偏倚以及权重w46,w56。同理，更新节点4更新了以及w14,w24,w34；更新节点5。。。这样就完成了一次对于神经网络的更新。关于更新操作的时机一般训练数据有很多组，将所有训练数据进行一次计算+更新操作，叫做一次迭代。每处理一个样本就进行一次更新叫做

8、实例更新；处理完所有训练数据后，再进行更新操作叫做周期更新。一般数学计算中常常使用周期更新，用计算机实现时常常使用实例更新。实例更新所需